不過有好多心理學家都質疑五大性格特質係咪可以攞嚟做一個性格心理學理論－呢啲心理學家主張，五大性格特質靠嘅係睇啲人用語言對性格嘅描述，而唔係靠（例如）對行為或者腦活動嘅觀察，即係話五大性格特質反映嘅唔淨只係人喺行為、認知同情緒上嘅個體差異（實際上嘅性格）仲反映咗人對呢啲差異嘅感知同埋佢哋點樣用言語嚟描述呢啲感知（後者呢點俾人覺得屬語言學或者語言心理學嘅範疇）；