En kritikk som har blitt reist blant annet av Jack Block mot Femfaktormodellen er at den mangler et teoretisk fundament og således er ateoretisk. Man vet med andre ord at modellen kan beskrive ulike personligheter noenlunde konsistent, men man vet ikke hvorfor. I tillegg har det vist seg at selvrapporteringen som personlighetstester baserer seg på gjør at man ved å vite hva som er ønskelig kan svare ut ifra det, og dermed vil ikke ens «virkelige» personlighet nødvendigvis komme frem. Personlighetstester har også generelt blitt kritisert for å favorisere visse egenskaper framfor andre, når det ikke nødvendigvis er relevant, for eksempel for en stilling i arbeidslivet. Prediksjonsevnen til Femfaktormodellen har dessuten vist seg å være relativt lav for hvordan man vil prestere i for eksempel en fremtidig jobb etter å ha tatt en personlighetstest.