Vaikka fysiognomia voi auttaa lukijoita ymmärtämään hahmon persoonallisuutta, se voi myös vahvistaa negatiivisia stereotypioita tai ennakkoluuloja. Tiettyjen fyysisten ominaisuuksien yhdistäminen tiettyihin luonteenpiirteisiin voi johtaa haitallisiin oletuksiin ja säilyttää haitallisia ennakkoluuloja. Kirjoittajien tulee suhtautua fysiognomian käyttöön kirjallisuudessa varoen ja herkkyydellä välttääkseen haitallisten stereotypioiden jatkumisen.