Prosopagnosia er som oftest en følge av en hjerneskade, for eksempel slag. Gener kan også ha en innvirkning, og genetisk variasjon er kanskje forklaringen på hvorfor noen er bedre enn andre til å huske ansikter.