Ansiktsgjenkjenning skjer i en spesialisert funksjonell struktur i tinninglappen som kalles . Vanlige friske personer klarer med letthet å skille over ti tusen forskjellige ansikter. Når prosopagnosi opptrer ved ervervet skade, skyldes det oftest bilateral skade i gyrus fusiformis. Prosopagnosi kan også være medfødt og er sannsynligvis også arvelig.