Pasienter med prosopagnosia har skader i isselappen og tinninglappen i hjernen. En ser ofte skader i begge hemisfærene i hjernen, men skade på bare den høyre hemisfæren kan også føre til prosopagnosia.