Som faren arbeidet Gustaf Retzius innen den spesialretning av sammenlignende anatomi viet mennesket kalt fysisk (alternativt somatisk) antropologi. Anders Retzius' store innsats som antropolog var, som en av flere forskere fra og med 1830-årene, å problematisere antagelser om den «hvite», «europeiske» rase som enhetlig. Sønnen Gustaf skulle vie sitt liv til å forsvare farens forskning. Anders Retzius innførte skalleindeks som et klassifikasjonsverktøy, dels av menneskeheten i allmennhet, men fremfor alt for å tillate seg å lage distinksjoner mellom forskjellige europeiske folk og nasjoner.