Hans Asperger ble født i Wien og vokste opp på en bondegård som ikke lå langt fra byen. Han hadde to yngre brødre. Asperger hadde vanskelig for å knytte vennskap og ble ansett å være et ensomt og distansert barn. Han hadde talent for språk og interesserte seg særlig for den østerrikske dikteren Franz Grillparzer, hvis poesi han fremførte flere ganger for sine uinteresserte klassekamrater. Han likte å sitere seg selv og å omtale seg selv i tredje person.