Han var den førstefødte av tre brødre og fem søstre og hadde halvsøsken fra farens tidligere ekteskap. Moren var 20 år yngre enn faren. Familien flyttet til Wien da Sigmund var 4 år gammel. Hans familie hadde forholdsvis dårlig økonomi og bodde i en overbefolket leilighet, men foreldrene satte alt inn på å fremme hans intellekt og favoriserte ofte Sigmund fremfor de andre søsknene. Hans begavelse ble tidlig oppdaget og dyrket. Han ble rangert som den beste eleven i seks av åtte år med skolegang.