Han tilhørte en sveitsisk familie og vokste opp i Budapest hvor han fikk sin første utdannelse. Etter at familien flyttet tilbake til Sveits, gikk han videre på en i Basel og begynte på den tekniske høyskolen, dagens ETH, i Zürich i 1896 hvor han fulgte kurser i matematikk og geometri. Det var her han møtte Einstein og hans kommende hustru Mileva Marić. Han ble uteksaminert i 1900 etter å ha levert inn et diplomarbeid om ikke-euklidsk geometri. Dette ble så godt vurdert at han ble tilbudt om å fortsette sine studier for en doktorgrad som han fikk allerede i 1902 basert på en avhandling om projektiv geometri.