Erdős ble født som tredje barn i en ikke-praktiserende jødisk familie i Budapest, den gang i Østerrike-Ungarn. Siden søstrene hans døde før han ble født i en alder av tre og fem år, var han det eneste barnet til Anna og Lajos Erdős, som begge var matematikklærere. Faren hans ble tatt til fange av russiske styrker i 1914, og siden moren hans underviste, ble Paul oppdratt av en tysk guvernante. Allerede da han var tre år gammel kunne han regne, og da han var fire kunne han regne ut i hodet hvor mange sekunder venner av familien hadde levd. I frykt for smittsomme sykdommer lot hans mor ham undervise av en privatlærer. Også da han ble eldre gikk han bare på skolen annethvert år, siden moren hans ofte forandret mening.