Ehrenfest ble født og vokste opp i en jødisk familie i Wien, opprinnelig fra landsbyen Loštice i Mähren. Hans foreldre, Sigmund Ehrenfest og Johanna Jellinek, drev en dagligvareforretning. Til tross for at familien ikke var spesielt religiøs studerte Paul hebraisk og jødisk historie. Senere i livet understreket han alltid sine jødiske røtter. Ehrenfest utmerket seg i grunnskolen men gjorde det ikke bra i Akademisches Gymnasium (et gymnas i Wien), hans beste fag var matematikk. Etter å ha blitt overflyttet til Franz Josef Gymnasium, ble hans karakterer bedre og avla avsluttende eksamen i 1899.