Lazarsfeld ble født den 13. februar 1901 i en jødisk familie i Wien. Faren Robert var advokat og moren Sofie var psykolog. Nær 10 % av innbyggerne i byen var jødiske og utgjorde en viktig del av det kulturelle og intellektuele livet i den multikulturelle hovedstaden i imperiet. Medlemmer av Wienerkretsen, en gruppe fremstående sosialdemokrater, filosofer og vitenskapsfolk, møttes ofte hjemme hos familien Lazarsfeld. Lazarsfeld studerte matematikk og tok doktorgraden i faget ved Universitetet i Wien.