Han var gift første gang med psykologen Maria Jahoda og andre gang med Herta Herzog som forlot Wien i 1935. Han var gift tredje gang med Patricia Kendall. Lazarsfeld arbeider sammen med intellektuelle som flyktet fra Tyskland, Østerrike og Ungarn på grunn av utviklingen der i mellomkrigstiden.