Østerbergs foreldre var stasjonsmester Aksel William Jakobsen Østerberg (1876–1954) og jordmor Petra Sofie Kristoffersdatter Tessem (1877–1965). Han giftet seg i 1932 med Jørgine Sofie Kleven (6. november 1906–28. desember 1958), datter av kjøpmann Karl Kleven (1865–1923) og Serine Olsen (1874–1957). Erling Østerberg er far til filosofen Dag Østerberg.