Oluf Berner ble født i 1809 i Laurvig som sønn av handelsmannen Joachim Berner og Karen Christine Berner, født Blom. Han giftet seg i 1840 med Marie Lovise Falkenberg, datter av Christian Bugge Falkenberg (1781–1848) og Lovise Augusta (1791–1840), født Linaae. Paret hadde et barn, Carl Christian Berner, som ble en kjent politiker. Han ble født i 1841, men Marie Lovise døde i barsel. Oluf Steen Julius Berner giftet seg igjen i 1846 i Kragerø med Christiane Sofie Rømer (1812–1850). Med Aase Jensdatter Hennum fikk han datteren Marie Ottea i 1845.