Berner giftet seg med Olivia Mathilde Jacobine Berner (1841–1919), datter av garvermester Jørgen Haslef Berner (1811–1892) og Jørgine Smith (1808–1887), i 1868 og ble far til arkitektene Jørgen Haslef Berner (1873–1955) og Carl Berner (1877–1943).