Han vokste opp i Brevik som sønn av snekkermester og fattigforstander Arne Bernhard Kongelbæk og hustru Nicoline Marie Jensen. Han var gift med jordmor Marie Singstad fra Lensvik i Trøndelag. En av deres sønner, Sverre Kongelbeck, ble norgesmester i tungvektsboksing i 1928, senere ingeniør og vitenskapsmann i Amerika.