Han var sønn av generalmajor Hans Wilhelm L'Orange (1868–1950) og godseier Carl August Gulbranson sin yngste datter, Regine Amalie «Ginni» Gulbranson, (1879–1949). Hans Peter ble selv gift i 1934 med Berit Fredrikke Engebrigtsen (1915-2003) som var datter av tegneren Olav Engebrigtsen (1878–1962) i .