Han var sønn av regimentskvartermester Colbjørn Jacobsen Colbjørnsen, av slekten Arneberg/Colbjørnsen, og Anna Dorothea Røring, og oldebarn av presten Colbjørn Torstensen Arneberg. Han var gift med Engelke Margrethe Falbe (1763–1848), som var barnebarn av Hans Hagerup de Gyldenpalm og oldebarn av Eiler Hagerup d.e..