Kolbjørn giftet seg med Norveig Botten i 1963 og de fikk barna Lars, Irene, Nils Børge og Else-May. Etter hvert fikk de også flere barnebarn og oldebarn.