Colbjørn Torstensen Arneberg hadde fire barn i første ekteskap, og syv i det andre (noen kilder oppgir i alt 18 barn). Han er stamfar til slekten Colbjørnsen.