Colbjørn Torstensen Arneberg var sønn av lensmann i Hof og storbonde på Arneberg i Solør Torsten Colbjørnsen Berger (ca. 1590-ca. 1672) og Birgitte Arnesdatter Gile (født ca. 1600).