Arne Kolbjørnsen var eldste sønn av Niels Aall Kolbjørnsen og Karen Sophie f. Zimmer (1835–1873). Faren var distriktslege i Hadeland og Land. Arne Kolbjørnsen hadde seks yngre helsøsken og fire yngre halvsøsken, men fire av søsknene døde da de var små.