Carl Ivar Hagen vokste opp på Røa på Oslos vestkant i en familie på fire. Faren Ragnar arbeidet i Prisdirektoratet, mens moren jobbet i et advokatfirma. Søsteren Jorunn Bjørgum skulle senere bli historieprofessor ved Universitetet i Oslo.