Foreldrene var kunstmaleren og læreren Kaare Johan Skagen (1911–94) og læreren Mary Emilie Skagen (1917-2004). Han er bror av filmkunstneren Sølve Skagen og professor i pedagogikk Kaare Skagen.