Han er gift med kunstneren Janicke Pamela Ebbing (1957-) og er far til skuespiller, designer, modell, forfatter og programleder Jenny Skavlan og bror til TV-produsent Guri Skavlan, journalist og programleder Fredrik Skavlan og produsent og manusforfatter Petter Skavlan.