Han var sønn av Aage Schavland og Gerhardine Pauline f. Bergh, og selv gift med Dagmar Kielland, en søster av Alexander Kielland. Skavlan var bror av Sigvald Skavlan og svoger av politikeren Ludvig Daae. Datteren Aagot Kielland Skavlan var gift med arkitekten Arnstein Arneberg. Sønnen Einar Skavlan var redaktør i . Skavlans hjem var sentral i den såkalte Dagblad-kretsen og familien Skavlan fikk besøk av Amalie Skram, Edvard Brandes og Georg Brandes.