Skard er sønn av professor Sigmund Skard og psykologen Åse Gruda Skard, tvillingbror av arkitekten Åsmund Skard og bror av Torild Skard, Målfrid Grude Flekkøy og Anne Skard. Han er gift med Arnlaug Leira, sammen har de sønnen Halvard Leira.