Fossen er bosatt i Oslo og er gift med journalist Martine Aurdal. Han er tvillingbror av arbeidsforsker og konsulent Øystein Fossen, bror til Samlaget-redaktør Wenche Fossen og sønn av pensjonert jurist og forfatter Asbjørn Fossen.