Fossen er far til forlagsredaktør, SV-politiker og tidligere leder i Europabevegelsen Wenche Fossen, arbeidsforsker Øystein Fossen og forfatter og urbanist Erling Fossen.