Gerhardsen var i mange år gift med Tove Strand. Sammen fikk de døtrene Marte og Mina Gerhardsen. Han var fra 1996 til 2003 senior­rådgiver i Geelmuyden Kiese. I 2003 var han igjen byrådsleder­kandidat for Oslo Arbeiderparti.