I 1983 ble han med i bystyret i Skien. Andersen var ordfører i Skien første gang i 1993, deretter i perioden 1995 til 1999 og fra 2003 til 2011. Han var medlem av Arbeiderpartiets sentralstyre fra 1995 til 2003, leder av Arbeiderpartiets kommunalpolitiske utvalg fra 1997 til 2002 og vararepresentant til Stortinget 2001–2005.