Andersen var leder for Lardal Arbeiderparti fra 1981 til 1984. Han ble medlem av Lardal kommunestyre i 1983. Fra 1987 til 1992 var Andersen ordfører i kommunen. Han var politisk rådgiver i Utenriksdepartementet og senere statssekretær for sosialsaker i Sosialdepartementet i 1992. Andersen var partisekretær i Arbeiderpartiet fra 1992 til 1996. Fra 2002 til 2007 var han medlem av Arbeiderpartiets landstyre, og innenlandssjef i Norsk Folkehjelp i perioden 2002–05. I perioden 2001–2005 var Andersen 1.vararepresentant til Stortinget. I Stortingsvalget 2017 var han Arbeiderpartiets førstekandidat i Vestfold.