Andersen var statsråd i Nærings- og handelsdepartementet 29. september 2006 – 20. juni 2008, fungerende statsråd i Fiskeri- og kystdepartementet 16. november 2006 – 9. april 2007 og statsråd i Arbeids- og inkluderingsdepartementet 20. juni 2008 – 2. oktober 2009. Han satt på Stortinget for Vestfold i perioden 1997–2001 og ble på ny valgt inn i 2005 med gjenvalg i 2009, 2013 og 2017. Han var vararepresentant i periodene 1985–93 og 2001–05.