Han var ordfører i Elverum 1994–2003, og satt i fylkestinget fra 2007-2011, der han ledet økonomikomiteen. Han var leder av regionrådet for Sør-Østerdal 1997-1999 og har sittet i en rekke kommunale komiteer. Fra valget 2011 og fram til han tiltrådte som fylkesrådsleder i mai 2012 var Sveen fylkesråd for samferdsel og miljø i Hedmark fylkeskommune. Sveen har vært leder i Hedmark Arbeiderparti.