I Jens Stoltenbergs første regjering var Harsvik politisk rådgiver for statsråd Trond Giske i Utdanningsdepartementet. Fra 2005 til 2009 var han statssekretær i Jens Stoltenbergs andre regjering. Fra 2005 til 2007 i Helse- og omsorgsdepartementet med ansvar for ruspolitiske saker, fra 2007 til 2009 i Kultur- og kirkedepartementet med ansvar for medie- og kultursaker.