I 2001 ble han 1. vararepresentant til Stortinget, og møtte fast for statsråd Ansgar Gabrielsen til 2005, da Gitmark, som yngste representant, ble innvalgt på eget mandat. Gitmark ble gjenvalgt for perioden 2009–2013. I 2012 varslet han at han ikke ville søke renominasjon til Stortinget foran valget i 2013. Han var leder i Vest-Agder Høyre 2004–2008.