Hareide var andre nestleder i KrF fra 2003 til 2007, da han gikk av etter eget ønske. I perioden 2005–2009 hadde han møtt fra tid til annen som KrFs første vararepresentant til Stortinget fra Hordaland. I 2009 ble han valgt inn fra Akershus på utjevningsmandat. I 2013 og 2017 ble han valgt inn fra Hordaland.