Hansen er siden 2002 gift med Inger Lise Hansen. I april 2007 ble hun valgt til 2. nestleder i KrF. Sammen har de to døtre (f. 2007 og 2013). Familien bor siden 2013 i Åsgårdstrand, i Horten kommune.