Han vokste opp på Rørvik i Vikna, der foreldrene drev regnskapskontor og forsikringsagentur. Han er eldst av tre brødre, som alle har gjort karriere i næringslivet. Fra morssiden av slekten hadde han også en interesse for politikk: Morfaren var ordfører og stortingsmann Lars Kirkeby-Garstad, og oldefaren var stortingsmann og statsråd Ivar Kirkeby-Garstad.