Han vokste opp på slektsgården Garstad i Vikna som sønn av gårdbruker, lensmann og stortingsmann Ivar Kirkeby-Garstad og hustru Agnes Horseng. En yngre bror var lensmann og ordfører Roald Kirkeby-Garstad. Han giftet seg med Åshild Bondø. Deres dattersønn er ordfører, stortingsmann og statsråd Lars Peder Brekk. Etter folkehøyskole og Val landbruksskole drev han fra 1948 slektsgården med poståpneri og dampskipsekspedisjon.