Hans far, Ingvald Maryllus Emil Smith-Kielland (1890–1984), var offiser og skiløper. Etter at Norge ble okkupert forlot Smith-Kielland Norge ombord på MK «Trygve» 1. januar 1942 og ankom Lerwick 4. januar.. Smith-Kielland var kadett ved Krigsskolen i London i 1942-43. Han tjente dessuten ved kongens hoff og var hoffsjef i den siste delen av regjeringstiden til Olav V.