Kåre J. Smith er sønn av Esther og Helge Anker Smith (sønn av Pauline og Johan O. Smith, Brunstad Christian Churchs grunnlegger). Kort tid før han ble født, flyttet foreldrene hans til Horten, men måtte flykte derfra under andre verdenskrig på grunn av bombetokt mot Marinens anlegg. Han ble derfor født hjemme hos sine besteforeldre i Krokstadelva 14. november i 1944, året etter bestefaren Johan O. Smiths død. Siden flyttet familien tilbake til Horten, hvor han bodde sine to første leveår.