Kåre Norum var fra bondebakgrunn både på mors- og farssiden. Moren Martha (født Pettersen, 1868–1940) var fra Røyken, mens faren Karl August (1869–1937) var fra Sørum. Sammen kjøpte den en gård på Nesodden i Akershus, og Kåre Norum ble deres tredje barn i 1907.