Han ble født på Nordlandet i Kristiansund, men vokste opp i Aure som sønn av gårdbruker Endre Arntsen Witzøe (Vitsø) og hustru Eli Arntsdatter Quikne (Kvikne). Foreldrene kom opprinnelig fra Hemne prestegjeld. Morbroren Johan Kirksæter var stortingsmann. Skuespillerinnen Tordis Maurstad (født Witzøe) var hans niese.