Han tilhørte slekten Collett og var sønn av brukseier Albert Collett og Nanna Høegh. Han var sønnesønn av godseier John Collett, Buskerud hovedgård, og Antoinette Johanne Smith, og oldebarn av høyesterettsdommer Peter Collett, samt av Elias Smith. Han var gift i første ekteskap med Lucie Trozelli Krefting (1896–1988), datter av Rudolf Krefting og Märtha Trozelli. De ble skilt i 1933, og han var gift i andre ekteskap med Valborg Marie Oulie-Hansen (1903–1997).