Han tilhører slekten Collet (også skrevet Collett) på Lundbygård sør på Sjælland. Han er sønn av kammerherre, hoffjegermester og godseier Harald Collet og hagearkitekt Else Collett. Moren tilhørte den norske grenen av samme slekt, som datter av Johan Collett, disponent i Firma Albert Collett i Namdalen.