Han var sønn av godseier John Collett (1807–1891) til Buskerud og Antoinette Johanne Smith, datter av Elias Smith og Karen von Cappelen (1789–1863). Han overtok også Buskerud hovedgård fra faren, men gården ble solgt i 1883. Hans farfar var høyesterettsdommer Peter Collett og han var oldebarn av bl.a. godseier Peter Collett (1740–86) og grosserer Caspar von Cappelen. Han var nevø av godseier Bernt Anker Collet, som var stamfar til Collett-familiens danske gren (skrevet Collet).