Han var sønn av godseier Peter Collett (1740–86) og Maren Kirstine Holmboe (1745–68). Han ble gift i 1794 med Eilertine Severine Bendeke (1777–1857), datter av sogneprest Peter Bendeke (1712–99) og Wilhelmine Elisabeth Sophie von Lowzow (1746–1815).