Collett var født på herregården Rønnebæksholm ved Næstved i Danmark som sønn av kammerråd Johan Collett (1734–1806) og hans ektefelle Else Elisabeth f. Jensen. Familien var av norsk avstamning. Senere flyttet familien og han vokste opp i København. Kun 18 år gammel ble han cand.jur. og startet sin karriere i embedsverket.