Collett var bror av Jonas Collett og far til Peter Jonas Collett. Gjennom sistnevntes ekteskap var han også svigerfaren til Camilla Collett.