Han fødtes som eldste barn til Peter Collett (d. 1786) og Johanna Henricha Ancher (d. 1812). Han ble bergverksutdannet ved Kongsberg Bergseminar, der han også studerte arkitektur under professor Olav Olavsen.