Han var sønn av den rike Christianiakjøpmannen Henrik Carlsen og hustru Maren Anker. Han arvet en stor formue etter foreldrene, og ble blandt de fremste sageierne på Østlandet. Carlsen eide en rekker gårder heriblandt Skøyen og landstedet Filipstad.