Carlsen var ugift og satte sin kusine Witte Sophie Sørensen som universalarving. Han er kjent som en av Christianias velgjørere, og hans navn er knyttet til en stiftelse for trengende kvinner.