I familielivet var Mathiesen svært pragmatisk. Han levde i full offentlighet et dobbeltliv. Han hadde kone og fire barn på Linderud Gård, mens han på Hegdehaugen hadde en elskerinne, en opprinnelig tjenestepike, med navn Anne Bue. Også med henne hadde han fire barn. Da Mathiesen dro til utlandet i 1819, var det Anne Bue han tok med seg. Marthe Beate Monsen døde fire år senere, mens Mathiesen selv levde i 25 år etter at han forlot Norge.