Statsrådinnen var også stemor til to av husbondens barn fra sitt tidligere ekteskap; Nicolai (1794–1846) og Hanna Hedevig (1796–?). Hanna Hedevig var født døvstum, og ble 6 år gammel sendt til undersøkelse på Frederiks hospital i København. Søsknene bodde flere år i Jonstrup utenfor København. Nicolai fikk etterhvert diagnosen «sinnssyk», og ble de siste årene av sitt liv holdt innesperret i et polstret rom i uthuset på Ulefos Hovedgaard. Ekteparet Aall tok også til seg to pleiebarn da de bodde på Brekke; Hulda Jessen, datter til dr. Jessen som døde fra flere mindreårige, samt Hans Cato Aall, da hans far og Niels' yngste bror Nicola Benjamin den yngre døde i 1811.