Aall førte, som det sømmet seg for en velstående familie med en fremtredende posisjon, et stort og selskapelig hus i Aallgården. Til hverdags levde de dog relativt nøkterne liv. Husets sønner gikk som andre barn med lapper på knær og albuer, uvitende om sin rike bakgrunn. I 1780 hadde Aall kjøpt Gaasegrund (Roligheden) etter Carl Deichman, hvor han i 1783 oppførte et landsted med have og parkanlegg. Her bodde familien om sommeren omgitt av påfugler, perlehøns og andre sjeldne dyr, som Aall smykket sitt yndlingsoppholdssted med. Mens han i 1798 var i gang med oppførelsen av en herskapelig bygning på Bjørntvedt, døde han i Aallgården. Hustruen overlevde ham med 17 år. De ligger begge begravet på Østre Porsgrunn kirkes kirkegård.