I sine siste leveår ble Aall stadig mer sykelig. Dette førte til at han trakk seg tilbake fra det offentlige liv og overlot det meste av arbeidet med bestyrelsen av jernverket til sin sønn. Derimot var han helt til det siste sysselsatt med sine litterære arbeider.