文政2年(1819年)、嫡子・斉輝が23歳で早世し、文政3年(1820年)に斉輝の長男・本之丞も5歳で死去した。