帆足万里
実際の家老辞職の原因は、子孫の帆足図南次が「根本は彼(萬里)の峻厳果断に過ぎた改革を片っ端から壊わしていった藩状にあきたらなかったからであり、辞退の動機の一半は忠誠剛直な彼と藩の機会主義者たちとの間に籍した感情の対立である」と述べている様に、厳しい改革を行った帆足萬里と、それに対立する藩内の抵抗勢力との間に軋轢が生じたためである。
家老職を辞した萬里は、中ノ町の旧宅に移り住みそこで家塾を開く。その後、天保13年(1842年)に65歳の帆足萬里は、豊後南端村目刈(現在の日出町南端目刈)に私塾西崦精舎(せいえんせいしゃ)を開いて子弟の教育を始める。しかし弘化4年(1847年)4月10日に萬里はにわかに門人を引き連れて京都に発ち、翌年まで東福寺の採薪亭に滞在する。これは京都に大学を興して教育によって朝廷の威光を増そうと朝廷に進言するためであった。
元藩主・木下俊敦と弟子の説得により萬里は、日出に戻ることになり、再び西崦精舎で数年間教えていたが、嘉永4年(1851年)に病気になり、西崦精舎を岡松甕谷らの弟子に任せて日出二の丸に移り住む。翌年の嘉永5年(1852年)に75歳で没する。体は弱い方だったが、人一倍衛生を重んじ、食物に気をつけて養生したので長命を得たという。
明治45年(1912年)、従四位を追贈された。