林忠崇
その後は宮内省東宮職庶務課に勤めるが、明治29年(1896年)に病気のため辞職した。回復後の明治32年(1899年)からは日光東照宮に神職として勤めたが、明治35年(1902年)に家事(妻の病気か)のため辞職して帰郷した。
大正4年(1915年)、岡山県において、次女・ミツ(1886年生まれ)の嫁ぎ先である妹尾順平(妹尾銀行頭取・衆議院議員)の元で同居した。昭和10年(1935年)にミツと妹尾が離婚し、忠崇はミツと二人暮らしになった。大正5年(1916年)に忠弘が死去し、爵位は忠弘の子の忠一が相続した。
昭和12年(1937年)に旧広島藩主・浅野長勲が死去した後、忠崇は生存する唯一最後の元大名となった。晩年は娘と同居しながら悠々自適の生活を送り、時には「最後の大名」として各取材を受けた。太平洋戦争が始まろうとする昭和16年(1941年)1月22日、次女・ミツの経営するアパートにて病死。享年94(満92歳没)。死の直前に辞世を求められた際、「明治元年にやつた。今は無い」と答えたと言われる。戊辰戦争時に降伏する際に詠んだ辞世の歌は「真心の あるかなきかはほふり出す 腹の血しおの色にこそ知れ」。ただし、それでもなお、と求められたため、「琴となり 下駄となるのも 桐の運」と詠んだと伝わる。
墓所は港区愛宕の青松寺。