幕府及大奥最后的十数年中一直担任着重要的角色（包括成为御年寄及支持下任将军继承），因此不少戏剧作品皆设定泷山为幕府及大奥覆亡的第一人身见证者。唯幕府覆亡时泷山已请辞御年寄职务并已离开江户城，因此有关演绎并不乎合史实。离开大奥后，于武藏川口（今埼玉县川口市）度过余生，并收养了一名养女，其后为她招入夫婿，并以自己在大奥工作的名字建立泷山家，于川口市繁衍至今。明治九年（1876年）71岁时逝世。法名泷音院殿响誉松月祐山法尼。墓所位于川口市钖杖寺。