亲王（静宽院）降嫁江户后，不愿意跟随武家的风俗，令泷山在大奥中承受重大的压力。庆应二年（1866年），德川家茂过世后，提出辞去了御年寄的职务，离开大奥。经静宽院游说，于大奥多逗留一年，直至扶植继任人熟习职务才离开（当时62岁）。泷山离开大奥约半年后，江户无血开城，德川幕府及大奥正式结束。可能因为泷山在德川幕府及大奥最后的十数年中一直担任着重要的角色（包括成为御年寄及支持下任将军继承），因此不少戏剧作品皆设定泷山为幕府及大奥覆亡的第一人身见证者。唯幕府覆亡时泷山已请辞御年寄职务并已离开江户城，因此有关