家茂生母实成院随儿子进入大奥生活后，因其喜欢饮酒的习惯被泷山直指是「扰乱大奥内的风纪」的举动，但实成院不为所动，更传出向泷山下咀咒和下毒的谣言。后来加上皇女．和宫亲子内亲王（静宽院）降嫁江户后，不愿意跟随武家的风俗，令泷山在大奥中承受重大的压力。庆应二年（1866年），德川家茂过世后，提出辞去了御年寄的职务，离开大奥。经静宽院游说，于大奥多逗留一年，直至扶植继任人熟习职务才离开（当时62岁）。泷山离开大奥约半年后，江户无血开城，德川幕府及大奥正式结束。可能因为泷山在德川幕府及大奥最后的十数年中一