寿院支持南纪派的纪州藩德川庆福（德川家茂）继位，并与推举一桥庆喜（德川庆喜）的一桥派（成员包括德川家定的御台所天璋院．笃姬）对立。最终于由庆福（即位后改名家茂）继任14代将军。而泷山亦获家茂留任直属将军的御年寄，并于58岁时成为笔头御年寄。家茂生母实成院随儿子进入大奥生活后，因其喜欢饮酒的习惯被泷山直指是「扰乱大奥内的风纪」的举动，但实成院不为所动，更传出向泷山下咀咒和下毒的谣言。后来加上皇女．和宫亲子内亲王（静宽院）降嫁江户后，不愿意跟随武家的风俗，令泷山在大奥中承受重大的压力。庆应二年（1866