家茂）继任14代将军。而泷山亦获家茂留任直属将军的御年寄，并于58岁时成为笔头御年寄。家茂生母实成院随儿子进入大奥生活后，因其喜欢饮酒的习惯被泷山直指是「扰乱大奥内的风纪」的举动，但实成院不为所动，更传出向泷山下咀咒和下毒的谣言。后来加上皇女．和宫亲子内亲王（静宽院）降嫁江户后，不愿意跟随武家的风俗，令泷山在大奥中承受重大的压力。庆应二年（1866年），德川家茂过世后，提出辞去了御年寄的职务，离开大奥。经静宽院游说，于大奥多逗留一年，直至扶植继任人熟习职务才离开（当时62岁）。泷山离开大奥约半年后，