入大奥，起初担任御锭口众的「助」，随后以其过人才智获重用。嘉永六年（1853年），46岁的泷山被任命为直属将军（刚上任的第十三代将军德川家定）的御年寄，掌握大奥实权。正值幕府就第14代将军继嗣问题争议，泷山联合当时大奥的上臈御年寄歌桥和第13代将军生母本寿院支持南纪派的纪州藩德川庆福（德川家茂）继位，并与推举一桥庆喜（德川庆喜）的一桥派（成员包括德川家定的御台所天璋院．笃姬）对立。最终于由庆福（即位后改名家茂）继任14代将军。而泷山亦获家茂留任直属将军的御年寄，并于58岁时成为笔头御年寄。家茂生母实成院