慶応元年(1865年)には隠居となった忠恕の側近として仕え、大殿様御広間御番頭に任命される。