因此复活。之后他也受到接掌水野位置的阿部正弘的重用、嘉永4年（1851年）也负责编篆赦律。嘉永5年（1852年）隐居，将家督一职让给嫡男景纂、剃髪出家而号归云、3年后，在63歳时死去。戒名是归云院殿从五位下前金吾校尉松僲日亨大居士。墓地在东京都丰岛区巢鸭的本妙寺（江户时代是文京区本乡）。
「远山的金先生」的各种说法.由于青年时的放荡时代有去刺青，而拥有有名的「樱吹雪刺青」。不过这也只是众多说法之一、其他还有「只刺在右手腕」或「左腕上有花的图案」、「只有一枚樱花」、「背后则有女人