，同年他将总帅一位让给侄子、弥太郎长子，自己则担任监务（相当于现今日本的『相谈役』职务）。1890年，他获明治天皇选为贵族院终身议员（第二年辞职）。六年后，他接替川田小一郎，出任日本银行总裁。但其后因为与大藏大臣不和，而在翌年辞职。1902年曾到欧洲旅行，五年后出任东京慈惠会顾问。1908年，弥之助与世长辞，终年五十七岁。死后大部份物品均藏于静嘉堂文库。
家族及后人.弥之助与妻早苗子育有三男一女，分别是长女繁子、长男、次男、三男。其中繁子嫁给松方正义次男松方正作。长男小弥太