年辞职。1902年曾到欧洲旅行，五年后出任东京慈惠会顾问。1908年，弥之助与世长辞，终年五十七岁。死后大部份物品均藏于静嘉堂文库。
家族及后人.弥之助与妻早苗子育有三男一女，分别是长女繁子、长男、次男、三男。其中繁子嫁给松方正义次男松方正作。长男小弥太曾出任三菱财阀第四代总帅，俊弥则是旭硝子（后改为艾杰旭）的创办人，而辉弥就经营子安农园，拥有很多铁路写真照。辉弥的儿子是一名英语学家，并与北原白秋之女结婚，育有一子。而俊弥的外孙也是一名企业家。