6月25日返回横滨。回国后发现祖父在江户开城前用手枪自杀，留学期间花子生下的女儿万喜夭折，寄放在秩父的旧家中的家产也被偷了，变得身无分文。
大蔵省时期.旧幕臣多数在静冈藩工作移民了,不过，不参与成为平民，去了横滨。。由于受到拿破仑三世滞留欧洲的威望，明治3年(1870年)普法战争爆发后，法国以生丝需求国法国的胜利为由购买了生丝，但是法国因为拿破仑三世成为普鲁士俘虏的惨败，与士族商法一样欠下了债务。。但是，在此期间，他认识了伊藤博文、川村纯义，并于明治4年(1871年)11月计划