2年（1855年），由于父亲在酒席上打架入狱回到土佐。弥太郎替父伸冤，结果也被投入大牢，在监期间，弥太郎向同牢的商人学习算术和经商技巧，为其后的发展有很大帮助。出狱后弥太郎被赶出村子，于是在蛰居中的吉田东洋所开设的少林塾学习。得到后藤象二郎的知遇，吉田东洋出任土佐藩代后，弥太郎作为藩吏被派往长崎，但是因为动用公款寻欢作乐，半年之后又被调回土佐。27岁时娶了长冈郡三和村乡士高芝重春次女喜势为妻。随后弥太郎受命监视土佐勤王党和脱藩武士的动向，吉田东洋被暗杀后，弥太郎和同僚前往大坂调查，由于通行手续问题而