但是因为动用公款寻欢作乐，半年之后又被调回土佐。27岁时娶了长冈郡三和村乡士高芝重春次女喜势为妻。随后弥太郎受命监视土佐勤王党和脱藩武士的动向，吉田东洋被暗杀后，弥太郎和同僚前往大坂调查，由于通行手续问题而返回土佐，而留在大坂的佐一郎则遭到勤王党的冈田以藏刺杀，弥太郎因此躲过一劫。有人认为弥太郎预先觉察尊王攘夷派在京都，大坂地区势力强大，明知任务无法完成而开熘。随后在长崎动用公款的事情被追究导致辞职。庆应3年（1867年），在后藤象二郎的推举下，再次派往长崎，在土佐藩的商贸组织土佐商会中担任财务会计