Shinano Province
1846년 시나노 국 스와군 (후의 나가노현 오카야시) 에서 무사의 아들로 태어났다. 이른 나이에 부모와 사별해 조모의 손에 자랐으며, 후에 번교(藩校) 에 들어가 독서와 무예에 힘썼다. 처음에는 같은 신슈(信州) 출신의 사쿠마 쇼잔에게 배우려고 했으나, 쇼잔이 암살됨에 의해 에도 번저(藩邸) 에서 일하면서 프랑스어 등을 배웠다.