3年）出生于日本萨摩国鹿儿岛城下加治屋町柿本寺通，为萨摩藩武士大山彦八纲昌的次子，幼名为「岩次郎」。年轻时候受到同藩有马新七等激进派的影响，于1862年（文久2年）寺田屋事件后被软禁，闭门思过。在萨英战争爆发后，被西欧列强军事力量所震惊，于是开始和江户幕府幕臣江川英龙学习砲术，后在戊辰战争中率领新式步枪部队，在鸟羽伏见（现京都市南区及伏见区）、会津等地转战。同时也改进大砲，名为「弥助砲」。明治维新以后，赴欧洲考察普法战争，于1870-1873年间于日内瓦留学。之后经历西南战争、士族反乱的镇压。甲