府幕臣江川英龙学习砲术，后在戊辰战争中率领新式步枪部队，在鸟羽伏见（现京都市南区及伏见区）、会津等地转战。同时也改进大砲，名为「弥助砲」。明治维新以后，赴欧洲考察普法战争，于1870-1873年间于日内瓦留学。之后经历西南战争、士族反乱的镇压。甲午战争担任第二军司令官。1894年11月21日，号称远东第一要塞的大连旅顺口被日军攻陷，清军地面部队兵败如山倒。旅顺失陷后，大山岩按照攻城主将、第一师团长山地元治男爵的命令，以捕杀清军为名，命令日军有组织的实施全城大屠杀。大山岩事后的理由是：“我们养活