青木新藏的长子。早年他入陆军幼年学校。明治10年（1877年）5月，他入陆军士官学校。明治12年（1879年）12月，他任砲兵少尉，翌年12月他从陆军士官学校（旧3期）毕业。明治14年（1881年）4月起，他历任山砲兵第2大队副、陆军士官学校教官、参谋本部任职。明治17年（1884年）10月至明治20年（1887年）12月，他被派往清国，驻广东、北京。明治21年（1888年）3月起，他历任近卫砲兵联队副、陆军士官学校教官、参谋本部第2局员，后到比利时留学。明治27年（1894年）8月，他被任命为第1军参