东京芝浦电气（即东芝）的社长石坂泰三是同级同学。其后曾在东京陆军地方幼年学校学习。1904年11月，从陆军中央幼年学校毕业。大岛在青少年时期曾寄养于在日德国人家庭，受到了良好的德语训练。成为军人后首次派驻德国时，还曾与德国青年一起学习德语，教材是罗莎·卢森堡的《俄国革命》和卡尔·李卜克内西的《书信》。据说由于醉心于德语，大岛直到晚年还保留着每天看德语书籍和杂志的习惯。1915年从陆军大学校毕业后，大岛曾在炮兵部队和参谋本部服役，后于1923年8月至1924年2月间，派往日本驻奥地利和匈牙利公使馆任公