为三男。自群马县寻常中学（今）肄业后参军。在日俄战争中，他参加乃木希典所率领的第三军，参与了旅顺会战，也志愿参加名为「白襷队」的突击队。由于此次的战功，他升官为军曹（相当于中士），并被授与了代表七级战功的金鵄勋章。1906年（明治39年），由于矢岛在剑术方面表现出优异的才能，他被命令进入（以培养战术、剑术、体操的指导员为目的的学校）就读。这时的矢岛，受到当时畅销书作家河口慧海的《西藏旅行记》（日文：）的刺激，希望能够从事横越亚洲的无预算旅行。于是从当时开始，他为了变装成藏族人而开始留长头发（藏族有将头发