《西藏旅行记》（日文：）的刺激，希望能够从事横越亚洲的无预算旅行。于是从当时开始，他为了变装成藏族人而开始留长头发（藏族有将头发留长的风俗习惯）。由于留长发是违反纪律的行为，他当时对同事与长官以「神武天皇不也是留长头发吗？我要成为神武天皇的使者，去征服俄罗斯。」（）为理由强辩。因此，他在1907年（明治40年）12月被去除军籍。翌年的1908年（明治41年），矢岛前往东京，加入了基督教传教士岛贯兵太夫创设的「日本陆行会」（一个协助大众前往美国的团体）。他在会中创设了名为「冒险俱乐部」的社团，募集一同进行