以「神武天皇不也是留长头发吗？我要成为神武天皇的使者，去征服俄罗斯。」（）为理由强辩。因此，他在1907年（明治40年）12月被去除军籍。翌年的1908年（明治41年），矢岛前往东京，加入了基督教传教士岛贯兵太夫创设的「日本陆行会」（一个协助大众前往美国的团体）。他在会中创设了名为「冒险俱乐部」的社团，募集一同进行横越亚洲无预算旅行的同伴。由于当时进入西藏的话题蔚为风潮，有多达三十名的赞同者。此外，冒险小说家在此时送给他一台在当时是奢侈品的柯达照相机（这是由于矢岛所参加的日本陆行会的创设者岛贯，是春浪的