西藏採取了封锁政策，且在矢岛滞留成都当时，西藏与清政府的关系紧张，因此要进入西藏境内是非常困难的一件事。在矢岛之前，及寺本婉雅等人也在穿越这个边境时遭遇到了失败。1910年（明治43年）的秋天，他在打箭炉与之前在西安邂逅的喇嘛伊扬偶然再会。伊扬是要将茶运往西藏的商队的一员，即将前往拉萨。矢岛与商队队长交涉，成功变装为蒙古人加入商队。关于交涉的过程并没有详细的纪录，但日本小说家推测，当时矢岛可能持有手枪而成功说服队长让他作为护卫同行。在1911年（明治44年）3月4日，他到达了拉萨，是继河口慧海、成田安辉