由于他所训练的部队在演习时的成绩优异，而引起了第十三世达赖喇嘛的注意，矢岛被委託训练达赖的禁卫队。矢岛是禁卫队长，时常在达赖喇嘛出巡时率领禁卫兵担任护卫。他也与当地富商的女儿结婚并生下小孩。矢岛得到十三世达赖喇嘛绝大的信任，举例来说，达赖喇嘛让矢岛在罗布林卡离宫内居住，甚至在他结婚后，还破例让他把女人带进离宫（离宫是禁止女人进入的圣地）内一同生活。然而在这之后，英属印度政府要求十三世达赖喇嘛将矢岛逐出西藏。虽然达赖喇嘛在形式上拒绝了英属印度政府，然而由于当时西藏所採取的亲英国路线，也不能完全无视他们的要