完全无视他们的要求。矢岛在了解这样的情势后，于1918年（大正7年）10月，带着妻子离开拉萨，经由印度回到日本。
晩年.返回日本后，矢岛在他的故乡群马县生活。他的妻子由于风土不服，在1923年（大正12年）病死，他的儿子也在太平洋战争中战死。此外，由于回到日本生活一事并非是矢岛的本意，所以他几乎不工作，也时常说「即使消瘦、即使干枯，我还是西藏的陆军大将！」（），在地方上被当成奇人看待。1963年（昭和38年）2月13日，矢岛由于老化与肝硬化去世，享年80歳。