1923年（大正12年）病死，他的儿子也在太平洋战争中战死。此外，由于回到日本生活一事并非是矢岛的本意，所以他几乎不工作，也时常说「即使消瘦、即使干枯，我还是西藏的陆军大将！」（），在地方上被当成奇人看待。1963年（昭和38年）2月13日，矢岛由于老化与肝硬化去世，享年80歳。