客大幅减少，矢岳逐渐没落、萧条，连矢岳小学也因此废校。矢岳站南侧的平交道附近是熊本县与宫崎县的县境分界。南侧的矢岳第一隧道地处偏僻，材料运输补给不便，且其地质属凝灰岩，常有不明涌水现象，是铁道建设初期最为艰难的工程。为纪念施工时的殉职者，当时的递信省大臣山县伊三郎在隧道北口匾额题下「天险若夷」（），铁道院总裁后藤新平在隧道南口匾额题下「引重致远」（）。（目前行驶的观光列车「伊三郎」、「新平」即是起源于此）矢岳第一隧道与矢岳第二隧道间是有名的日本三大车窗风景之一，越过矢岳后可眺望雾岛连山与虾野