駅正面に小さな集落と田畑がある。鉄道開通までは陸の孤島であったというが開通と同時に集落が形成された。大正時代半ばには駅弁販売も行われていた。しかし川内廻りの海線の開通とともに肥薩線利用者は激減した。現在は当集落も過疎化が進み、付近の矢岳小学校は休校となっている。駅正面から約100メートル離れた山麓の高台に、明治時代に建てられた矢岳駅の駅長官舎が残されている。肥薩線開通に伴って建てられたもので、建物財産票には明治42年11月と記載されているが、明治39年（1906年）6月の新聞で官舎建設が進行中と掲載されていることから、実際の完成はそれより早かったと推定されている。駅近くを流れる大川間川が出水を起こしても安全で、かつ駅を直視できる位置としてこの場所が選ばれ、かつては20戸に及ぶ官舎が付近に建ち並んでいた。1980年（昭和55年）に地元矢岳町の公民館に転用され、さらに2002年（平成14年）に個人所有となって住居として使われていた。建物は、木造平屋建て切妻造瓦葺の和風のもので、全国的に残存例が少ない明治期の鉄道官舎として貴重なものであるとして、2003年（平成15年）7月1日に国の登録有形文化財に登録された。この古民家を再利用して2019年（令和元年）8月2日より、クラシックレールウェイホテルによりホテル「星岳」として営業を開始した。利用者は、人吉駅でチェックインを行い、列車に乗って矢岳駅へ来て宿泊し、夕食は列車で大畑駅に併設されたレストランを利用する形態となっている。矢岳駅より少し南側の踏切付近に熊本県と宮崎県の県境があり、そのすぐ南側に矢岳第一トンネルがある。日本の鉄道の初期に建設されたこのトンネルは難工事を極め、多数の犠牲者を出したほか、異常出水によって資材運搬用の馬が荷物ごと押し流されてしまったという話も残る。観光列車「いさぶろう・しんぺい」の名前の由来となった山縣伊三郎と後藤新平のそれぞれの筆による扁額「天険若夷」（てんけんじゃくい）と「引重致遠」（いんじゅうちえん）は、このトンネルの難工事を労るものでもある。なお扁額の意味は、「天険、夷（い）の若（ごと）し（天下の険しい難所を平地のようにした）」・「重きを引きいて遠きに致（ち）す（重い物を引いて遠くへ至ることが出来る）」とのことである。この付近の東側2kmほどに肥薩線と平行して九州自動車道加久藤トンネルが通る。矢岳第一トンネルと矢岳第二トンネルの間からは日本三大車窓のひとつ・矢岳越えからの霧島連山とえびの高原の絶景を望むことが出来る。ここで「いさぶろう」・「しんぺい」は一時停止して車窓を満喫できるサービスを行っている。天気が良ければ桜島、さらに条件が重なれば開聞岳までも望むことが出来る。
1830年1月の最初の試運転を経て同年の9月15日、マンチェスターのリヴァプール・ロード駅（Liverpool Road railway station）（現在のマンチェスター科学・工業博物館（Museum of Science and Industry in Manchester）の一部にあたる）とリヴァプールのエッジ・ヒル駅間で営業を開始した。しかし開業式典当日にリヴァプール選出の議員であるウィリアム・ハスキソンが列車に轢かれて死亡するという最悪の事態に見舞われた。列車がニュートン・ル・ウィローズ（Newton-le-Willows）そばのパークサイドで一時停車した際、客車から下車し当時の首相であった初代ウェリントン公爵アーサー・ウェルズリーに客車の窓から挨拶しようとした矢先の事故であった。 線路上に立っていたハスキソンは、対向の線路を接近してくるロケット号の速度を見誤った結果轢かれてしまい、世界初の鉄道人身障害事故を発生させてしまった。なおハスキソンは即死したわけではなく、首相の乗っていた列車から切り離されたノーザンブリアン号（Northumbrian）によってエックルス（Eccles）へと救急搬送されたが、そこの牧師館で亡くなった。事故による暗い雰囲気の中一行はマンチェスターへと進んだが、現地は労働者階級による首相への反発が根強い地域であり、煉瓦を投げつけられるといった騒ぎの中リヴァプールへと戻った。このように幸先の悪い開業日であったが、その後の経営は極めて好調であった。開業後数週間にして最初の臨時列車が運行され、世界で最初の鉄道郵便の営業が行われ、ピックフォーズ社（Pickfords、イギリスの引っ越し会社）向けのコンテナを搭載していた。1831年の夏までに、ニュートン・レースへ向かう何万もの列車が運行されるようになった。鉄道免許の法案では、他人が使用料を払って鉄道線路を使用することを認めていたが、会社は最初から列車を自社で所有して自社で運行することを決めていた。当初から貨物営業を想定して建設された線であったが、実際の開始は12月のプラネット号を始めとした大出力機関車の就役を待つこととなった。また競合する運河各社では運賃の値下げが進み、鉄道の開業によって運河運賃の異常な高さが露呈する結果となった。想定外だったことは鉄道が旅客営業でも成功したということであった。レインヒル・トライアルによりかつて無い高速輸送が可能であることが分かり、加えて当時の自動車よりも安く快適な乗り物となった。このため、会社は当初旅客輸送に集中する決断をし、以後の鉄道営業に大きな影響を与えて鉄道狂時代の始まりとなった。当初、速度は線路の問題で17マイル毎時（27km/h）に制限の上運行された。しかし実際には更に加速することが可能であったため機関士は制限を越えて運転していた。そして速度超過が発覚し処分を受けることもあった。初期の線路には枕木がなく石の上に設置されていたため、速度を上げすぎるとレールを押し広げる可能性があったためである。1837年に当初の魚腹形レールから1ヤード当たり50ポンド（23kg/m）の双頭レールへの交換が始められ、枕木が導入された。ライム・ストリートからエッジ・ヒルまでのトンネルは1836年に完成し、開業後は客車はエッジ・ヒルで機関車から切り離された後重力でリヴァプール・ライム・ストリート駅まで、制動手によりブレーキを掛けられながら降りていき、また据え置き式の蒸気機関によりケーブル牽引で引き上げられていた。トンネルの長さは1,980ヤード（1,811m）であった。1842年7月30日には、オーズオール・レーン（Ordsall Lane）からマンチェスター・ヴィクトリア駅までの延長工事が始まり、1844年5月4日に開業して、以後リヴァプール・ロード駅は1世紀以上に渡って貨物輸送専用に用いられた。