単式ホーム1面1線と島式ホーム1面2線、合計2面3線のホームを有する地上駅。留置線・側線を11本有し、うち東側の5本は旅客用、西側の6本は貨物用となっているが、2017年12月時点では旅客用は車止めが置かれ使用停止となっている。1本の跨線橋で駅舎2階とホーム連絡しており、橋上駅となっている。以前は延岡運転区（分ノカ）がありJR九州時代の高千穂線列車の運用を持っていた（南延岡運輸センター）。駅舎は鉄筋コンクリート2階建てで、改札外に待合所がある。待合所には売店(キヨスク)があったが閉店し、2017年12月までに完全撤去されている。みどりの窓口があり、自動券売機1機が設置されている。基本的に1人で出集札と構内アナウンスを行う。列車別改札を採っている。出改札業務はJR九州サービスサポートに業務委託している。貨物列車の入換時や早朝、夜間の車両回送時は延岡駅から輸送担当、信号担当が列車便乗で出張してきて作業を行う。ただし、2007年（平成19年）3月ダイヤ改正より夜間の車両留置（停泊）は延岡駅を使用することが多くなり、延岡駅員が南延岡駅に出張してきて作業を行うケースは減少した。
東海道新幹線や東海道線の電車が熱海駅を発着するとき、ごく短い時間だけ車窓から緑豊かな鎮守の森を目にすることができる。これが来宮神社の社叢で、JR東日本の来宮駅から徒歩で約5分程度のところに所在している。神社の縁起によると、創建には次のような説がある。710年（和銅3年）、漁夫の網に1体の木像がかかった。何度捨ててもまた木像が網にかかるので漁夫はこれを怪しみ、海辺のマツの木の根元に木像を安置した。ある夜漁夫の見た夢に、木像が神の姿で現れた。木像は「自分は五十猛命である」と名乗り、「山に7本のクスの大樹があって波音の聞こえない地がある。そこに自分を祀れ。さすれば村民たちを守護しよう」と告げた。そこで漁夫はこの地を選び、「木の宮（来宮）」として祀った。それが来宮神社の始まりであるという。社叢にはクスノキの他にもホルトノキやシイノキなどの大木が多く見られ、昼間でも薄暗いほどである。本殿に続く参道をしばらく歩いていくとやがて右手側にクスノキの巨木が現れるが、これは通称を「第二大クス」という別の木である。大クスは本殿裏側、糸川の崖上に生育している。2016年（平成28年）に出版された『千年の命 巨樹・巨木を巡る』によると、樹高は36メートル、推定の樹齢は伝承で2000年という。樹皮は赤みがかって幹にはこぶ状の隆起がいくつも形成され、根は地面に深く食い込んだ後に地上にまで盛り上がって波打つほどである。1824年（文政7年）の『甲申旅日記』という文献では「この山に大なる楠あり。めぐり十一抱え半あり。幹はうつろに成りてほらのごとく、三十六人居並ぶという。この外にも七八抱えの楠ありと聞けり」と言及されている。もともとは1株の木として生育していたが、後に根元から南北2幹に分離した。これは明治維新の頃に木材利用のために幹の根元に近い一部分を切り取ったところ、2幹に分かれてそのまま生育を続けたものである。文化庁発行の『天然記念物事典』によれば、2幹を同一株として根元の総周囲を測ると約15.65メートル、目通り幹囲は約12.50メートル、北幹の根元が約14.70メートルで目通り幹囲は約12.50メートル、南幹の根元が約10.85メートルで目通り幹囲は約8.25メートルである。北幹は高さ約20メートルに達し、枝葉を多く茂らせて旺盛な樹勢を保っている。南幹は地上約5メートルほどのところで折損し、その部分をトタンで覆っている。この折損は、1974年（昭和49年）8月31日の台風23号の被害によるものである。かつて来宮神社の境内には、7本の大クスがあったと伝わる。嘉永年間（1848年-1853年）に熱海村と伊豆山村の間で漁業権を巡る争い（大網事件）が起こった。熱海村は訴訟費などを捻出するために、5本の大クスを伐採した。次にこの大クスを伐ろうとしたところ、突如白髪の老翁が現れてこれを遮った。その途端に大鋸が真っ二つに折れ、老翁の姿も消え去った。人々はこの事態を神のお告げと受け止めて伐採を中止し、大クスと第二大クスの2本が神社境内に残ることになった。長きにわたって暴風雨などの災害を乗り越えてきた大クスは不老長寿や無病息災の象徴とされ、周りを1周すれば1年寿命が延びると伝えられている。そのため、大クスの周囲を何度も回る人々の姿が見受けられる。この大クスは1933年（昭和8年）2月28日に国の天然記念物となった。大クスは、蒲生の大クス（鹿児島県姶良市）、武雄の大クス（佐賀県武雄市）と並んで「日本三大クス」に挙げられている。環境庁による巨樹・巨木林調査（昭和63年度）においては、蒲生の大クスにつぐ全国第2位の巨木とされた。通称を「来宮神社の大クス」（きのみやじんじゃのおおクス）ともいい、この呼び名でも親しまれている。天然記念物指定名称に「阿豆佐和気神社」と冠せられているのは、それが指定当時の神社名だったためである。国文学者の佐佐木信綱は、「来の宮は樹齢二千年の樟のもとに御国のさかえいのりまつらむ」という歌を詠んだ。この歌の歌碑が来宮神社の境内に建立されている。毎年5月5日に執り行われる「大楠祭」のときに奉納される「大楠の舞」は、佐佐木の歌にちなんで作られたものである。