身延線の線路は市ノ瀬駅の近くから常葉川に沿って走るが、その常葉川が当駅の南西400メートルたらずの所で富士川に注いでいる。2004年（平成16年）9月13日に、身延町と下部町および中富町が合併し、新しく身延町となるまでは、常葉川と富士川、それと駅の北西およそ1.5キロメートルのところで富士川に注いでいる早川によって三つの町が分けられていたので、駅の付近にはこれら三者の境界が近接していた。駅の西400メートルほどのところを南北に流れる富士川を富山橋（とみやまばし）でわたるとそこは旧身延町の下山地域で、開業当初の当駅はこの下山からとって甲斐下山駅と呼ばれていた。また駅から南へ行くと200メートル足らずのところで常葉川をわたるが、この対岸が旧身延町の上八木沢である。駅名はのちに下山波高島駅に改称、その後1938年（昭和13年）10月1日には波高島駅に改称となるがこの波高島が、駅のある集落の名前である。波高島は江戸期以来、富士川の水運の中継地として栄えた場所であるが身延線の開通後、富士川の水運は衰退した。身延線とともに常葉川に沿ってきた国道300号は富山橋で富士川を渡り、下山の上沢交差点で国道52号に合流する。また当駅の北すぐの所で国道300号から県道が分岐しており、当駅の駅前広場はこの県道に接してつくられている。周辺の主な施設としては、富士川対岸の下山に、身延町立下山小学校・富士川クラフトパーク・峡南地域工業団地・身延工業団地・上沢寺のお葉つきイチョウ（国の天然記念物、1929年4月2日指定）・本国寺のお葉つきイチョウ（国の天然記念物、1929年4月2日指定）が、常葉川対岸の上八木沢に八木沢のお葉つきイチョウ（国の指定天然記念物、1940年7月12日指定）などがある。また、反対方向の上之平には、湯澤温泉の「不二ホテル」や「長生館」などがある。
島式ホーム1面2線と側線1本を有する地上駅。線路はほぼ北東から南西に走り、駅舎は線路の北西側にある。駅舎から、1番線、2番線の順で、1番線に甲府方面の列車が、2番線に富士方面の列車が発着する。側線1番線と駅舎の間に敷かれている。かつては2番線側にも側線があったが今では撤去されており、バラスト以外に痕跡はない。ホームの塩之沢方の端は緩やかな坂になっていて、これを下ったところから駅舎へ、1番線の線路と側線をこえて遮断機・警報機つきの構内踏切が伸びている。その他駅舎の下部温泉方にはすでに使われていない貨物ホームが残っており、また塩之沢方の2番線線路脇には身延工務区の波高島休憩所がある。ホームの中ほどには木造の待合所が設置されている。駅舎は2016年（平成28年）に建て替えられ、待合室のみの簡易型平屋建となっている。また、駅前広場には駐輪場兼トイレが設置されている。建替前の旧駅舎は開業当初からのもので、大きな屋根を持っていた。当駅は1983年（昭和58年）から無人駅となっているため、旧駅舎の出札口などは完全に板でふさがれ、旅客の立ち入ることのできる部分には待合所しかなかった。
鉄道の敷設特許はサイラス・ホリデイが独力で1859年1月に申請し、カンザス準州の知事によりアッチソン・アンド・トピカ鉄道会社 (Atchison and Topeka Railroad Company) としてカンザス州トピカからサンタフェまで、そしてメキシコ湾に至る鉄道を建設する目的で同年2月11日に承認された。当初の東側の終点はトピカのわずかに北東にあるアッチソンであり、そこから名前がつけられている。カンザス準州が州に昇格した2年後の1863年5月3日に、創業者の野望をよりよく表現するアッチソン・トピカ・アンド・サンタフェ鉄道 (Atchison, Topeka and Santa Fe Railroad) と改称した。鉄道は1868年10月30日にトピカで起工され、西へ向かって建設を開始した。初期の建設事業の中にはカンザス川を横断する工事などがあった。最初の大陸横断鉄道が開通するまで1か月もない1869年4月26日に最初の区間が開通し、トピカとポーリンの間を特別列車が運行された。この距離はわずか6マイル（約10 km）に過ぎなかったが、この「ワカルサ・クリーク・ピクニック・スペシャル」(Wakarusa Creek Picnic Special) と名づけられた特別列車は、ポーリンでの祝賀会場への旅客を運んだ。建設部隊はさらに西へと建設工事を続け、1872年9月5日にドッジシティに到達した。この建設により、サンタフェ鉄道はカンザス・パシフィック鉄道と家畜輸送を巡って競争できるようになった。建設はさらに続けられ、トピカからカンザス州とコロラド州の州境までの最後の区間を1873年12月23日に開通させた。コロラド州のプエブロには1876年3月1日に到達した。プエブロへ到達したことで、コロラドから石炭を東へ向けて輸送できるようになり、多くの新しい貨物輸送需要を獲得することになった。カンザス州から東部コロラド州にかけての建設は技術的には単純であった。その後さらに西へ建設を進めた際に直面したような、巨大な自然の障害がなかったからである。しかし地域の人口密度があまりに低かったために、経済的にはほとんど成り立たないことになった。この問題に取り組むためにサンタフェ鉄道はこの地域に不動産事務所を設立し、1863年にアメリカ合衆国議会によって鉄道に供与された土地に対する植民を精力的に推し進めた。西部に土地の調査に行く人であれば誰に対してでも、鉄道会社は割引運賃を提供した。もしその人が結果的に土地を購入すれば、運賃は土地の代金に充当することになっていた。サンタフェ鉄道は平原を横断して鉄道を建設してきて、また収入をもたらしてくれる顧客基盤を形成し、ロッキー山脈を越える険しい地形へ次なる関心を向けた。