横浜港では、幕末の開港以来順次埠頭の整備を進めてきたが、西波止場・大桟橋・東波止場の整備でもなお艀を経由した荷扱いを解消するに至っていなかった。このためさらなる拡張が計画され、西波止場よりも西側に埋め立てを行って新港埠頭を増設する工事に1899年（明治32年）5月に着手された。この埠頭は、1914年（大正3年）に完成した。この埠頭へ、初代横浜駅（1915年に桜木町駅に改称）から臨港鉄道を乗り入れる工事も行われた。大岡川の河口沖合に2つの細長い人工島を造成し、その間に橋を架けて新港埠頭のある人工島へ乗り入れる構造とされた。また新港埠頭からさらに新港橋梁を渡って本土側へ線路が延長され、横浜税関構内まで伸びる構造となっていた。新港埠頭内の線路の敷設工事は、1908年（明治41年）6月から1914年（大正3年）3月までかけて実施された。横浜駅から新港埠頭への線路は複線で敷設されており、そのまま新港埠頭中央付近まで延長されて、各岸壁や倉庫の前まで分岐して引き込まれる構造となっていた。60ポンドレールを使用し、橋との連絡などで必要な個所以外は水平で、最小曲線半径は4.5チェーン（約90m）、分岐器は8番もしくは10番を使用していた。構内に敷設された線路の総延長は740チェーン91リンク（約14,900m、橋梁上を含まない）、転轍器91組、クロッシング85組、シーサスクロッシング2組、ダブルスリップスイッチ1組、ダイヤモンドクロッシング11組、車止9か所、車輪止め33か所が設置されていた。さらに貨車用の15フィート転車台（ターンテーブル）11台、12フィート転車台2台、トラバーサー3台、計重台6台が設置されていた。また鉄道用の線路以外に、クレーンを動かすための線路も敷設されていた。クレーン用の線路を含めない総工費は、215,292.059円であった。この設備が初めて使用されたのは、台風によって東海道本線が不通になったことにより名古屋・清水から臨時に手配した船舶を横浜港新港埠頭まで運航した時に、仮設した横浜埠頭の駅から横浜駅まで乗客を輸送した際で、1910年（明治43年）8月15日であった。しかし実際に貨物輸送に使用されるには時間がかかり、貨物の試験輸送などを行ったうえで正式には1911年（明治44年）9月1日に横浜港荷扱所として開設された。しかし貨物列車の運行にはつきものの入換作業を行う操車場を埠頭内に建設する余地がなく、横浜駅で入換を行うこととして開業したが、実際には横浜駅でも操車場を増設する余地はなかった。このため後に高島駅が開設されて、これにより本格的に海陸連絡設備としての供用が開始された。1915年（大正4年）8月15日に、それまでスイッチバック式であった横浜駅を通過式に改良するために、2代目の位置に横浜駅が開設され、初代横浜駅は桜木町駅に改称した。さらにその後の改良工事により、同年12月30日に桜木町駅のうち貨物取扱設備が分離されて東横浜駅として独立した。この結果、横浜港駅は東横浜駅から延長した先にある駅となった。その後、1920年（大正9年）7月23日付で正式に駅となり、横浜港駅となった。この際に新港埠頭4号岸壁の脇に旅客用のプラットホームが設置され、日本郵船および東洋汽船のサンフランシスコ航路出航日に合わせて乗船客と見送り客を輸送するために、東京駅からのボート・トレインが2往復運転されるようになった。4号岸壁には、1914年（大正3年）に外国航路用の建物が建てられていたが、これは関東大震災で倒壊し、1927年（昭和2年）に全長170mの四号上屋として再建された。2階に旅客待合室、食堂、貴賓室、携帯品検査所、1階に貨物置場、旅行荷物検査所、貴重品置き場などが設けられ、この上屋に面して横浜港駅のプラットホームが設置されていた。第二次世界大戦勃発後は対米航路の運航が中止となった。大戦前の最後のボート・トレインの運行は明らかでないが、最後の対米航路出航が1941年（昭和16年）7月18日の浅間丸であることから、この日ではないかとされている。開戦後は、1942年（昭和17年）4月1日から海軍関連専門の駅として使用された。大戦末期には横浜市は繰り返し空襲を受けたが、横浜港駅は信号扱所を焼失した程度で、駅本屋や構内の線路は無事であった。第二次世界大戦後は連合国軍が進駐を開始し、横浜港駅を含む新港埠頭は接収されて、進駐軍専用に使用された。アメリカ本土から船舶で輸送されてきた大量の補給物資が陸揚げされて山積みされていたとされる。埠頭にある倉庫群も接収され、常温倉庫には缶詰類、冷凍倉庫には冷凍食品などが大量に保管されて、横浜港駅から冷蔵車などで発送された。朝鮮戦争に際しては、戦死者の遺体収容庫としても使用されていた。1956年（昭和31年）5月10日に埠頭返還書に調印され、日本側による使用が再開された。第二次世界大戦後、対米航路の運航が再開され、新港埠頭の返還により横浜港駅へのボート・トレインの運行も再開された。大戦後最初のボート・トレインは、1957年（昭和32年）8月28日の氷川丸出航に合わせたものであった。しかし海外旅行は航空機使用の時代に急速に移り変わっていき、1960年（昭和35年）8月27日の氷川丸出航に合わせて運行されたボート・トレインを持って運行が終了となった。1965年（昭和40年）7月1日に、横浜港駅からさらに延長して山下埠頭駅までの路線が開通した。この路線は1958年（昭和33年）の山下埠頭の完成に伴って計画されたものであったが、経路がどうしても山下公園を通らざるを得ないところから、景観上の問題があるとして反対運動を受けて開通が遅れていた。山下公園のもっとも山側を高架線で通過し、景観に配慮してラーメン・ゲルバー構造の高架橋を建設することで、ようやく開通した。しかし、既に貨物輸送はトラックに移り変わっていく時代であり、遅すぎる開業となった。輸送が次第にトラックに移り変わっていくとともに、港湾の荷役も、それまでの雑多な貨物を一手に引き受ける埠頭から、物資別の専用埠頭に移り変わっていくことになり、また鉄道貨物輸送も石油輸送やコンテナ輸送など一部の輸送に特化して行く時代を迎えた。これにより横浜臨港線の輸送も衰退していくことになった。先に信号場化されていた東横浜信号場との間では、1981年（昭和56年）1月29日に上り線の線路が切断されて単線化され、翌1月30日東横浜信号場が廃止となった。さらに1982年（昭和57年）11月15日に横浜港駅も廃止となり、横浜港信号場となった。山下埠頭への貨物輸送のみが継続されていたが、この輸送も1986年（昭和61年）11月1日に廃止となり、高島信号場より南の路線が全廃となった。ただし、書類手続き上は横浜港信号場までの旅客営業が残存しており、翌1987年（昭和62年）3月31日の国鉄最後の日に書類上の処理が行われて旅客営業も正式に廃止となっている。廃止後は横浜みなとみらい21計画にしたがって跡地の開発がすすめられた。一方、市制100周年・開港130周年を記念して1989年（平成元年）に行われた横浜博覧会の会場ともなり、この際にまだ線路の残されていた横浜港駅付近の臨港線を利用してレトロ気動車の運行が行われた。博覧会終了後は、1996年（平成8年）7月20日に旧旅客ホームが復元・保存されて赤レンガパーク内で一般公開された。このホームは、長さ55mほどが残されて、Y字の屋根柱は新製されたものである。1997年（平成9年）7月19日には、旧東横浜駅から横浜港駅へ通じる線路を通していた細長い人工島とその間に架かる3つの橋の遊歩道としての整備が完了して一般に公開され、汽車道となった。また、2000年（平成12年）には山下埠頭までの貨物線のうち山下公園内の区間の撤去が完了し、2002年（平成14年）3月2日には新港橋梁から山下公園までの区間が遊歩道として整備され山下臨港線プロムナードとして公開された。