1903年に発足。陸上競技、水泳、テニス、ハンドボールなどの部門も創設され、総合スポーツクラブとして発展した。1914年、1926年、1929年にはリーグ優勝を果たしている。ブンデスリーガ発足後は、長くブンデスリーガ2部に在籍した。しかし、1982-83シーズンのリーグ最終節で逆転降格が決定し、3部リーグへと降格した。その後クラブの低迷は続くが、1996-97シーズンにレギオナルリーガ（3部）準優勝を果たし、ブンデスリーガ2部へ昇格した。2006-07シーズンは最終節までわずかではあるが昇格の可能性を残していたが、カールスルーエSCに1-3で敗れ、5位に終わった。2007-08、2008-09シーズンも、前半戦で快進撃を続けたものの、後半戦に失速し、昇格を逃している。2011-12シーズン、DFBポカールでベスト4まで勝ち残ったが、準決勝でイルカイ・ギュンドアンの延長後半終了間際の決勝ゴールによりボルシア・ドルトムントに0-1で惜敗した。またブンデスリーガ2部で優勝し、ブンデスリーガ発足後初の1部昇格を決めた。2012-13シーズン、初めての1部参戦だったがシーズンを通じて苦戦を強いられ18位（最下位）が確定。1シーズンで2部へ降格となった。
1887年（明治20年）7月11日に東海道本線横浜 - 国府津間開通に合わせて、程ヶ谷駅として開業した。この時点では、横浜駅は現在の桜木町駅の位置にあり、東海道本線は初代横浜駅でスイッチバックをして程ヶ谷に至っていた。開業当初は西欧風のモダンな駅舎が建てられていたが、西口だけであった。この折り返しは輸送上の大きな障害となっていたこともあり、その後日清戦争が勃発して輸送量が増加した折に、陸軍省の依頼で神奈川駅と当駅の間を短絡する路線が1894年（明治27年）9月下旬に開通した。この路線は当初暫定のはずであったが、日清戦争が終わり東海道本線の複線化が進展すると、こちらの路線を本線とする計画が生まれた。横浜の商人などは、横浜駅が支線上になって列車本数が減少してしまうことへの懸念からこの計画に反対したが、結局1898年（明治31年）8月1日に短絡線の方が本線となり、こちら経由で神奈川 - 大船間の複線化が実施された。横浜の市民の利便性を考えて、この短絡線上に平沼駅が1901年（明治34年）10月10日に設置されたが、平沼駅周辺は未開で横浜市街地と結ぶ交通も未整備だったことから利用は少なかった。その後、東海道本線のすべての列車が横浜駅を経由できるように改良することになり、1915年（大正4年）8月15日に高島町交差点付近に2代目の横浜駅が開設された。これと同時に初代の横浜駅は桜木町駅に改称した。東海道本線は、神奈川駅から南へ向かって2代目横浜駅を経由し、石崎川に沿って当駅に至る弓なりの経路を通るようになり、同時に桜木町と当駅を結ぶ路線、神奈川駅と当駅を結ぶ短絡線は廃止となった。また2代目横浜駅の東側に貨物駅として設置された高島駅と当駅を結ぶ複線の貨物線が1915年（大正4年）12月30日に開通した。その後1917年（大正6年）6月17日に鶴見駅と高島駅を結ぶ貨物線、通称高島線が開通したことで鶴見から当駅までの貨物線がつながり、旅客と貨物が別線路を走行するようになった。またこの年に西口駅舎が改築されている。しかし1923年（大正12年）9月1日の関東大震災により2代目横浜駅は焼失した。その後の横浜の鉄道網再建計画にあたって、東海道本線を再び直線化する方向でまとまり、現在の位置に3代目の横浜駅が建設された。これにより、一度廃止された神奈川 - 程ヶ谷間の短絡線が再び本線となることになった。3代目横浜駅に着工する前の1925年（大正14年）12月13日に東海道本線東京 - 国府津間が電化され、当駅を通る列車も多くが電気機関車の牽引に移行した。1928年（昭和3年）10月15日に3代目横浜駅が開業し、2代目横浜駅を経由する弓なりの経路は廃止されて短絡線が再開通した。またその後貨物線の再編も行われ、1929年（昭和4年）8月21日に品川 - 鶴見間の通称品鶴線が開通して新鶴見操車場が開業し、また鶴見から程ヶ谷まで本線に沿った貨物線が開通して、程ヶ谷から平塚まで前年の3月31日までに順次開通していた貨物線と合わせて品川 - 平塚間の客貨分離が完成した。この線路の品川 - 東戸塚間が後に横須賀線の電車を運転するために利用されることになる。この貨物線完成により、不要となった高島と当駅を結ぶ貨物線は同年9月16日に廃止となった。1929年（昭和4年）2月14日、後に相鉄本線となる神中鉄道が西横浜駅まで開通した際に、当駅と西横浜を結ぶ連絡線が開通し、砂利輸送が行われるようになった。この連絡線を経由した運転は終始入換の扱いとされていた。1948年（昭和23年）9月13日にこの路線は貨物支線として正式に開業し、営業キロは0.8 kmとされた。引き続き砂利輸送が行われた他、厚木海軍飛行場に進駐した米軍向けの燃料輸送も実施された。1964年（昭和39年）からは厚木駅付近に小野田セメントのセメント基地が建設され、セメント輸送も行われるようになった。一方でこの年、相模川の砂利資源枯渇に伴い、砂利輸送は全廃された。また当駅構内には相鉄所属の専用線も存在していた。1930年（昭和5年）3月15日から横須賀線の列車が電車化され、当駅に電車が運行されるようになった。これに伴い、東海道線は全列車が当駅を通過となり、横須賀線の電車のみが停車するようになった。1931年（昭和6年）10月1日に保土ケ谷駅に改称され、1938年（昭和13年）3月には東口駅舎が開設された。東海道線と横須賀線の列車は同じ線路を共用してきたが、貨物線を利用して分離を行うことになり（SM分離）、まず1979年（昭和54年）10月1日に横浜羽沢駅経由で新設された貨物線に貨物列車の運転が移行し、当駅では貨物扱いが廃止となって、貨物線が空くことになった。これに伴い、10月6日付で相模鉄道の貨物支線も廃止となり、残っていたセメント輸送や米軍燃料輸送は厚木駅を経由したものに移行した。廃止の時点ではこの連絡線の営業キロは1.0 kmとなっていたが、改キロがいつ実施されたかは不明である。それから1年をかけて橋梁の改築などの旅客化工事が行われ、1980年（昭和55年）10月1日から旧貨物線を経由して横須賀線電車の運転が開始された。1981年（昭和56年）2月1日に現行の橋上駅舎が供用開始されている。