建設工事は、1880年（明治13年）1月、小樽市内の若竹第3隧道から着工された。同年10月24日には手宮桟橋 - 熊碓第4隧道間で蒸気機関車「弁慶号」による試運転を行い、同年11月28日には手宮 - 札幌間の22マイル25チェーン（約35.9km）が開通した。先行して開業した京浜間鉄道や阪神間鉄道などがイギリス様式で建設されたのに対し、本鉄道はアメリカ様式で建設された。建設経費の節約や、アメリカの流儀からいけば、この鉄道は914 mm（3 ft）軌間で建設されたであろうが、将来、敷設されるであろう他の鉄道との接続を考慮した黒田の方針により、本州の鉄道と同じ1,067 mm（3 ft 6 in）軌間が採用された。結果的にこの判断は、後に青函連絡船による車両航送や、青函トンネルを利用した本州・北海道間の直通運転の実現に功を奏すこととなる。レールは15 kg（30ポンド/ヤード）の錬鉄製、枕木の本数は少なく道床も薄かった。手宮に機関庫と工場が設けられたが、小樽駅（現在の南小樽駅）や札幌駅は仮駅で、途中の朝里、軽川、琴似の各駅は、「フラグストップステーション」というアメリカ式の駅であった。開業に当たっては、アメリカのH.K.ポーター社から蒸気機関車2両、ハーラン・アンド・ホリングスワース社から2軸ボギー客車8両が輸入された。蒸気機関車（後の鉄道院7100形）は、1、2と付番されたほか「義経」、「弁慶」と命名された。いずれもアメリカの西部開拓期を思わせるようなスタイルの車両である。1881年（明治14年）8月、明治天皇の北海道巡幸があり、これらの車両を使用して、小樽 - 札幌間で北海道初のお召列車が運転された。天皇の御乗用としては最上級の客車であった「開拓使号」が使用され、「義経」が9両編成の列車を牽引した（異説もある）。1882年（明治15年）2月8日を以って開拓使は廃止され、鉄道と炭鉱は工部省の所管となった。同年6月25日には札幌 - 江別間が仮開業し、11月13日には手宮 - 幌内間が全通した。翌1883年（明治16年）9月17日には、手宮 - 幌内間鉄道の開業式が札幌で開催され、皇族や陸軍卿のほか、鉄道局長井上勝も列席している。この日は、市民の鉄道への理解を深めるため、終日無料で開放されたという。
相模鉄道横浜駅・高島屋（相鉄会館）と一体化されており、これら全体で新相鉄ビルと呼称される。当駅ビルは鉄骨鉄筋コンクリート造の地下2階・地上8階（一部地上9階）建てで、設計は松田平田設計、施工は大林組・日立製作所・東急建設が行った。1971年8月1日に横浜駅、1973年10月10日に横浜高島屋の増築部分（1階）、11月20日に相鉄ジョイナスの専門店部分（2〜5階）、12月1日に地下2階、1974年3月31日に地下1階が開業して、新相鉄ビル第1期工事が完了した。なお、高島屋の建物（相鉄会館）は当駅ビルより先に大林組の施工で建設され、1959年10月1日に完成・開業。以降数回の増改築が行われて新相鉄ビルの一部となり、1978年5月23日の新相鉄ビル第2期工事（6階〜屋上）完成により、新相鉄ビル第1期工事開始から9年2ヵ月を経て1978年5月23日に全館完成した。相鉄ジョイナスは「人間性の回復」をメインテーマとして設計され、ビル全体の約60%にも及ぶパブリックスペースの広さが特徴となっている。また屋上庭園「ジョイナスの森彫刻公園」（約4,550m²）には、約2万本の樹木と6つの彫刻・滝が設置されている。2階には相鉄線の駅舎が、改札口は1階（1階改札口・5番街方面改札口）と2階（2階改札口）の合計3か所にあり、キーテナントの高島屋横浜店のほか、全国有数規模の437店（2015年12月時点）の専門店街や屋上庭園がある。新相鉄ビル全体のフロア構成としてはジョイナスの専門店街がJR線側（当駅ビル）の地下2階〜4階に当たり、それ以外のフロアは一部を除いて高島屋となっている（ジョイナスの真上・真横が高島屋で地下1階〜4階の各階で繋がっており、ジョイナスのエレベーター・エスカレーターを上がれば高島屋へ行ける構造、後節も参照）。2013年には、横浜駅西口地下街の「ザ・ダイヤモンド」と一体化することとなった。当初は「ジョイナス ザ・ダイヤモンド」（JOINUS The DIAMOND）として、2016年夏頃まで3年かけ各フロアを順次リニューアルしていく計画としていたが一部変更となり、一体化リニューアルの完了時期については半年間前倒しして2015年12月を予定、さらに施設名については「ザ・ダイヤモンド」の屋号を廃して「相鉄ジョイナス」に統合することが決まった。予定通り2015年12月1日にリニューアルは完了し、「相鉄ジョイナス」に統合された新生「ジョイナス」が誕生した。しかし、地下1階の食料品売場では「ダイヤ・キッチン」の名称が使われているなどダイヤモンド地下街の名残を残しているところもある。この他、地下街についてはバリアフリー化などを目的として、同駅の自由連絡通路である「中央通路」と接続（現状では一度階段を上がって下る必要がある通称「馬の背」を解消）する計画がある（「横浜駅#エキサイトよこはま22（横浜駅周辺大改造計画）」も参照）。入会金・年会費無料のポイントカードとして「ジョイナスポイントカード」が導入されており、当施設と同じく相鉄ビルマネジメントが運営する相鉄線二俣川駅直結の商業施設「JOINUS TERRACE 二俣川」や同駅北口の駅ビル「二俣川相鉄ライフ」との共通利用も可能である。