在淞沪铁路的建设过程中，同时还辟建沪宁铁路，1908年4月1日建成通车。当时沪宁铁路的上海站多次易址，但在最后选在了今天目中路、虬江路之间，宝山路西侧地区，正式名称为沪宁铁路上海站，因位于北区所以俗称上海北站，于1909年7月竣工正式启用。不久，沪杭甬铁路也宣告通车，起点站设于南市（今黄浦区南车站路、车站前路一带），正式名称为沪杭甬铁路上海站，俗称上海南火车站。由于两个车站分别位于城市南北两侧，有所不便，于是在1916年，在城市西侧修建了沪杭甬铁路与沪宁铁路的连接线，上海北站成为铁路沪宁、沪杭甬两路总站