式名称为沪杭甬铁路上海站，俗称上海南火车站。由于两个车站分别位于城市南北两侧，有所不便，于是在1916年，在城市西侧修建了沪杭甬铁路与沪宁铁路的连接线，上海北站成为铁路沪宁、沪杭甬两路总站，而上海南站仍是长江三角洲地区货运量最大的火车站。在1937年的淞沪会战中，上海南站被日军炸毁，上海北站即改称为上海駅（上海站），民国政府接管后改称铁路上海站。由于上海站客流量大、车站小，上海站一直拥挤不堪。1981年，中华人民共和国国务院批准在铁路上海东站原址新建铁路上海站，1984年9月20日正式开工，1987年1