在上海南站建成以前，长期以来上海只有上海站这一个主要铁路客运车站，单以上海站并不能完全满足紧张的铁路客运需要。早在二十世纪九十年代初建造上海轨道交通3号线（地铁）时，上海已经有了上海南站的建设计划，当时称“上海第二客站”。1996年11月，上海市政府和铁道部共同商议建设铁路上海南站，决定拆除原沪杭铁路内环线及将徐汇区的400多亩土地，用于建设新的铁路上海南站。1999年底，为了尽快缓解上海站的压力，就在一年内完成了上海南站应急工程，规模为3台7线，部分经沪杭铁路南下的列车转到临时的上海南站到发。2001年4