晋穆帝时期，地方官员陈敏在原运河的西边，从射阳到末口开凿了另一条路程较短而又较直的新运河，取名山阳运道，亦叫山阳水道。到隋代，这条运河虽被淤塞，但行水路线仍清楚。开皇七年(公元587年)，隋文帝修复了这条运河，称山阳渎，与此同时还整修了汴河。605年，隋炀帝又征发淮南10余万人，重修山阳渎，改由扬子津入江，全长150余公里，水面阔40步。