代、北宋、南宋均为楚州的首县；明、清时期均为淮安府的首县。东晋义熙七年（411年）置山阳郡，义熙九年（413年）置山阳县。隋朝开皇初年，废除山阳郡。开皇十二年（591年）置楚州，山阳县隶之。大业初，楚州废，淮阴县并入。隋朝末年，天下大乱，臧君相占据江都郡的山阳县和安宜县地，号东楚州。后投降于唐朝，州复为楚州，山阳县为首县。复置淮阴县，武德七年（624年）再废除。干封二年（667年），又从山阳县拆分出淮阴县。山阳县在明代面积颇大，大约沿黄河（淮河故道）南岸，西到洪泽湖，东到大海，东西狭长，南面毗邻同府