乱取南朝梁淮州，淮阴郡仍属之。北齐文宣帝天保七年（556年），富陵、鲁二县併入怀恩县。至此，淮阴郡仅领怀恩一县。陈宣帝太建七年（573年）北伐，攻佔北齐淮阴郡，复改淮阴郡为东平郡，怀恩县为寿张县。北周静帝大象元年（579年），攻佔南朝陈淮阴郡。隋文帝开皇元年（581年），复改东平郡为淮阴郡；改淮州为楚州，淮阴郡仍属之。开皇三年（583年），废淮阴郡，改寿张县为淮阴县，直属楚州。