献帝建安三年（198年）废赣揄县而升利城为郡，三国魏文帝黄初六年（225年）利城郡废为县。晋武帝太康元年（280年）复置赣榆县（自此作赣榆），治艾不城，与祝其、利城同属东海郡。东晋时，赣榆为南北交争之地，归属不定，至安帝义熙五年（409年）复属晋。南北朝初属刘宋，明帝泰始五年（469年）县北部归魏，义塘戍以南仍属刘宋，泰始六年（470年）于赣榆县侨置青、冀2州。萧梁武帝中大通二年（530年）于今县地置怀仁县，隶南北2青州。东魏孝静帝武定七年（549年）归魏，置义塘（郭下）、归义、怀仁3县属南青州义塘郡；