初属刘宋，明帝泰始五年（469年）县北部归魏，义塘戍以南仍属刘宋，泰始六年（470年）于赣榆县侨置青、冀2州。萧梁武帝中大通二年（530年）于今县地置怀仁县，隶南北2青州。东魏孝静帝武定七年（549年）归魏，置义塘（郭下）、归义、怀仁3县属南青州义塘郡；上鲜（郭下）、洛要2县属海州武陵郡；赣榆（郭下）、安流、广饶、下密4县属海州东海郡。隋文帝开皇三年（583年），废武陵、义塘2郡，以上鲜、洛要、归义、义塘4县入怀仁县，隶于海州。唐高祖武德四年（621年）置新乐，怀仁、利城、祝其等9县隶于海州，东海、青山