县境，治所在山阳（今江苏省淮安市楚州区）。晋安帝义熙九年（413年）土断，分射阳县境为实土，设山阳、盐城、东城、左乡4县。刘宋元嘉八年（430年）设南兖州，山阳郡作为该州领郡。南齐因之。萧梁时，移属北兖州。太清三年（548年），北兖州刺史萧弄璋降东魏，该郡没于东魏。隋朝开皇三年（583年），废除山阳郡。