建安年间，下邳国除为郡，军阀吕布割据徐州，以下邳为治所。西晋太康元年（280年），分下邳郡淮南诸县复置临淮郡，临淮郡领盱眙县、东阳县、高山县、赘其县、潘旌县、高邮县、淮陵县、司吾县、下相县、徐县。隋朝初年，合并州郡，下邳郡撤销。隋炀帝大业年间，一度将邳州改为马邑郡。