刘衡薨，无嗣，临淮除为郡。建武三十年（54年），割取虑、昌阳二县属楚国。明帝永平十五年（72年），封皇子刘衍为下邳王，分东海郡下邳县一带置下邳国。永平十八年（75年），以临淮郡全郡十二县及九江郡之钟离、当涂、东城、历阳、全椒五县增益下邳国。临淮郡遂废。汉献帝建安年间，下邳国除为郡。西晋太康元年（280年），分下邳郡淮南诸县复置临淮郡，领盱眙县、东阳县、高山县、赘其县、潘旌县、高邮县、淮陵县、司吾县、下相县、徐县，全郡有一万户。晋惠帝永兴元年（304年），分临淮郡置堂邑郡。东晋时，以临淮郡土地侨置北方州郡