太康元年（280年），分下邳郡淮南诸县复置临淮郡，领盱眙县、东阳县、高山县、赘其县、潘旌县、高邮县、淮陵县、司吾县、下相县、徐县，全郡有一万户。晋惠帝永兴元年（304年），分临淮郡置堂邑郡。东晋时，以临淮郡土地侨置北方州郡，置盱眙郡，改堂邑郡为秦郡。隋初置泗州。大业中改泗州为下邳郡。唐初仍置泗州。玄宗天宝元年（742年），改泗州为临淮郡，领宿预、徐城、下邳、涟水、虹县、临淮六县，郡治在临淮县，有37526户，205959人。肃宗干元元年（758年）复为泗州。