属豫州刺史部；又于今确山县境内置朗陵、阳安、安昌三县。东汉汝南郡移治平舆县，后汝南郡治所屡次迁移，三国年间迁至息县。建安三年（198年）于朗陵县置阳安郡，寻废。晋末又屡置新蔡郡。东晋义熙十四年（418年），汝南郡移治悬瓠城（今汝南县）。《水经》曰：“汝水至汝南郡西北，支左别出一支，又屈东转南形若垂瓠，故号悬瓠城。”南朝宋元嘉末侨置司州于悬瓠城。北魏废朗陵县，移安昌县至原朗陵县。延兴二年（472年）改司州为豫州，置汝南郡。神龟二年（519年）改上蔡县为临汝县。北齐年间废临汝县、阳安县。北周于悬瓠城置总管府