内大部属颍川郡，置上蔡、新蔡、平舆三县于今境。西汉高祖四年（前203年）置汝南郡，治上蔡县，隶属豫州刺史部；又于今确山县境内置朗陵、阳安、安昌三县。东汉汝南郡移治平舆县，后汝南郡治所屡次迁移，三国年间迁至息县。建安三年（198年）于朗陵县置阳安郡，寻废。晋末又屡置新蔡郡。东晋义熙十四年（418年），汝南郡移治悬瓠城（今汝南县）。《水经》曰：“汝水至汝南郡西北，支左别出一支，又屈东转南形若垂瓠，故号悬瓠城。”南朝宋元嘉末侨置司州于悬瓠城。北魏废朗陵县，移安昌县至原朗陵县。延兴二年（472年）改司州为豫州，