固始、山桑、城父。建安十八年，曹操析汝南郡之城父及沛郡数县置谯郡。又析汝南郡、江夏郡置弋阳郡。西晋太康中（284年）汝南郡领十五县：新息、南安阳、安成、慎阳、北宜春、朗陵、阳安、上蔡、平舆、灈阳、定颍、南顿、汝阳、吴房、西平。惠帝时分汝南郡置南顿国。永嘉时汝南郡没入后赵。北魏时汝南郡治上蔡，属豫州。北周曾一度改豫州为舒州、溱州、蔡州。
隋代汝南郡.隋朝大业三年（607年）改蔡州置汝南郡，改郡治上蔡为汝阳，领汝阳、城阳、真阳、新息、襃信、上蔡、平舆、新蔡、朗山、吴房、西平十一县。