西汉初年置郡。汉高帝十一年（前196年）以陈郡置淮阳国。至迟在文帝时，汝南郡已由陈郡析置。景帝二年（前156年），置汝南国，立其子刘非为汝南王。三年（前155年），徙刘非为江都王，汝南国除为郡。武帝元朔五年（前124年），削淮阳国之期思、弋阳二县属汝南。宣帝元康三年（前63年），又得淮阳郡长平县。成帝元延三年（前10年），封淳于长为定陵侯，置定陵侯国，属汝南郡。又以新汲县属颍川郡。元延、绥和之际（前12年—前8年），汝南郡领三十七县：平舆、阳安、阳城、强、富波、女阳、鲖阳、吴房、安成、南顿、朗陵、细阳、宜春