武德四年（612年）置南罗州，领罗山一县。武德八年（625年）南罗州废，罗山县属申州。五代同唐制。宋开宝九年（976年）罗山县废。雍熙三年（986年）复置，属信阳军。元至元二十年（1283年）信阳州改治于罗山县城，原罗山县治迁往西南，称罗山新县，属汝宁府信阳州。明洪武元年（1368年）县治复旧，仍称罗山县，属信阳州。洪武七年（1374年），改属汝宁府。成化十年（1475年）复属信阳州。清朝罗山属汝宁府。中华民国2年（1913年）废州改县，罗山县属豫南道，后改成汝阳道。民国16年（1927年）废道