合三县置高安县，仍属齐安郡。隋开皇三年（583年）高安县并入钟山县。开皇十六年（596年）析钟山县地置罗山县，属义阳郡。因县境西南有小罗山，由此得名。唐武德四年（612年）置南罗州，领罗山一县。武德八年（625年）南罗州废，罗山县属申州。五代同唐制。宋开宝九年（976年）罗山县废。雍熙三年（986年）复置，属信阳军。元至元二十年（1283年）信阳州改治于罗山县城，原罗山县治迁往西南，称罗山新县，属汝宁府信阳州。明洪武元年（1368年）县治复旧，仍称罗山县，属信阳州。洪武七年（1374年），改属汝