属义阳郡。南齐改为宝城为保城，属北义阳郡。北魏时分置保城县、鄳县、东随县。保城县、鄳县属齐安郡。北齐合三县置高安县，仍属齐安郡。隋开皇三年（583年）高安县并入钟山县。开皇十六年（596年）析钟山县地置罗山县，属义阳郡。因县境西南有小罗山，由此得名。唐武德四年（612年）置南罗州，领罗山一县。武德八年（625年）南罗州废，罗山县属申州。五代同唐制。宋开宝九年（976年）罗山县废。雍熙三年（986年）复置，属信阳军。元至元二十年（1283年）信阳州改治于罗山县城，原罗山县治迁往西南，称罗山新县，属汝宁