北朝时，北魏置遂宁县。唐宪宗敕改县名为遂平至今。1975年8月，驻马店地区连降特大暴雨，汝河上游板桥水库垮坝，史称“河南“75·8”水库溃坝”。洪水导致遂平四十万人口死伤近半，至今仍然是一个贫穷的县。
行政区划.下辖5个街道办事处、8个镇、2个乡：