遂平一高位于汝河北岸,瞿阳镇南关大街东侧,东临107国道。学校前身是遂平二初中,1956年7月招收高中一年级新生两班,改名为“遂平完全中学”,学制六年。1958年大跃进时期,遂平完中,遂平师范,遂平一初中合并,由遂平完中统一领导。同年秋,开展大炼钢铁运动,学校基本停课。合并的学校解体。遂平一初中仍回原址开办。遂平完中,遂平师范仍为一体。1960年暑假,学校招收一班幼儿师范(附于遂平师范)。1961年,遂平师范停办,幼儿师范停办,初中班停止招生。至此,遂平一高才成为一所名副其实的高中,定名为“河南遂平高级中学”。