光元年（465年），宋前废帝继位，转任特进，右光禄大夫，仍兼散骑常侍及崇宪太仆。同年前废帝诛刘义恭等人，调遵考督南豫州诸军事、安西将军、南豫州刺史。亦在同一年，宋明帝杀前废帝即位，以遵考为侍中、特进、右光禄大夫，领崇宪太仆，并给亲侍三十人。次年崇宪太后路惠男去世，遵考解太仆职。泰始五年（469年）更获赐几杖，太官四时赐珍味及太医给药的礼遇。泰豫元年（472年）四月，宋后废帝即位，以遵考为左光禄大夫，仍任侍中、特进。元徽元年六月乙卯日（473年7月20日）去世，享年八十二岁。朝廷追赠左光禄大夫，开府仪同三