义宣起兵反叛宋孝武帝，孝武任刘遵考为征虏将军，率兵屯驻临沂县。不久任吴兴太守。孝建二年（455年），任湘州刺史、尚书左仆射；三年（456年）闰三月又任丹阳尹，加散骑常侍，同年九月再任尚书右仆射、领太子右衞率。大明三年（459年）正月又转领军将军，加散骑常侍。大明五年（461年）十二月，遵考再任尚书右仆射，金紫光禄大夫，散骑常侍。至次年九月转尚书左仆射，领徐州刺史，大中正及崇宪太仆。
后期.永光元年（465年），宋前废帝继位，转任特进，右光禄大夫，仍兼散骑常侍及崇宪太仆。同年前废