嘉二十七年（450年），北魏兵临江北瓜步，声言渡江，遵考率军沿江置守，假节盖。元嘉三十年（453年）正月，遵考再次任豫州刺史，但当年就遇太子刘劭弒父登位，刘劭进遵考号安西将军，并派外监徐安期和仰捷祖防备他。遵考杀了安期等人，起兵响应讨伐刘劭的南谯王刘义宣，并得对方进号为镇西将军。孝建元年（454年），刘义宣起兵反叛宋孝武帝，孝武任刘遵考为征虏将军，率兵屯驻临沂县。不久任吴兴太守。孝建二年（455年），任湘州刺史、尚书左仆射；三年（456年）闰三月又任丹阳尹，加散骑常侍，同年九月再任尚书右仆射、领太子