害的百姓而被免官。后起为散骑常侍、五兵尚书，又转吴兴太守，秩中二千石。元嘉二十五年（448年）又为领军将军。元嘉二十七年（450年），北魏兵临江北瓜步，声言渡江，遵考率军沿江置守，假节盖。元嘉三十年（453年）正月，遵考再次任豫州刺史，但当年就遇太子刘劭弒父登位，刘劭进遵考号安西将军，并派外监徐安期和仰捷祖防备他。遵考杀了安期等人，起兵响应讨伐刘劭的南谯王刘义宣，并得对方进号为镇西将军。孝建元年（454年），刘义宣起兵反叛宋孝武帝，孝武任刘遵考为征虏将军，率兵屯驻临沂县。不久任吴兴太守。孝建二年（4