任游击将军及冠军将军。刘裕篡晋后，因遵考宗室身份而封为营浦县侯，食邑五百，又以冠军将军领彭城、沛二郡太守。
中期.景平元年（423年），转右衞将军，元嘉二年（425年）任征虏将军、淮南太守。元嘉三年（426年），宋文帝诛杀徐羡之、傅亮及谢晦三位权臣，召刘遵考以使持节，领护军入值殿省。谢晦被平定后，遵考出任使持节、督雍梁南北秦四州荆州之南阳竟陵顺阳襄阳新野随六郡诸军事、征虏将军、宁蛮校尉，雍州刺史，襄阳新野二郡太守。不过，遵考任内为政严苛残暴，并且聚敛钱财，故在元嘉五年（428年