遭夏国进攻，留守诸将又内斗，最终刘裕虽派朱龄石代镇长安亦无法扭转局势。关中被夏国侵夺后，遵考亦自并州南返，先后任游击将军及冠军将军。刘裕篡晋后，因遵考宗室身份而封为营浦县侯，食邑五百，又以冠军将军领彭城、沛二郡太守。
中期.景平元年（423年），转右衞将军，元嘉二年（425年）任征虏将军、淮南太守。元嘉三年（426年），宋文帝诛杀徐羡之、傅亮及谢晦三位权臣，召刘遵考以使持节，领护军入值殿省。谢晦被平定后，遵考出任使持节、督雍梁南北秦四州荆州之南阳竟陵顺阳襄阳新野随六郡诸军事、征