道成当日因为崇祖的武勇而善待他，而崇祖亦为道成是自己的良主，于是一直对道成表现忠诚。宋后废帝在位后期一直猜疑当时已为重臣的萧道成，道成亦很忧虑，遂命令崇祖将家累都交託给皇甫肃，领着数百人在北魏边界等待命令。元徽五年（477年），后废帝遇弒，道成进宫拥立宋顺帝并掌权，遂召崇祖领部曲回建康，任游击将军。昇明二年（478年）平定了荆州刺史沈攸之后，崇祖获授持节、督兖青冀三州诸军事，冠军将军、兖州刺史。建元元年（479年），道成篡宋建齐，是为齐高帝，而他为了防备魏军，让崇祖为使持节、监豫司二州诸军事、冠军将军、豫州