岁时就显现其才干和谋略，伯父垣护之就曾和同族宗亲们说：「这个孩子必定能壮大我家门，你们都及不上他。」及后崇祖获徐州刺史刘道隆辟为州主簿，并得其知遇。后崇祖转任新安王国上将军。永光元年（465年），刘道隆调任梁、南秦二州刺史，并向宋前废帝请转垣崇祖为义阳王刘昶的征北行参军，二人一同到下邳郡募兵。不久前废帝出兵讨伐刘昶，刘昶被逼逃奔北魏，崇祖仍留下邳。泰始元年（465年）宋明帝即位，但同时其侄儿晋安王刘子勋亦在寻阳建立政权，薛安都则举兵支持子勋，并出兵对抗明帝政权，其中就派了自己的女婿裴祖隆出镇下邳，裴祖隆