请了崇祖和他一起守备。泰始二年（466年），与薛安都一同抵抗明帝政权的青州刺史沈文秀所派的部将刘弥之等军到达下邳，可是弥之此时却决定改为支持明帝，更向裴祖隆发起进攻。崇祖见祖隆士兵溃败，就和数十亲兵去将裴祖隆救出并逃回安都所在的徐州治所彭城。同年八月，宋明帝消灭了子勋政权，薛安都遂向明帝归降，但明帝为了示威淮外而在十月故意派沈攸之及张永率重兵迎降。安都恐惧不获赦, 于是引北魏入援，最终让北魏入主宋淮北地。垣崇祖虽入魏，但他却领着游兵徘徊在琅邪郡一带，不听北魏指挥，更加暗中派人到彭城想接回母亲，然后南奔。事情