刺史沈文秀所派的部将刘弥之等军到达下邳，可是弥之此时却决定改为支持明帝，更向裴祖隆发起进攻。崇祖见祖隆士兵溃败，就和数十亲兵去将裴祖隆救出并逃回安都所在的徐州治所彭城。同年八月，宋明帝消灭了子勋政权，薛安都遂向明帝归降，但明帝为了示威淮外而在十月故意派沈攸之及张永率重兵迎降。安都恐惧不获赦, 于是引北魏入援，最终让北魏入主宋淮北地。垣崇祖虽入魏，但他却领着游兵徘徊在琅邪郡一带，不听北魏指挥，更加暗中派人到彭城想接回母亲，然后南奔。事情虽然被北魏一方识破并先一步抓住崇祖母亲作为人质，但崇祖的妹夫皇甫肃就是薛安