武帝命王茂攻讨陈伯之，王茂前往豫章（今江西南昌）。陈伯之急攻豫章，由于豫章太守郑伯伦坚守，久攻不克，王茂前军赶到，陈伯之只得渡江投奔北魏。封为平南将军、光禄大夫，曲江县侯，都督淮南诸军事。天监四年（505年），临川王萧宏率军北伐，萧宏命咨议参军、记室丘迟写信招降陈伯之，信中有“暮春三月，江南草长，杂花生树，群莺乱飞”之名句，即《》，陈伯之率八千人在寿阳（今安徽寿县）归降，封为骁骑将军、太中大夫，永新县侯，食邑千户。其子陈虎牙被魏人所杀。晚年被架空，兵权被夺。卒于家。