和宠臣刘隗等对立，内乱将会爆发，北伐难成，于是因激愤患病。祖逖虽然患病，但仍然用心修缮虎牢城，北临黄河，西接成皋，四望甚远；同时亦派人修筑营垒作为南部部队的据点以防后赵进侵。但营垒尚未建成，祖逖就于雍丘病死，享年五十六岁，东晋追赠车骑将军。次年王敦发动王敦之乱，接手豫州的弟弟祖约无力抵抗乘机进攻的石勒而南退，原本已收复的土地于是又被石勒攻佔。