被俘，中原大乱，祖逖率亲邻几百家避难南下，与他们甘苦与共，又富有谋略，于是被推为他们行旅的首领——行主。祖逖至泗口（今江苏淮阴北），镇东大将军司马睿任命他为徐州刺史，不久征为军咨祭酒，移居京口（今江苏镇江）。
中流击楫.祖逖眼见东晋一片混乱，决心要振兴晋朝，为此礼遇甚至纵容那些暴桀勇武的门客，望日后北伐时他们能作出贡献。同时又上书司马睿，力请北伐。司马睿以祖逖为奋威将军、豫州刺史，但因司马睿一心巩固初建的江东政权，无心北伐，于是只给予一千人的粮食和三千匹布作为北伐物资，不给盔甲和兵