曾先后担任大司马齐王司马冏和骠骑将军长沙王司马乂的属官，最终升任太子中舍人、豫章王司马炽的从事中郎。曾于永安元年（304年）随晋惠帝北征邺城，兵败后逃回洛阳。
举众南下.永嘉五年（311年）匈奴族刘曜率汉军攻陷洛阳，晋怀帝被俘，中原大乱，祖逖率亲邻几百家避难南下，与他们甘苦与共，又富有谋略，于是被推为他们行旅的首领——行主。祖逖至泗口（今江苏淮阴北），镇东大将军司马睿任命他为徐州刺史，不久征为军咨祭酒，移居京口（今江苏镇江）。
中流击楫.祖逖眼见东晋一片混