人轻财好侠，慷慨而有志节，每到田舍都以兄长们的名义分谷帛救济贫困的人，乡里宗族因而看重他。及至祖逖博览书籍，涉猎古今，往来洛阳时人人都称赞他有济世之才。侨居在阳平时曾获举孝廉和秀才，但都不应命。后任司州主簿。后曾先后担任大司马齐王司马冏和骠骑将军长沙王司马乂的属官，最终升任太子中舍人、豫章王司马炽的从事中郎。曾于永安元年（304年）随晋惠帝北征邺城，兵败后逃回洛阳。
举众南下.永嘉五年（311年）匈奴族刘曜率汉军攻陷洛阳，晋怀帝被俘，中原大乱，祖逖率亲邻几百家避难南下，与他们甘苦与