任坞主，驻扎于黄河和济水之间，多次抵御盗贼进攻。后来刘遐派使者请求受司马睿节度，受到司马睿赞赏，任命其为龙骧将军、平原内史。建武年间，司马睿任命其为下邳内史，保留将军职务。当时沛人周坚与同郡人周默四处劫掠，后来周默向祖逖投降，周坚大怒，于是袭杀周默，石勒派遣军队驰援。朝廷下诏让刘遐担任彭城内史，与徐州刺史蔡豹、太山太守徐龛一同讨伐周坚，结果周坚战败逃走，朝廷又任命刘遐担任临淮太守。徐龛嫉妒刘遐功劳在自己之上而作乱，被平定后，刘遐被任为北中郎将、兖州刺史。王含发动叛乱后，刘遐与苏峻一同前往京都建康驰援