起兵对抗，但败于对方，于是被逼与王懿南迁，至滑台（今河南滑县）时被翟辽所留，任其将领。不过，当时二人意欲南归，于是出逃，移居于彭城（今江苏徐州市）。其时王叡兄弟以同姓，原要投靠太原王氏的王愉，但王愉不太相信他们的血缘关系，并没有厚待他们，故此他们改投桓玄。时桓玄以太尉、都督中外诸军事、扬州牧的身份于姑孰（今安徽当涂县）遥控朝廷，便以王叡为弘农太守。元兴二年（403年），桓玄篡位，而建武将军刘裕于次年（404年）就意图起兵讨伐桓玄，刘裕亦知王叡果敢而有计略，于是联结他，让他与河内郡太守辛扈兴及振威将军童厚