被司马越上表任为并州刺史。司马越总录朝政后，以刘舆为上佐，宾客满筵，文案堆满书桌，远近书记每天有数千，刘舆终日不倦，有时夜以继日，人人欢畅，莫不感悦服从。他议论时滔滔不绝，应酬时面面俱到，时人服其能，比他为陈遵。时人称司马越府有三才：潘滔大才，刘舆长才，裴邈清才。永嘉三年（309年）三月司马越诛中书监缪播、皇舅散骑常侍王延、侍中尚书何绥等，都是刘舆、潘滔等的谋划。王延爱妾荆氏有音乐技巧，王延尚未下葬，刘舆就纳了她，未及迎娶，她又为太傅从事中郎王俊所争夺。御史中丞傅宣劾奏，司马越不问刘舆之罪，而免王俊官。