败称帝的赵王司马伦后掌政权，因温羡曾任父亲司马攸的属官而特别亲近，让他改任吏部尚书。永安元年（304年），温羡随同东海王司马越与晋惠帝讨伐邺城，在王凌和东瀛公司马腾击败司马颖军后，温羡因功获封大陵县公。后出任冀州刺史。永兴二年（305年），被河间王司马颙挟持到长安的晋惠帝诏命温羡为中书令，但温羡不应命。同时东海王司马越以迎接晋惠帝回洛阳为名起兵，但豫州刺史刘乔不接受司马越的指挥，更攻打范阳王司马虓的根据地许昌，司马虓唯有北渡黄河求援；司马虓司马刘琨此时劝说温羡让冀州给司马虓，温羡最终答应。及后司马虓自领