封大陵县公。后出任冀州刺史。永兴二年（305年），被河间王司马颙挟持到长安的晋惠帝诏命温羡为中书令，但温羡不应命。同时东海王司马越以迎接晋惠帝回洛阳为名起兵，但豫州刺史刘乔不接受司马越的指挥，更攻打范阳王司马虓的根据地许昌，司马虓唯有北渡黄河求援；司马虓司马刘琨此时劝说温羡让冀州给司马虓，温羡最终答应。及后司马虓自领冀州，并得到王凌的军力协助，得以击败刘乔，让司马越成功迎回晋惠帝。晋惠帝被迎回洛阳后以温羡为中书监，但未上任晋惠帝就中毒逝世。光熙元年（306年），晋怀帝即位，迁任左光禄大夫、开府、领司徒，当时