温羡少以朗寤见称，先被齐王司马攸辟命为掾，后迁尚书郎。惠帝继位后历任豫州刺史、散骑常侍和尚书。齐王司马冏于永宁元年（301年）击败称帝的赵王司马伦后掌政权，因温羡曾任父亲司马攸的属官而特别亲近，让他改任吏部尚书。永安元年（304年），温羡随同东海王司马越与晋惠帝讨伐邺城，在王凌和东瀛公司马腾击败司马颖军后，温羡因功获封大陵县公。后出任冀州刺史。永兴二年（305年），被河间王司马颙挟持到长安的晋惠帝诏命温羡为中书令，但温羡不应命。同时东海王司马越以迎接晋惠帝回洛阳为名起兵，但豫州刺史刘乔不接受司马越的指挥