久，温峤被举为秀才、灼然，辟东阁祭酒，补上党潞令。西晋末年，刘琨出镇并州，他颇为看重温峤，令温峤担任自己的参军。在刘琨军中，温峤历任从事中郎、上党太守，加建威将军，督护前锋军事，在与石勒的战争中屡建战功，升迁为右司马。其时，并州烽烟四起，刘琨与石勒、刘聪等强敌周旋，温峤是他的主要谋士之一。
拥立之功.建兴四年（316年），刘曜攻破长安，西晋灭亡，举族南迁。同年，刘琨大败于石勒，率残部投奔幽州刺史段匹磾。建武元年（317年），刘琨、段匹磾歃血为盟，拥戴在江南重建社稷的司马睿，