担任自己的参军。在刘琨军中，温峤历任从事中郎、上党太守，加建威将军，督护前锋军事，在与石勒的战争中屡建战功，升迁为右司马。其时，并州烽烟四起，刘琨与石勒、刘聪等强敌周旋，温峤是他的主要谋士之一。
拥立之功.建兴四年（316年），刘曜攻破长安，西晋灭亡，举族南迁。同年，刘琨大败于石勒，率残部投奔幽州刺史段匹磾。建武元年（317年），刘琨、段匹磾歃血为盟，拥戴在江南重建社稷的司马睿，派遣双方的左长史温峤与荣邵奉表劝进。刘琨对温峤寄予厚望：“晋祚虽衰，天命未改，吾当立功河朔，使卿延誉