初是司隶部从事，司隶校尉石鉴极为器重他。后又获东海王司马越引荐，任通事令史，后调任阳平太守。永宁元年（301年），齐王司马冏击败篡位的赵王司马伦，以大司马身份辅政，苟晞则参大司马军事、尚书右丞；后调任尚书左丞，并考察属下诸曹办公，下级官员都对他十分忌惮。太安元年十二月（303年），长沙王司马乂击败司马冏，苟晞亦因司马冏倒台而被免官，但不久即被随后上台的司马乂任命为从事中郎。永安元年（304年），司马越带晋惠帝北征邺城，讨伐皇太弟司马颖，苟晞任北军中候。晋惠帝兵败被司马颖俘获后不久，司马颖即被王浚和东嬴公司马