封高平县男。迁工部尚书、东都留守。召为宪部，兼尚书左丞。安禄山叛变后，遂出京为陕州刺史、陕虢两州防御使。因固辞老病，由是忤旨，改宪部尚书致仕，长安陷落后，朝中大臣多被俘获，陈希烈、张均等数十人被押往洛阳，接受伪职。晋卿潜遁山谷，得以南逃金州。唐肃宗至凤翔时，下诏令晋卿赶赴行在，即日拜左相。收复两京后，以功封韩国公，食实封五百户，改为侍中。安史之乱平定后，张均因接受伪职，按律处死。房琯请求苗晋卿出面说情，张均得以免死。后以贼寇渐除，屡乞骸骨，优诏许之，罢知政事，为太子太傅。第二年，因帝思旧臣，再拜为侍中。