晋卿与宋遥因张倚正受玄宗宠信，欲攀附之，遂将张奭列为第一。时人皆知张奭不读书，因此群议沸腾。前蓟县（今北京西南）县令苏孝韫将此事告知安禄山，于是安禄山上奏朝廷。玄宗亲自在花萼楼重试已录取官员，能通过考核者十不及一二，张奭则交白卷。玄宗大怒，贬晋卿为安康郡太守，宋遥为武当郡太守，张倚为淮阳郡太守。一年后晋卿转任魏郡太守，兼河北道采访处置使。后改河东郡太守、河东采访使。徙抚风郡，封高平县男。迁工部尚书、东都留守。召为宪部，兼尚书左丞。安禄山叛变后，遂出京为陕州刺史、陕虢两州防御使。因固辞老病，由是忤旨，改宪