人结党，张九龄失去唐玄宗的信任，改任尚书右丞相，罢知政事。在主政期间，张九龄主张不循资格用人，为人好名不好利（李林甫刚好相反），敢于谏言，不避利害。737年，太子李瑛被废。同年，张九龄因所举荐的监察御史周子谅触怒玄宗被杀，被贬为荆州大都督府长史，召孟浩然于幕府。738年，封始兴县伯。740年春，以“归拜墓”名义辞官，农历五月七日（6月5日）在家乡曲江病逝，享年63岁，赠荆州大都督，谥曰文献。归葬罗源洞。
争议.认为张九龄并非北人官宦之后。元和十四年（819），即安史之乱