李杰准备将他绳之以法又没拿到实证，还没施行，反而被王旭诬陷，被外调衢州刺史，又转任扬州大都督府长史，再次受到王旭诬陷，唐玄宗下诏将李杰交付大理寺定罪，大理卿元行冲认为李杰处理政务廉洁，不应无辜被谗言恶人所陷害，奏请从轻发落，唐玄宗不听，李杰因此免官归家。开元六年（718年），李杰去世，唐玄宗为他哀悼，特意追赠户部尚书。
居所.李杰的住宅位于洛阳城定鼎门街西边的第二街，名为从政坊。