诸王忌恨，以泄露禁中语、贪赃罪入狱，与另一宰相苏味道同室，张锡在狱中气色如常，胃口不减，苏味道则独自席地吃饭，一副害怕可怜状。武则天知道后，只将苏味道贬官，下令张锡斩首，临刑时才被赦免，流放循州（今广东惠州东）。之后流放地改为泉州、会稽。705年，唐中宗即位，张锡恢复官职为都水使者，后历任工部侍郎兼修国史、尚书左丞、工部尚书、东都留守，封平原郡公。当时中宗举行宴会，让近臣及学士们各自献艺，工部尚书张锡跳《谈容娘舞》，将作大匠宗晋卿跳《浑脱》舞，左卫将军张洽跳《黄麞》舞，左金吾卫将军杜元琰念诵《婆罗门咒》