征辟他为宾佐。入朝为监察御史，转任左补阙。干符年间，唐僖宗下诏让他入翰林为学士，官至中书舍人。中和元年，黄巢率领变民军进攻长安，张祎随僖宗逃往四川，拜为工部侍郎，判户部事。奉命出使江淮回朝，和当权者不和，改任太子宾客、左散骑常侍，后来转任吏部侍郎，历任刑部尚书、兵部尚书。随从唐昭宗在华州，被韩建陷害，贬为衡州司马。唐昭宗还京，征张祎为礼部尚书、太常卿，充礼仪使，转任兵部尚书。张祎用心写文章，年老更加勤奋。担任刑部尚书时，刘邺的儿子刘覃，当黄巢攻打长安时避祸在金吾将军张直方家中，被害。唐僖宗还京，讨厌刘覃