治今河南省南阳市）人，张正甫的孙子。张祎出仕历任汴州从事、户部判官、蓝田尉、集贤校理。赵隐担任浙西观察使，刘邺担任淮南节度使，都征辟他为宾佐。入朝为监察御史，转任左补阙。干符年间，唐僖宗下诏让他入翰林为学士，官至中书舍人。中和元年，黄巢率领变民军进攻长安，张祎随僖宗逃往四川，拜为工部侍郎，判户部事。奉命出使江淮回朝，和当权者不和，改任太子宾客、左散骑常侍，后来转任吏部侍郎，历任刑部尚书、兵部尚书。随从唐昭宗在华州，被韩建陷害，贬为衡州司马。唐昭宗还京，征张祎为礼部尚书、太常卿，充礼仪使，转任兵部尚书。