皇年间，累进并州司马。604年（仁寿四年）、汉王杨谅起兵，派部将刘建攻打井陉，张祥率领官军抵抗。相传，刘建在城下纵火，民宅起火。张祥向城侧西王母庙哭泣祈愿降雨，庙上云起，大雨骤降，火被扑灭。城中兵士被张祥至诚感神所鼓励，士气提高。井陉城被围攻一个月后，李子雄的援军赶来，刘建败走。张祥因功受位开府，历任汝州刺史、灵武郡太守，入朝担任都水监。在官任上去世。