士。杨坚掌握北周政权、召张虔威为相府典签。隋朝建立，随晋王杨广到并州赴任，担任刑狱参军。杨广欣赏张虔威的才能，与河内张衡都被礼遇，人称晋王府「二张」。杨广为太子，张虔威转任员外散骑侍郎、太子内舍人。杨广即位，张虔威担任内史舍人、仪同三司，加位开府仪同三司，任谒者大夫。跟随皇帝巡幸江都，以本官摄江都赞治，以干理着称。隋炀帝经常巡幸，百姓疲弊，张虔威上奏劝谏。炀帝不喜，张虔威逐渐被疏远了。张虔威在官任上去世。其子张爽，官至兰陵县令。张虔威弟张虔雄，秦王杨俊担任秦州总管时，选为属下法曹参军。后历任寿春