西北）人。北齐北徐州刺史张晏之之子。张虔威博览群书，伯父张暠之评价「虔威是我家千里驹」。十二岁时，担任北徐州主簿。十八岁时担任太尉中兵参军，后累进太常丞。北齐灭亡，出仕北周担任宣纳中士。杨坚掌握北周政权、召张虔威为相府典签。隋朝建立，随晋王杨广到并州赴任，担任刑狱参军。杨广欣赏张虔威的才能，与河内张衡都被礼遇，人称晋王府「二张」。杨广为太子，张虔威转任员外散骑侍郎、太子内舍人。杨广即位，张虔威担任内史舍人、仪同三司，加位开府仪同三司，任谒者大夫。跟随皇帝巡幸江都，以本官摄江都赞治，以干理着称。隋