，自称清河郡（今河北清河县）人，张双之子，原籍东武城（今山东武城县西）家住淮阴南谯州。张奫好读兵书，尤善刀楯。北周时，淮阴郭子冀引入陈军，张双想要率子弟攻打郭子冀，还没有决断。张奫赞成父亲的计划，打败了郭子冀，以此知名，初任州主簿。杨坚在北周担任丞相，任命张奫为大都督，统领乡兵。隋朝建立，贺若弼驻守寿春，张奫在他属下常常去侦察敌情，平定南朝陈立功。进位开府仪同三司，封文安县子。一年后，率水军到京口讨伐笮子游，在和州打败薛子建。召还入朝，受位大将军。在杨素属下再征江南，在会稽讨高智慧，在临海破吴世华。