拳县（今浙江省嘉兴市）人。张武父张业，担任郡门下掾，送太守妻、子还乡里，到达河内亭，盗贼夜间抢劫，张业与盗贼力战而死，于是尸体也没有找到。张武当时年幼，对父亲没有记忆。张武长大后，来到太学学习，每逢过节，常持父亲遗剑，至父亲被杀的地方致祭，大哭而还。太守第五伦嘉赏他的行为，举为孝廉。母亲去世哀伤过度，又哀伤父亲魂灵不返，于是悲哀过度而亡。