赏招降，明用信赏，贼人束手归附，没有动用到半点士兵，盗贼越来越少，路上也没有遗寇。当时有童谣传唱：「弃我戟，捐我矛，盗贼尽，吏皆休。」张霸视事三年，对掾史说：「我这个太守孤苦无依，独自生活，现在打算辞去这个职位。太阳至正中后就开始倾斜，月圆后就开始盈缺。老子说过：『知足不辱。』」于是上书称病请辞。张霸经过四次升迁被任命为侍中。当时皇后邓绥的哥哥虎贲中郎将邓骘听闻张霸的名气，想与和他做朋友，张霸犹豫而不回答，很多人笑他不识时务。后来第五次转官时，便生病去世，享寿七十岁。张霸的遗书命令他的儿子们说：「从