元年间任会稽太守，上表录用郡人顾奉、公孙松等人。张霸到越后，当地盗贼猖狂，郡界不安宁，张霸发佈公文悬赏招降，明用信赏，贼人束手归附，没有动用到半点士兵，盗贼越来越少，路上也没有遗寇。当时有童谣传唱：「弃我戟，捐我矛，盗贼尽，吏皆休。」张霸视事三年，对掾史说：「我这个太守孤苦无依，独自生活，现在打算辞去这个职位。太阳至正中后就开始倾斜，月圆后就开始盈缺。老子说过：『知足不辱。』」于是上书称病请辞。张霸经过四次升迁被任命为侍中。当时皇后邓绥的哥哥虎贲中郎将邓骘听闻张霸的名气，想与和他做朋友，张霸犹豫而不