人都很仰慕他，他们就在张霸住所旁买房子，以方便就近向张霸学习。张霸认爲樊鯈删改的《严氏春秋》还有许多繁杂的冗词，于是他又删减爲二十万字，改名《张氏学》。张霸被举荐爲孝廉光禄主事，不久又升迁，永元年间任会稽太守，上表录用郡人顾奉、公孙松等人。张霸到越后，当地盗贼猖狂，郡界不安宁，张霸发佈公文悬赏招降，明用信赏，贼人束手归附，没有动用到半点士兵，盗贼越来越少，路上也没有遗寇。当时有童谣传唱：「弃我戟，捐我矛，盗贼尽，吏皆休。」张霸视事三年，对掾史说：「我这个太守孤苦无依，独自生活，现在打算辞去这个职位。