岳父；又听闻你拜访堂兄家时不肯留下吃饭，这些事是真的吗？」第五伦回答：「臣娶过三次妻，但她们都没有父亲。臣小时候逢饥荒动乱，不敢随便到别人家蹭饭。很多人认为臣愚蠢不知变通，所以产生这些谣言。」光武帝听后大笑，任命第五伦为扶夷县长。第五伦还没到任，就升任会稽郡太守。第五伦在任内清正廉民，施惠给百姓，深受百姓爱戴。
汉明帝时期.永平五年（62年），第五伦获罪被调职，百姓不分年龄大小拉车又拉马，哭着送第五伦，每天只能走几里，不能前进。第五伦假装到驿亭的客舍歇息，偷偷地坐船离开。众人知道后