数十贼军进攻，都无法攻克第五伦。第五伦以营长身份与郡尹鲜于褒联系，鲜于褒见到第五伦后，觉得他异于常人，于是任用第五伦为吏。后来鲜于褒因事获罪贬职任高唐县令，离去时，握着第五伦的手说：「恨相知晚。」
光武帝时期.第五伦后来做了乡里的啬夫，京兆尹阎兴召为主簿，任铸钱掾。第五伦管理长安市场，他公平正直，清廉耿介，市场没有奸诈不正之事，当时人们都说：「第五掾所平，市无姦枉」。第五伦每次阅读诏书，经常叹息说：「真是一位贤君，只要能见一次面，就能让他决定大事。」同辈们嘲笑他说：「您连地方长官