很多都投靠第五伦。第五伦依险要之势筑坚固的堡垒，一有贼军到，第五伦就激励众人，持弓防卫。铜马军、赤眉军前后数十贼军进攻，都无法攻克第五伦。第五伦以营长身份与郡尹鲜于褒联系，鲜于褒见到第五伦后，觉得他异于常人，于是任用第五伦为吏。后来鲜于褒因事获罪贬职任高唐县令，离去时，握着第五伦的手说：「恨相知晚。」
光武帝时期.第五伦后来做了乡里的啬夫，京兆尹阎兴召为主簿，任铸钱掾。第五伦管理长安市场，他公平正直，清廉耿介，市场没有奸诈不正之事，当时人们都说：「第五掾所平，市无姦枉」。第五伦每