多次以年老多病上疏请求退休，元和三年（86年），汉章帝让他辞官。赏以二千石的终身俸禄、加赐钱五十万、公宅一区。几年后第五伦去世，享寿八十多岁，朝廷下诏赐棺材、入棺时所用的衣服、金钱等物。
轶事.第五伦任司空时，有人打算送他一匹千里马，第五伦虽然没有接受，但是每当三公选人才时，第五伦总是没办法忘记那个想送他马的人，但也始终没有任用他。第五伦曾提拔郑弘，每次朝见时，郑弘都向第五伦行礼。汉章帝知道原因后，特别设置云母屏风，将郑弘与第五伦隔开，从此成了一种例行制度。曹操曾引述他的事