前5年，孔光罢相。前2年，再任御史大夫，继而复任丞相。前1年，丞相改名为大司徒。汉平帝即位，孔光晋升为太傅。元始元年，孔光为太师。元始五年，孔光去世，谥号简烈。赐赠丰厚，葬礼十分盛大，送葬的车就有一万多辆。
家族.孔子世家总世系图 (中兴祖前)