五年后，在建武六年（公元30年）因查核上党太守不实被免职回封国，于数年后去世，其封国因没有儿子继承而被废除。
事迹.
推荐人才.光武帝曾向宋弘询问博学之才，宋弘推荐了沛国的桓谭，认为他的学问能和当年的扬雄和刘向父子相提并论。于是桓谭被光武帝任命为拜议郎、给事中。后来因桓谭只会用郑卫之声取悦朝廷，经过宋弘的批评仍不改正，被宋弘向光武帝进言：“臣推荐桓谭，本是希望他能以忠正辅佐陛下，但如今他只知令朝廷沉迷郑声。这实在是臣的罪过”，光武帝随后便不再让桓谭担任给事中。