势太盛而无法长久，因此拒绝了霍光的美意。盖长公主的孙子谭曾向他自我表白，他向其指出盖长公主起居无状予以驳斥。后被诬因怨望大将军霍光而不娶霍光的女儿，诽谤燕王刘旦等的一案的处理，于是被罢免职位，不久又被霍光起用为青州刺史，一年后复为宗正，并因参与拥立汉宣帝有功，赐爵关内侯，地节年间，封为阳城侯。为人宽厚，为京兆尹时，多平反冤狱，知足不辱。