二年（前87年），汉武帝病重，因怀疑长安狱中仍有天子之气，下令将长安狱中罪犯无论轻重全部处决。丙吉当夜闭门不纳武帝使者，坚不执行旨意，以保护宣帝。次日晨，武帝后悔自己的命令，撤回旨意，郡邸狱中所有人员方才得逃大难。霍光掌权后，十分器重丙吉，任命其为光禄大夫、给事中。汉昭帝死后，霍光初迎立昌邑王刘贺为帝，不久因其荒淫而废之。在霍光同张安世等人讨论应立何人为帝时，丙吉向其推荐了宣帝，受到其同意。宣帝即位后，立刻封丙吉为关内侯。丙吉在宣帝在位期间，绝口不提自己对宣帝的私恩，宣帝亦不知道。地节三年（前67年