农杜乔提议质帝堂兄清河王刘蒜年长有德血统近，当立为新帝，但梁冀却想立自己的未婚妹夫蠡吾侯刘志，在大会公卿时言辞激烈，胡广、赵戒于是屈服。李固、杜乔仍然坚持己见，李固写信劝梁冀遵从众人心意立刘蒜，愈发激怒梁冀，被免职。闰六月初五（7月30日），胡广被改任为太尉。建和元年（147年）六月，胡广被免职。七月，胡广被封为安乐侯。十月，胡广又被任命为司空。元嘉元年（151年）十月，胡广致仕。后来又被任命为太常。永兴元年（153年）十月，胡广为太尉。永兴二年九月初一（154年9月25日），出现日食，胡广被免太尉官。