下第一。历任尚书郎、尚书仆射。阳嘉元年（132年），胡广出任济阴郡太守，后又入朝为大司农。汉安元年十一月初七壬午日（142年12月12日），汉顺帝擢升胡广为司徒。本初元年闰六月初一（146年7月26日），汉质帝被梁冀所杀。胡广与太尉李固、司空赵戒、大司农杜乔提议质帝堂兄清河王刘蒜年长有德血统近，当立为新帝，但梁冀却想立自己的未婚妹夫蠡吾侯刘志，在大会公卿时言辞激烈，胡广、赵戒于是屈服。李固、杜乔仍然坚持己见，李固写信劝梁冀遵从众人心意立刘蒜，愈发激怒梁冀，被免职。闰六月初五（7月30日），胡广被改任为太尉。