被免太尉官。延熹元年（158年），胡广第三次担任太尉。延熹二年（159年），梁冀倒台，胡广被免为平民。之后又为九卿之太常。延熹九年（166年）五月，汉桓帝以太常胡广为司徒。建宁元年（168年）九月，曹节等宦官诛杀窦武、陈蕃之后，汉灵帝以司徒胡广为太傅，录尚书事。建宁五年（172年）三月初八，太傅胡广去世，享年八十二岁。胡广历仕六朝，五落五起，前后主政十余年。当时洛阳有谚语：“万事不理，问伯始；天下中庸，有胡公。”陈蕃等人都是他的故吏。但他依附当权者（先为梁冀、后为诸宦官），没有忠直之风。