景帝次年正旦率群臣朝延安门，不予批准。明英宗寿节，请令百官拜贺延安门，亦不许。景德三年，与王直并进少傅，更换太子后，加兼太子太师。王文厌恶林聪，欲下罪杀害。胡濙不肯署名，于是称病在家。明景帝派人问疾，其对曰：「老臣本无疾，闻欲杀林聪，殊惊悸耳。」于是释放林聪。英宗复辟，以老致仕。天顺七年（1463年）卒。赠太保，谥忠安。
着作.胡濙精医学，曾与戴元礼讲《内》、《难》诸经，推张仲景为医宗。有《卫生易简方》、《芝轩集》、《律身规鉴》等。《皇明经世文编》辑有《胡忠安奏疏》一卷