永徽二年（651年），高季辅迁任侍中。永徽三年（652年），兼太子少保，太子是李忠。因风疾卧病在家，唐高宗召其兄虢州（今河南三门峡市）刺史高季通为宗正少卿前去探病。654年1月16日，高季辅去世，享年五十八。唐高宗为之举哀，废朝三日，赠开府仪同三司、荆州都督，谥曰宪。