被迫总辞。1965年获颁勲一等瑞宝章，两年后出任弹劾裁判所裁判长。1971年正式宣佈引退，1972年获颁勲一等旭日大绶章，并出任皇学馆大学皇学馆理事长。1980年5月19日，因肾功能不全而病逝，终年八十八岁，葬于多磨灵园，其后获追封为正三位。于电影山河燃烧中的角色柳田丰，其真实人物便是井野硕哉。
后人.井野硕哉的长子为日本共产党党员、前农民运动全国连合会顾问，次子为井野昌次。而孙子则为餐厅BERG店长井野朋也（父亲为诗人北野恭）。另外，井野的大甥（外甥女的儿子）是男演员佐佐木功