76年（昭和51年）3月26日上午8时因脑出血在东京都自己家中去世。由副总理福田赳夫担任起葬仪委员长、亚东关系协会驻日代表马树礼担任副委员长，同年4月1日在青山葬仪所举行告别仪式。林以文死后的同年6月，长男林瑞祥就任惠通企业社长。同年9月15日，中华民国政府的褒扬令与13日授予的“忠谟硕望”称号一起发佈。