林应荣宝斋之邀去北京，以其诗集《江上诗存》手稿奉请赵朴初、启功教正。1978年，林散之当选为全国政协委员。1989年12月6日病逝于南京，终年92岁。其遗骨迁回祖籍安徽和县。
后世纪念.其家乡安徽建有「林散之书画院」；江苏南京江浦县亦建有「林散之纪念馆」。