丘社画塾，并参加名古屋美展。1940年加入台阳美术协会。后来任教于嘉义中学、静修女中与台湾师范大学。林玉山于1969年获得中国书画学会金爵奖，1970年也获得教育部文化绘画奖。林玉山后来在1975年前往美国威斯康辛大学讲学并举行个展。1989年，与陈慧坤、陈进于台北国立历史博物馆举行联合展览。1990年获得第15届国家文艺特别贡献奖。逝世后的2006年国立历史博物馆举行林玉山百岁纪念展。2015年5月7日，由国立台湾美术馆收藏的林玉山《莲池》被文化部文化资产局登录为中华民国国宝，成为台湾近代化画家首