其母郑查某（1904-1979)。其家中有五姐二兄，其姐为林说、林好、林足、林满、林尽。其兄林堉琪、林堉璘。其姐林满，嫁给三重市政商两界名人陈万富。其兄林堉琪是宏国关系事业创办人（已逝，现在为其妻林谢罕见〔前国民大会议长谢隆盛之姊〕继承）。林堉璘是宏泰集团创办人。林荣三与妻子育有三子一女。