其母郑查某。家中有五姐二兄，林荣三为么子。幼时就读于芦洲国小。其父林建生在他14岁时过世，1964年，林荣三从开南商工学校高商部毕业。毕业后，接下其家族经营的玉裕碾米厂。其堂兄林来进原经营砖厂，转入建筑业，找上林家兄弟合作。1964年，与其兄长林堉琪、林堉璘，三人一同创立宏国建设。1967年，林荣三将碾米厂顶让，取得资金，开始在三重地区购地，从事建筑业。1971年成立联邦建设。其家族的宏国建设也发展为宏国集团。
1970年代至1980年代.1975年中华民国立法委员选举时，透过