其曾祖父林恭瞻（1792－1873）是清朝的明经进士，高祖林宽宝（1816－1860）在鸦片战争前后最早来到臺灣鹿港，从事航海贸易，家道颇为殷实，但是年仅44岁就去世。高祖的胞弟林岳亭带领五个孩子迁居台湾繁衍，还曾在戴潮春事件中因军功受赏。后来，林惠祥祖父林信羽（1844－1870）带着胞弟林哲焙和两个儿子渡台迁居鹿港，但是不幸早逝。夫人纪为娘在丈夫去世后单独抚养孩子，清宣统元年（1909年）被诰授“旌节孝”。林惠祥的父亲林敏方（一名林毓鉴，见下文）出生于1869年，由母亲抚养长大。林家世代在台湾行商，家眷留在泉州，这时已经家道中落。甲午战争后台灣割讓給日本，台湾民众改隶日籍，林父因此具有日本国籍。