）12月14日出生于日本统治时代的台湾台中州大屯郡雾峰庄柳树湳（现在的台湾台中市雾峰区南柳里或北柳里）。是家中第三男。兄弟林以德、以正、以和、以贤都曾协助林以文在日本的事业。他们虽是雾峰出身，但与雾峰林家没有关系。从台中州立台中商业学校（现在的国立台中科技大学）毕业之后就搬到了东京。1935年（昭和10年）12月11日长男林瑞祥出生、1937年（昭和12年）3月27日次男林瑞祯出生、1941年（昭和16年）3月15日三男林瑞峰出生、1943年（昭和18年）8月14日四男林光男出生。1943年从中央大学经