东省新会市，幼年跟随家族搬到香港定居并展开他的集邮生涯。由于其胞兄为香港恒生银行创办人林炳炎，家境富裕财力雄厚；因此，林文琰长期罗致中国早期珍贵邮票以及邮政实寄信封，邮藏丰富。1982年，林氏自美国旧金山购得「红印花小字当壹圆四方连」邮票；1991年又从英国伦敦拍卖会买到「大龙阔边伍分银全张」邮票，因此集邮界都公认林文琰是「中国邮王」。