顺四岁丧母，八岁丧父，因此是由峇峇娘惹外祖母张太夫人（陈宝娘）抚养长大；因为这个缘故，林义顺有个具峇峇娘惹色彩的别名，叫峇顺，峇顺芭路（Bah Soon Pah Road）就是以他的别名命名的。1905年孙中山在新加坡创立同盟会时，任新加坡分会会长张永福的外甥就是林义顺，也是新加坡前副总理张志贤的表叔公。
早年.林义顺的祖父与父亲林炳源（字美背）在1860年代从中国移民定居新加坡，在美芝路经营杂货生意。林炳源娶了着名华商张理之的长女张春莲为妻。根据《澄邑马西乡林氏族谱》记载：「