贫苦的佃农家庭。幼年时曾进入学塾读书，仅两年便因家贫而辍学。之后，叶亚来在家乡替地主牧牛，编织竹器以帮补家计，但因当时清朝政府正和太平天国作战，导致民不聊生，于是17岁的叶亚来选择离开家乡，下南洋去寻找生计。
下南洋初期.在清朝咸丰四年（1854年），叶亚来跟随同乡下南洋。刚开始时他来到马六甲投靠族叔叶国驰，协助他养鱼种菜，之后叶国驰安排他到榴莲洞加（Durian Tunggal）的一家锡矿工作。4个月后，因该锡矿生意欠佳，叶亚来被转介到附近的吉山镇（Kesang）的一家杂物店做伙