Ye kon fra en fattig bakgrunn. Som 14-åring dro han hjemmefra og fikk arbeid som hjelpegutt i en dagligvareforretning i Shanghai. Han hadde etter en tid nok penger til å kjøpe en sampan og fra den solgte han mat til utenlandske sjøfolk på elven Huangpu. Ifølge , publisert i 1987, glemte en amerikaner som hadde leid båten igjen en koffert med kontanter og verdisaker. Ye stakk ikke av, men ventet tålmodig til mannen kom på leting etter kofferten. Amerikaneren var så takknemlig at han lånte Ye nok penger til at han kunne ta de første steg på sin vei til oppbyggingen av hans industrieventyr. Det begynte med fyrstikkfabrikker, og ble etterhvert silkemøtter og banker og meget annet.