Han var sønn av en fisker og en vaskedame, og familiens hjemstavn var i Panyu lenger inn i landet fra fødestedet hans, Macao. Han studerte musikk i Beijing, Shanghai og fra 1930 i Paris (under Vincent d'Indy og Paul Dukas).