Alfredo Lim ble født på Emmanuel Community Hospital i Manuguit i Tondo i Manila, til Rosario Siojo, filippinsk-kineser fra Siojo-familien i San Miguel i Bulacan. Faren kom fra provinsen Antique; han reiste tilbake til sin hjemsted. Da Alfredo var på førskole giftet moren seg på nytt og overlot gutten til Hospicio de San Jose. Da han kom i tredje klasse ble han tatt hånd om av sin mormor, Flora Valisno-Siojo. Etter at hun så døde i 1943, bodde han hos sin gudmor, Dolores La’o-Conde.