Li Fang-Huei ble født Guangzhou i Qing-dynastiets siste tider i Kina. Familien var fra det lavere embedsverk. og stammet fra fylket Xiyang, et lite sted i provinsen Shanxi om lag sør for Yangquan. Lis far Li Guangyu fikk sin grad i 1880 og tjenestegjorde i noen av de lavere embeder i embedsverket.