Wei var gift med Li Ju (李矩), guvernøren av provinsen Ding. Sammen fikk de sønnen Li Chong (李充), som også ble kalligraf og tilknyttet keiserhoffet som sekretær (中書侍郎).