Xizhi ble født i 303 i Linyi i provinsen Shandong i Kina. Han gikk først i lære hos sin far, og senere hos den berømte kalligrafen Wei Shuo (kalt ).