Wu ble født i Lianshui og flyttet siden til Huaian ikke langt unna. Wus far, Wu Rui, var svært begavet men kunne ikke ta høyere studier på grunn av familiens svake økonomiske situasjon. Han virket som kunstner. Men hans interesse for boklige sysler smittet over på sønnen, som beskjeftiget seg med klassisk litteratur, folkeeventyr og anekdoter.