Wu Li kom fra en lang slekt der mange hadde trådt inn i den høylærde mandarinstand. En av hans forfedre var den neo-konfucianske embedsmann og filosof We Ne (1372–1427).