96年11月11日出生在永镇营定远州新盛村（今属槟椥省知县保盛社），其父系是明乡人、母系是越族人。其祖父潘清熠（Phan Thanh Tập）来自中国福建漳州府的海澄县（今漳州龙海市），其祖父爲明朝的忠臣，由于不愿臣服于清朝而流亡越南，来到归仁府（今平定省）。其祖父在当地娶越族女子黄氏学（Huỳnh Thị Học）为妻并生子潘清彦（Phan Thanh Ngạn），因此潘清简的父亲是中越混血儿。而潘清简的母亲林氏笔（Lâm Thị Bút）也同时具有中越混血血统。西山之乱时，潘清简一家又迁居永镇营。