潘素的父亲叫潘智合，是逊清名流潘世恩的后人