到了潘素父亲潘智合这一代，潘家从苏州移居上海