方世玉生于1739年（乾隆四年），祖籍广东肇庆，父亲方德是丝绸商人，其为方德与第二个妻子苗翠花所生