清廷下令火烧福建南少林寺,后来苗显(少林五老之一)便隐姓埋名,贩盐为业,过着颠沛流离的生活。苗显的女儿苗翠花武艺高强,一直在江湖充当保镖,有“一代女侠”的称号。有一次方德途中遇劫,被苗翠花所救,两人交谈后,发觉彼此均为少林派弟子,志同道合。方德在60岁时,续娶16岁的苗翠花为妻,翌年苗翠花便生下方世玉。苗翠花随父学得一身好武功,遵照父训,方世玉从满月开始,就被苗翠花用铁醋药水洗身,再用竹板、柴枝、铁条层层包扎,反复锻炼,使方世玉全身筋络骨节血肉非常坚实,经得起拳打脚踢。3岁开始,方世玉头戴铁帽、脚穿铜靴练习跳跃;5岁开始学习扎马;6岁开始学习拳脚功夫;7岁开始学习桩柱。方世玉11岁时,各种武艺样样通晓,少林拳法更是熟练无比。据史料记载,方世玉性情刚烈,自幼就横行乡里,喜欢与其他孩子们打斗。十几岁时,方世玉被父亲方德送到少林派学艺,虽然身形矮胖,但仗着一身不怕打的功夫,每次斗殴时都冲锋在前,两位兄长在打斗中都难免受伤,却只有方世玉安然无恙。在少林十虎中方世玉名列第二位,不单是因为武功高强,而且本性好勇斗狠。