方世玉14岁时,随父到杭州做生意,中途见雷老虎摆擂台,两边写上“拳打广东全省,脚踢苏杭二州”对联,方世玉大为愤怒,上台比武,将雷老虎打死。雷老虎是武当派李巴山的女婿,而李巴山则是文渊阁大学士陈文耀的侍卫使,雷老虎恃势到处横行。方世玉打死雷老虎,导致少林派与武当派之间的恩怨白热化。方世玉打死雷老虎,即向父亲报信,父子两人连夜逃回广州,召集少林派人士商议对策。雷老虎的妻子李小环带领武当派弟子赶到广东,声言要为雷老虎报仇。其时少林派早已经严阵以待,以“少林十虎”为首,在广州各地划分地盘,洪熙官、方世玉在广州(约在今日海珠广场一带)公开收徒,专门与武当派打斗。本来远在家乡守孝的胡惠乾,听到消息后连夜从家乡回到广州,竖起为父报仇的旗号,与西关机房人马大打出手,将武当派冯道德的徒孙张锦洪打死,并与三德和尚占据西禅寺,这一消息震动整个武当派,为争夺西禅寺,武当派人士云集广州,与少林派展开广东帮会史上第一次大规模的帮派火并,闹得满城风雨。李小环的父亲李巴山为武当派堂主,也是清朝文渊阁大学士陈文耀的侍卫使,以官府名义聚集几千名清兵开进广州,名义上是镇压黑帮火并,实际上是协助武当派攻打少林派。1763年(乾隆二十八年),胡惠乾与三德和尚在西禅寺战死,而方世玉与童千斤也在随后的火拼中被武当派击毙。经此一役后,少林派的中坚人物几乎殆尽,方世玉死时年仅24岁。