父一再上表为岳飞伸冤，皇帝和秦桧大怒，不但不准，还将他贬官。黄药师的祖父忠心耿耿，在朝廷外大声疾唿，叫百官与众百姓大伙儿起来保岳飞。秦桧便将太师祖杀了，家属都充军去云南。黄药师是在云南丽江出生的，他从小就读了很多书，又练成了武功，从小就诅骂皇帝，说要推倒宋朝，立心要杀了皇帝与当朝大臣为岳爷爷跟其祖父报仇。那时秦桧早已死了，高宗年老昏庸。黄药师的父亲教他忠君事亲的圣贤之道，黄药师听了不服，不断跟师祖争论，家里都说他不孝，后来黄药师的祖父一怒之下，将他赶了出家。他回到浙江西路，非但不应科举，还去打毁了庆元府明伦