后又参高安大愚禅师 ，参加普请劳动。唐大中八年（854年），往镇州（今河北正定）滹沱河畔建临济院，受到当地军阀的皈依，广为弘扬黄檗希运禅师所倡启“般若为本、以空摄有、空有相融”的禅宗新法。这种禅宗新法，因义玄在临济院举一家宗风而大张天下，后世遂称之为“临济宗”，后去河北魏州贵乡县，在观音寺江西禅院去世，而黄檗寺也因之成为临济宗祖庭。临济义玄上承南岳怀让、马祖道一、百丈怀海至黄檗希运的禅法，以其机锋凌厉，棒喝峻烈的禅风闻名于世，劝人不要执着拘泥，方能得到解脱。临济义玄主张“以心印，心心不异”，后世有