以“孝”闻名乡里，先在官寺出家研习经律，后更衣游方至江西从黄檗希运禅师学法多年，由于三次问“如何是佛法大意？”三次被打，后又参高安大愚禅师 ，参加普请劳动。唐大中八年（854年），往镇州（今河北正定）滹沱河畔建临济院，受到当地军阀的皈依，广为弘扬黄檗希运禅师所倡启“般若为本、以空摄有、空有相融”的禅宗新法。这种禅宗新法，因义玄在临济院举一家宗风而大张天下，后世遂称之为“临济宗”，后去河北魏州贵乡县，在观音寺江西禅院去世，而黄檗寺也因之成为临济宗祖庭。临济义玄上承南岳怀让、马祖道一、百丈怀海至黄檗希运的禅