昌法难时短暂还俗，师事芙蓉灵训禅师。17岁时再次剃度，于幽州（今河北省）宝剎寺受具足戒。后于洞山良价与投子大同门下参禅，经指引至德山宣鉴处，得到开悟。义存禅师在德山禅师入寂之后，回至了闽中，于雪峰创建寺院，开法接众。他居住在福建福州闽侯县雪峰山崇圣寺四十余年，弟子无数，有扣冰藻光、云门文偃、玄沙师备等大师，其后人并创设云门及法眼二宗，故崇圣寺被视为二宗之发源地。禅师圆寂于五代后梁开平二年(908)，春秋八十七岁，僧腊五十九。今崇圣寺内尚保存有义存祖师塔，为第四批福建省文物保护单位。