出家，十八岁时在杭州龙兴寺受具足戒。二十三岁时至洪州，拜谒百丈怀海禅师，成为他的首座弟子。唐宪宗元和年间，奉百丈禅师之命，至潭州大沩山，住持同庆寺。会昌法难时，还俗隐于市井之间。847年（大中元年），朝廷颁布复教令，灵祐禅师回到同庆寺，为僧俗说法。在裴休的劝请下，重新剃发出家。853年（大中七年）正月示寂，世寿83，僧腊64。
弟子.嗣法弟子有仰山慧寂、径山洪諲、金山法海、香严智闲等四十一人。
着作.着有《潭州沩山灵祐禅师语录》一卷、《沩山警策》一