因为对金朝主战，受到牵连，遭追回度牒，流放衡州（今湖南衡阳）。绍兴二十年，秦桧因为宗杲的跟随者甚多，心有猜忌，又将宗杲改流放至梅州（今广东梅县）。宗杲于此时收集圜悟禅师语录，编成《正法眼藏》一书。绍兴二十五年，秦桧死后被赦，隔年恢复僧服，住杭州灵隐寺。绍兴二十七年，因张浚向朝廷举荐，再主径山，创看话禅法。绍兴二十九年，宗杲上表乞退，离山至四明育王寺，朝廷先后派人至四明，召使还径山。绍兴三十一年，建径山明月堂后隐退，但仍然有许多学者上门向他请教。隆兴元年（1164年），宋孝宗即位，召见