白鹤山（梧州邛崃市区西郊）下，创建蒲江鹤山书院授徒讲学，士争从之，世称“鹤山先生”。守孝期满后，先后至汉州、眉州、沪州任职，有治绩。力主抗金，献边防十策。受朱端诬告，连降三官。复为礼部尚书。官至端明殿学士。宝庆元年（1225年），因不满史弥远矫诏，废赵竑、立赵昀为帝，被贬居靖州六年，并创建靖州鹤山书院，宋理宗曾赐御书「鹤山书院」以嘉奖他的讲学活动。晚年以端明殿学士、佥书枢密院事督视京湖江淮军马，曾指挥宋军克复襄阳。嘉熙元年(1237年)，卒于绍兴府安抚使官所。赐太师，谥文靖。葬于枫桥镇高景山金盆