八年（1138年），与秦桧不合，罢官。不久改为广西转运副使，请主管台州崇道观，寓居上饶，自号茶山居士。陆游拜见曾几，听曾几“忧国之言”。二十五年秦桧卒，起复为浙东提刑、知台州。孝宗隆兴二年（1164年）以左通议大夫退休。干道二年卒，谥文清。工于诗，推重黄庭坚，被视为江西诗派继承者，有《茶山集》八卷，早佚，清初四库馆臣自《永乐大典》辑出。