后来好学武艺，练骑射，于是弃家学而学习古兵法。得知西北边境多骁勇之人，游历在秦凤路、泾原路之间，与河州将领韩存宝交上朋友。宋神宗熙宁年间，韩存宝获罪而死，巢谷逃避到江淮之间，遇到赦免才出来。绍圣初年，苏轼、苏辙被贬谪到岭南，巢谷从眉山徒步探访苏氏兄弟。宋哲宗元符二年（1099年），巢谷至梅州，见到苏辙，握手相泣。当时，巢谷七十三岁，瘦弱多病，想要到海南见苏轼，苏辙劝他不要去，巢谷不听，乘船抵达新会，被人偷窃，于是到新州，病故。