孝宗隆兴元年（1163年）进士。绍熙五年，因刑部尚书京镗推荐，监都进奏院，迁司农寺主簿、秘书郎。淳熙十五年（1188年）纮尝拜见朱熹于武夷山，熹待学子惟脱粟饭，遇纮不能异也。纮不悦，语人曰：“此非人情。只鸡樽酒，山中未为乏也。”宁宗庆元元年七月，御史中丞何澹上书禁道学，对道学进行勐烈抨击。十一月，时任监察御史的胡纮在韩侂胄支持下，弹劾宰相赵汝愚，至使赵汝愚被贬，并死于任职途中。庆元二年（1196年）十二月，随着赵汝愚的去职死亡，沈继祖联合胡纮弹劾朱熹，论「不孝其亲」、「不敬于君」、「不忠于国」、「玩侮朝廷」