建武初年，拜表解职，辞官隐居于会稽（治今浙江绍兴）若邪山云门寺。永泰元年（498年）王敬则想挟持隐居在若邪山的何胤出任尚书令，被长史王弄璋劝阻。何胤迁居秦望山隐居，筑学舍来教授生徒，终身不仕，与兄何求、何点并为着名隐士，世号小山，亦称东山。永元年间，征为太常、太子詹事，并不就任。萧衍起兵反萧鸾的儿子萧宝卷，引用何胤为军谋祭酒，何胤不至。梁朝取代齐朝，萧衍即位梁武帝，授何胤以特进、右光禄大夫、给白衣尚书，又每月给库钱五万，何胤不受，仍以教授为业。梁武帝于是派遣何子朗、孔寿等六人至若邪受学。晚年何胤迁居吴郡