隆昌元年（494年）何胤是何皇后的堂叔，萧昭业非常亲近信任他，让他在殿省入值。萧昭业与何胤共同策划诛杀萧鸾，命令何胤承担这件事情，但是何胤不敢担当，不顾郁林王的意图而反复劝谏，萧昭业只好作罢。萧鸾杀萧昭业篡位，是为齐明帝。何胤虽然显贵，常怀止足之心。建武初年，拜表解职，辞官隐居于会稽（治今浙江绍兴）若邪山云门寺。永泰元年（498年）王敬则想挟持隐居在若邪山的何胤出任尚书令，被长史王弄璋劝阻。何胤迁居秦望山隐居，筑学舍来教授生徒，终身不仕，与兄何求、何点并为着名隐士，世号小山，亦称东山。永元年间，征为太常