胡斐是弘治十四年（1501年）的举人，正德九年（1514年）成进士，获授江夏知县，在衙门门外设钟，让人民可以击钟鸣冤，判断案件迅速。有将领带兵征洞苗，经过江夏时向他索求粮草，意在为难他，他却立刻办理，令对方惭愧。之后胡斐因父母去世回乡，服阙后起用为进贤知县，于该处兴学劝课、释冤赈穷，声誉更胜于在江夏时，陞刑部主事后以劳累于任内去世。他为人清修，死后无嗣，人们都为他可惜；姪子胡嘉会从父亲到山东，他遇上后负责养育对方，后胡嘉会以岁贡任职山阳训导。