都给事中左懋第委任他督修太平府城墙，一年完工；期间又探查芜关的贪官与平定徽州的变乱，十五年（1643年）分考应天乡试，取录卢象观等名士。弘光年间马士英、阮大鋮擅权，胡尔恺辞官归里十多年，到顺治十四年（1657年）在洪承畴推荐下在清朝任职吏科给事中，晋吏部右侍郎、礼部左侍郎，多次上陈国家计策，在北京病逝。他病重时依然上陈四件事为民请命，都获认可，他说：「四件事完成，我可以瞑目了。」死后没有足够资金入殓，同乡赵洞门为其筹得赙金，带棺木回乡。他生平对家人和乡里孝友和睦，位居要职却依然布衣蔬食。有《且耕堂集》。