室招权，胡晋臣开列近幸姓名。宋孝宗感悟，近幸都很畏惧，胡晋臣于是得罪了很多人。求外任，出知汉州。后来再次召入，上书选将帅、广平常、治渠堰、更铨法、通楮币五事。转任侍御史。朱熹被任命为兵部官员，因病没有就任。侍郎林栗上奏说他傲慢。胡晋臣肯定朱熹批评林栗。宋光宗嗣位，擢升胡晋臣为工部侍郎，给事中兼侍读。拜端明殿学士、签书枢密院事。宋光宗绍熙元年（1190年）被任命为参知政事兼同知枢密院事，宋光宗经常不临朝，胡晋臣和留正一起辅政。绍熙四年（1193年）在官位上去世，赠金紫光禄大夫、资政殿大学士，谥号文清。