吾又说：“臣壮岁登朝，即与杨起元、孟化鲤、陶望龄辈立讲学会，自臣告归乃废。京师讲学，昔已有之，何至今日遂为诟厉？”于是再次上疏请求归乡。天启四年（1624年）春，起任南京右都御史，都接连推却不任。被熹宗召见授予工部尚书。恰逢赵南星、高攀龙等人相继离开朝廷，冯从吾连续上疏，极力请辞，熹宗遂同意其致仕。天启五年（1625年）秋，魏党张讷上疏诋毁冯从吾，冯从吾被革职。同乡人王绍徽向来对冯从吾怀恨在心，等到他成为吏部官员，就立刻派遣乔应甲任陕西巡抚，想搜集各种罪证获罪于他，但都没有收获。于是便毁掉了书院，推倒了