（1625年）五月，受御史陈以瑞弹劾，削籍南归。回乡后不得不过着低调的生活，“投老经年掩荜门，清斋佛火自晨昏。”
枚卜罢归.崇祯元年（1628年）七月，第三次赴京，就任礼部右侍郎兼翰林院侍读学士。十一月，会推内阁大臣，候选人为成基命、钱谦益、郑以芳、李腾芳、孙慎行、何如宠、薛三省、盛以弘、罗喻义、王永光、曹于汴共11人。时任礼部尚书温体仁人望较轻，并不在名单上。而刚刚在袁崇焕处理锦州兵变一事中奏对获得崇祯帝称赞的礼部侍郎周延儒，也因为“望轻”而被排除在外。温体仁揣测崇祯帝必然有所怀