阶此举获得了天下士子的称赞，当是时，御史黎贯等人跟随徐阶，上疏请求恢复祖制，于是恼怒的张孚敬安排御史汪鋐等人弹劾徐阶，以他为首倡者为由要求重处。嘉靖也因此把徐阶打成佞臣，在宫内刻柱写“徐阶小人永不叙用”。而在闻渊、唐龙等人的帮助下，本会除名的徐阶被添为延平府推官，流离于中央以外。徐阶在辞别顾夫人时她也没有怪罪徐阶，而是告诉徐阶：他因直言上谏被谪是她的荣耀，以此安慰徐阶。同时徐旒也寄信给徐阶，认为这是好事，不要因此动摇自己的信念。嘉靖十年（1531年）四月，徐阶抵达延平府，做了一首《抵郡作》诗感叹自己无法