外郎杨继盛弹劾严嵩，使明世宗震怒，将杨继盛下锦衣卫狱。顾阙与主事临海任某，独力保护杨继盛，因此中了严嵩的猜忌，好几次差点遭遇不测。后丁优，因过于哀伤思慕母亲，遂与兄顾问在墓旁搭盖小屋居住。先后大概长达十年。服除后起为礼部仪制司员外郎，改南京刑部员外郎，擢吏部稽勋司郎中。出为福建按察使司副使。不赴，旋即辞官返乡，时年三十八岁。返乡后穷心研究阳明心学，主讲阳明书院，学生长达数百人，方技杂流，亦不拒绝。同兄顾问、余姚王畿、钱德洪，南昌李材、吉安罗洪先、盱眙罗汝芳、东粤海瑞、安福邹德溥、丹阳姜宝、黄安耿定向、耿定力