辞官返乡。郑妃派的官吏，怀疑此书是出自吏科给事中戴士衡、全椒知县樊玉衡之手，神宗怒谪戴士衡戍廉州，樊玉衡戍雷州。御史赵之翰进言，认为大学士张位是主谋．皇帝罢免张位，与张位亲近的礼部侍郎刘楚先、右都御史徐作免官，国子监祭酒刘应秋出京，给事中杨廷兰、礼部主事万建昆谪戍典史，是为“第一次妖书案”。
文章内容.《闺鉴图说跋》标名《忧危竑议》。东吉得《闺鉴图说》，读之叹曰：「吕先生为此书也，虽无易储之谋，不幸有其迹矣。一念之差，情固可原。」或曰：「吕素讲正学，称曲谨，胡忍辄与逆谋