再次因直言而被贬为荆州知府，政声显着。因识张居正于童试，在张居正担任首辅之后亦与之通书信。最终因看不惯官场黑暗，回到大理老家隐居，与谪居于云南的杨升庵相契最深，两人常常一起吟诗作画，同游景胜。
着作.李元阳在文学上贡献卓着，与杨士云同修《大理府志》，并修订《云南通志》。着有《心性图说》、《艳雪台诗》、《中溪漫稿》。在闽中曾校刻《史记题评》、《十三经注疏》、《杜氏通典》等计764卷。