父老兵民同仇敌忾。嘉靖四十二年（1563年）出任北京国子监博士。嘉靖四十五年（1566年），补北京礼部司务，浸淫阳明学、佛学。隆庆四年（1570年），转任南京刑部员外郎。万历五年（1577年），任云南姚安府知府，三年后弃官，故人称「李姚安」。万历九年（1581年）春，应湖北黄安耿定理之邀，携妻子女儿到耿的家乡黄安天台书院讲学论道，住耿定理家中充当门客而兼教师，但和耿定理做大官的哥哥耿定向意见冲突。定理死后，迁居麻城，住维摩庵，过着半僧半俗的“流寓”生活。后迁至麻城龙潭湖芝佛院，读书着述近二十年。