斋公病故于泉州，回乡守制。时值倭寇攻城，他带领弟侄辈日夜登城击柝巡守，与全城父老兵民同仇敌忾。嘉靖四十二年（1563年）出任北京国子监博士。嘉靖四十五年（1566年），补北京礼部司务，浸淫阳明学、佛学。隆庆四年（1570年），转任南京刑部员外郎。万历五年（1577年），任云南姚安府知府，三年后弃官，故人称「李姚安」。万历九年（1581年）春，应湖北黄安耿定理之邀，携妻子女儿到耿的家乡黄安天台书院讲学论道，住耿定理家中充当门客而兼教师，但和耿定理做大官的哥哥耿定向意见冲突。定理死后，迁居麻城，住维