从颜钧，后颜钧遭下狱论死，罗汝芳便变卖家产救之，才得以减刑，改发配充军。罗汝芳罢官后，颜钧也跟着被赦免归乡。罗汝芳将老师带回家中奉侍，吃喝必定自己亲自张罗，世人都认为他不简单。颜钧性格诡怪猖狂，其学派趋向佛教，故罗汝芳的言行亦与僧道无异。王时槐说他早岁于释典、玄宗，无不探讨，缁流、羽客，延纳弗拒，人所共知。而不知其取长弃短，迄有定裁。杨时乔则在《上士习疏》里提到他：“师事胡清虚（即宗正），谈烧炼，採取飞昇；师僧玄觉，谈因果，单传直指。其守甯国，集诸生，会文讲学，令讼者跏趺公庭，敛目观心，用库藏充餽遗，归者如