时，李匡师跟从朝鲜书法名家尹淳学书，工于多种书体；27岁时，又遇到83岁高龄的大儒郑齐斗，深受其倡导的阳明学思想影响。李匡师对尹、郑两位师长尊敬有加，在二人死后，皆“服麻会窆”，为老师守丧。李匡师的家族在朝中属少论派，屡受政治倾轧打击。1725年（朝鲜英祖一年）时，李匡师的父亲和伯父被流放，家族自此走向衰落。1755年（英祖三十一年）时，李匡师自己因为罗州挂书事件（乙亥狱事）被流放到富宁郡；富宁地处极北、荒凉异常，而李匡师处之泰然，“人不见忧色”。1762年（英祖三十八年）时，李匡师又因为教文盲读书写字