长尊敬有加，在二人死后，皆“服麻会窆”，为老师守丧。李匡师的家族在朝中属少论派，屡受政治倾轧打击。1725年（朝鲜英祖一年）时，李匡师的父亲和伯父被流放，家族自此走向衰落。1755年（英祖三十一年）时，李匡师自己因为罗州挂书事件（乙亥狱事）被流放到富宁郡；富宁地处极北、荒凉异常，而李匡师处之泰然，“人不见忧色”。1762年（英祖三十八年）时，李匡师又因为教文盲读书写字，被视为可能聚众煽动，而被移配到今莞岛郡的薪智岛。在1755年首次被流放时，妻子柳氏因为听到李匡师被判死刑的流言上吊自杀，这令李匡师悲痛万