На закате жизни пытался противостоять растущему влиянию Чарторыйских. В 1768 году примкнул к Барской конфедерации, передав ей свою надворную хоругвь. Фридрих Великий занял его западные владения, а сам их владелец был вынужден искать спасения в Дрездене. Умер на чужбине.