В 1784 году женился на Марии Чарторыйской (дочери князя Адама Казимира Чарторыйского), стал кавалером ордена Белого орла. В 1790 году перешел на службу к польскому королю и Великому князю Литовскому и назначен главнокомандующим великолитовской армией, получил чин генерал-лейтенанта и должность губернатора Варшавы (одновременно от прусского короля также получил чин генерал-лейтенанта). В войне против России 1792 года вёл себя пассивно, сказался больным, отказался сражаться против российских войск и покинул армию (в 1793 году его жена подала на развод и ушла в монастырь).