Брак был непродолжительным. Потоцкая отставила мужа ради молодого графа Валериана Зубова (1771—1804), с которым познакомилась в Варшаве в 1792 году. Жила с ним открыто, без формального развода с супругом. В октябре 1794 года, участвуя в подавлении польского восстания, генерал-майор Зубов лишился левой ноги. Сведения о трагедии дошли до Екатерины II, которая просила раненого красавца вернуться в столицу. В начале 1795 года Потоцкая последовала за Зубовым в Петербург.