Шлюб був нетривалим. Потоцька відставила чоловіка заради молодого графа Валеріана Зубова (1771—1804), з яким познайомилася у Варшаві 1792 року. Жила з ним відкрито, без формального розлучення з чоловіком. У жовтні 1794 року, беручи участь у придушенні польського повстання, генерал-майор Зубов утратив ліву ногу. Відомості про трагедію дійшли до Катерини II, яка просила пораненого красеня повернутися до столиці. На початку 1795 року Потоцька переїхала разом із Зубовим до Петербурга.