Potocki var gift to ganger. Hans første ekteskap var med Julia Lubomirska (1764–1794), og de fikk de to barna Alfred Wojciech Potocki og Artur Potocki. Med sin andre hustru, Konstancja Potocka (1781–1852), fikk han tre barn, Bernard Potocki, Irena Potocka og Teresa Potocka.