Jan Potocki kom fra den gamle lillepolske adels- og magnat-familien Potocki. Sammen med sin yngre bror ble han fra 1774 oppdratt i Genève i Sveits. Som 17-åring ble han i Wien for en kortere tid soldat i den østerrikske hær.