Wczesne lata Josepha Potaskiego są słabo poznane. Według angielskich dokumentów Potaski urodził się w 1762 lub 1764 roku na terenie Rzeczypospolitej Obojga Narodów. Natomiast jego rodzina na nagrobku położonym na cmentarzu St. David’s w Hobart umieściła datę 1774 roku. Jednocześnie nie ma pewności, co do prawidłowej formy zapisu nazwiska. Wśród proponowanych wersji pojawiają się m.in.: Patoskey, Potaskee, Potasky, Potocki i Potaskie. Pierwotna forma nazwiska zapisywana była jako Potowski. Elana Govor w artykule pt. "Russian convicts in Australia" (2003) sugeruje, że Joseph Potaski mógł być powiązany z magnackim rodem Potockich. W 1794 roku Joseph Potaski uczestniczył w insurkecji kościuszkowskiej, po przegranym powstaniu wyemigrował do Londynu.