Предположительно, Иосиф Потоцкий родился в 1762—1764 гг. в Польше, Украине или Белоруссии. О доавстралийском периоде его жизни почти ничего неизвестно. Вероятно, он происходил из дворянской семьи, был членом армии Костюшко, принимал участие в осаде Варшавы и резне в Праге. 27 марта 1802 года, был привлечен за кражу в Великобритании и сослан на каторжные работы в Австралию.