I mai 1820 ble han tiltalt for tyveri og igjen kastet i fengsel, denne gang i Newgate der flere nye skrifter ble forfattet. Etter fire år og tre måneders fengsel ble straffen omgjort til transportasjon til Van Diemens land. Straffen skulle bringe Jørgensen til kolonien han selv hadde vært med på å etablere som sjømann på i 1803.