Jørgensen var sønn av Ole Jørgensen og Elisa Amalie Knudsen. Han hadde tre eldre og fem yngre søsken. Jørgensen ble gift 8. september 1886 i Melbourne (Australia) med Nora Johanna f. Schreiber. Sammen fikk de seks barn. Familien bosatte seg i Australia og en av sønnene, Justus Jorgensen (1893–1975), ble en anerkjent kunstmaler og arkitekt i Australia.