Jørgen Olafsen var sønn av gårdbruker Ole Jørgensen Høybrenna og Mari Syversdatter Randløkken. I 1843 ble han gift med Aase Johnsdatter Hogsvold og var far til auksjonsforvalter Kristian R. Arnet Olafsen og sogneprest Olaf Olafsen.