Jørgen Brunchorst var sønn av Christian Ege Brunchorst (1835–64) og Emma Wesenberg (1837–1919). Faren var skipsbygger i Bergen og av Brunchorst (slekt). Jørgen var gift 1886 til 1911 med bibliotekar Ellen Bull (1861–1948) av Bullslekten, og fra 1911 med Andrea (Lill) Langaard (1883–) som var dattera til bryggerisjef Christian Langaard. Botanikeren Knut Fægri (1909–2001) var halvbrorsønn av Jørgen.