Johan Bernhard Hjort var sønn av Wanda Maria von der Marwitz og Johan Hjort. Faren var en kjent norsk marinbiolog, mens moren var av prøyssisk adelsslekt. I Johans barndom bodde familien i Bergen, og foreldrene ble skilt da han var i tenårene. Barna flyttet med sin mor til Bestum i Oslo.