Ellers var han nær venn av Halfdan Kjerulf og fra 1857 med i dennes sangkvartett. Hans far var også militærlege, Jens Johan Hjort (1798–1873). Johan giftet seg i 1868 med Johanne Elisabeth Falsen (1849–1922). Blant deres barn var marinbiologen Johan Hjort (1869–1948).