Otto Ludvig Hjort var sønn av offiseren Otto Christian Hjort (1830-1921) og Helene Henriette Osenbrock Friis (1828-1913). Han var bror av Jens Johan Hjort (1862–1913) og Marianne Hjort (1864-1932).