Ove Hiorth var sønn av Jens Hiort i Snorum, Viborg, Danmark. Etter farens død reiste Hiorth til Christiania, Norge til sin onkel.