Hiort var gift to ganger; først med Abel Cathrine Sahn og til sist med Anna Maria Heidemann. Da han døde i 1692, overtok enken Stend og de andre gårdene. Hun solgte dem videre igjen i 1696.