Jordhøy ble skilt fra sin kone i 1833 på grunn av dårlig oppførsel mot henne. I 1856 ble han tiltalt for mishandling av en konkubine (samboer) og dømt til fengsel i 88 dager. I overretten ble straffen skjerpet til 96 dager, og i høyesterettsdom av 30. september 1857 ble han fradømt embetet som prokurator. Resten av livet tilbragte han i fattigdom i Fræna, og døde som fattiglem på gården Sylte.