Etter at han gikk ut av aktiv militærtjeneste drev han den tidligere futegården Søve i Holla. Høyum hadde giftet seg til gården, og døde der i 1830.