Høyum var fra Sauherad i Telemark. Han var sønn av oberst Peter Nicolai Høyum og Martha Francisca Steenbloch, og gikk selv i militærtjeneste. I 1794 ble han fenrik i Telemarkske infanteriregiment. Han avanserte etter hvert i gradene, ble kaptein i 1809. I 1814 ble han skikket til sjef over 1. divisjon av regimentets «marcherende depotbatalion» i Drammen. Fire år senere tok han avskjed.