Horneman var født i Trondheim som sønn av justisråd, grossist og eier av Reins kloster Henrik Horneman og hustru Abel Margrethe Hersleb. Han gikk på katedralskolen i hjembyen, hvor han ble student i 1798. Tre år senere ble han cand.jur. i København. Deretter var han auditør ved kongens regiment i Helsingør og garnisonsauditør på Kronborg slott. I 1806 ble han auditør ved 2. jyske infanteriregiment. I 1810 giftet han seg med sin kusine Fredrikke Horneman (1787–1852). Fra 1810 var han byfogd og byskriver i Kragerø. På riksforsamlingen på Eidsvoll i 1814 var Horneman utsending fra Kragerø. Han sluttet seg der til selvstendighetspartiet. I 1814 leide han et lite hus ved sjøen. Huset ble revet allerede i 1824.