Etter studentereksamen ved katedralskolen i Odense i 1855 tok han juridisk embedseksamen ved Københavns Universitet i 1861. Høst var rettsbetjent- og sakførerfullmektig, senere prokurator i Fuglebjerg. I 1871 ble han sorenskriver på Færøyene. På Færøyene var han med på å grunnlegge avisen , og var innvalgt på det færøyske Lagtinget fra Suðurstreymoy fra 1875 til 1878. I 1878 vendte han tilbake til Danmark som borgermester og byfogd i Hjørring og herredsfogd i Vennebjerg. Han var byfogd i Helsingør fra 1886 til 1897, deretter birkedommer i København frem til sin død.