Horvei er utdannet cand.mag og vernepleier. Han har tidligere arbeidet som hodejeger innenfor kultur, media, samfunn og som nattevakt i en bolig for psykisk utviklingshemmede. Horvei drev også mikroforlaget Trolltekst.