Horvei har studert litteratur ved Universitetet i Bergen, og debuterte med diktsamlingen i 1988. I tillegg til bøker har han utgitt seks CD-er med poesi og musikk. Fra 2006 har han turnert mye i skoleverket med prosjektet sammen med musikeren Roy Ole Førland. Det går ut på å lære unge å skrive haikudikt og komponering av musikk til diktene.