Corredor especializado nos 1500 metros, Vénuste surgiu internacionalmente conquistando uma medalha de prata nesta prova, no Campeonato Mundial Júnior de 1992, com 18 anos. Em 1993, disputando seu primeiro torneio internacional adulto, depois de treinar na Itália com técnicos europeus, chegou às semifinais da prova no Campeonato Mundial de Atletismo de Stuttgart. Nos anos seguintes, Vénuste transformou-se num corredor de elite da milha métrica, vencendo diversas provas internacionais em 1994 e 1995, quando conquistou a medalha de bronze no Mundial de Gottemburg, na Suécia, atrás de Noureddine Morceli e Hicham El Guerrouj.