Faits: A. X._ exploite depuis 1960, à F._, une entreprise d'horticulture spécialisée dans la production de jeunes plants de fleurs et de légumes. Il emploie à ce titre environ 80 personnes. Son chiffre d'affaires annuel avoisine les 6'000'000 de francs. La société A._ Sàrl (ci-après: A._ Sàrl), de siège social à H._, a pour but la culture du chanvre, la production en général, la recherche, la sélection de nouvelles variétés, la culture expérimentale, l'étude, le développement et la commercialisation du chanvre et de tous les produits dérivés directement ou indirectement du chanvre de manière compatible avec les dispositions légales suisses. B._ et C._ sont respectivement associé gérant et associé de cette société. En 1999, la société a pris contact avec X._ en vue de la production, par l'entreprise de celui-ci, de boutures de chanvre. C'est ainsi que X._ en a produit et livré 32'160 en 1999 et 52'223 en 2000. Selon le contrat conclu le 25 janvier 2001 avec A._ Sàrl, X._ s'est engagé à produire de mi-avril à fin juin 2001, 100'000 boutures de chanvre naturel suisse à partir de pieds mères fournis par cette société et restant propriété de celle-ci, au prix de 1 fr. 50 par bouture. A._ Sàrl destinait la marchandise à sa propre production de chanvre et à la vente à des commerces spécialisés. Le contrat prévoyait que les boutures seraient piquées dans des grodans de 25 x 25 mm fournis par A._ Sàrl. Une fois enracinées, elles devaient être replantées en terre en pots de 51 trous d'un diamètre de 40 mm fournis par X._. X._ devait ensuite disposer les pots dans des caisses fournies par A._ Sàrl et procéder à leur chargement dans les véhicules. Le contrat précisait encore que les plantes "appartenaient à A._ Sàrl et ne servaient qu'à honorer le présent contrat". A._ Sàrl garantissait enfin, d'une part, l'achat des boutures commandées, "sauf en cas d'événements extérieurs indépendants de sa volonté, ainsi que, d'autre part, le respect de la législation en vigueur". D'avril à juillet 2001, X._ a produit 61'210 boutures de chanvre qu'il a vendues à A._ Sàrl. Le 5 juillet 2001, la police est intervenue auprès de X._ à la suite d'une enquête ouverte à l'encontre de B._ et de C._ par la gendarmerie de P._. A cette occasion, X._ a remis aux agents un planton de chacune des cinq variétés de chanvre qu'il produisait dans son exploitation. Il a pris note que "tout producteur risque de tomber sous le coup de la LStup s'il cultive des variétés non recommandées sans fournir une explication claire et nette de son choix et sans que l'utilisation de la récolte soit contrôlable". Dès cet instant, X._ a cessé de produire des boutures de chanvre. Il a néanmoins encore livré à sa cliente, le 24 juillet 2001, 2170 boutures. Selon le rapport du laboratoire cantonal valaisan du 22 octobre 2001, l'analyse des cinq plantes de chanvre obtenues à partir des boutures, plantes ensuite séchées, a révélé une concentration de THC comprise entre 12,9 et 25,2 %. Le raport précisait qu'aucune trace de THC n'était décelable dans une bouture, les plantes devant avoir atteint un degré de maturité optimal, puis être séchées pour que puisse être décelé par une analyse chimique le pourcentage de substance active. B. Le 17 septembre 2002, le Juge du district de Martigny a acquitté X._ du chef d'accusation de violation des art. 19 ch. 1 al. 1 et 4 et 19 ch. 3 LStup et mis les frais à la charge du fisc. Contre ce jugement, le représentant du Ministère public valaisan a déposé un appel au Tribunal cantonal valaisan. Par jugement du 2 mars 2004, la Cour pénale I du Tribunal cantonal valaisan a admis l'appel, a reconnu X._ coupable de violation des art. 19 ch. 1 et 3 LStup et l'a condamné à quatre mois d'emprisonnement avec sursis. Il a mis à la charge de X._ une créance compensatrice de 30'000 francs à verser à l'Etat du Valais ainsi que les frais de la cause. C. X._ dépose contre ce dernier jugement un recours de droit public et un pourvoi en nullité au Tribunal fédéral. Le Ministère public a renoncé à déposer des déterminations.