Faits: Faits: A. X._ (ci-après: l'assujetti ou le recourant) exploite l'entreprise individuelle Y._, à A._, qui a pour but la vente de matériels génétiques bovins. A ce titre, il est immatriculé dans le registre des assujettis à la taxe sur la valeur ajoutée (ci-après: TVA) depuis le 1er janvier 1997. A. X._ (ci-après: l'assujetti ou le recourant) exploite l'entreprise individuelle Y._, à A._, qui a pour but la vente de matériels génétiques bovins. A ce titre, il est immatriculé dans le registre des assujettis à la taxe sur la valeur ajoutée (ci-après: TVA) depuis le 1er janvier 1997. B. Par lettre du 20 mars 1999, X._ a contesté auprès de l'Administration fédérale des contributions, Division principale de la taxe sur la valeur ajoutée (ci-après: l'Administration fédérale ou l'intimée), l'application du taux normal à la vente de semence bovine. Il a sollicité l'application du taux réduit. Par décision du 27 juin 2001, l'Administration fédérale a confirmé l'imposition des livraisons de semence bovine au taux normal dès le 1er janvier 1997. Compte tenu du fait que, durant les périodes fiscales allant du 1er trimestre 1997 au 4ème trimestre 2000, l'assujetti avait décompté une partie de ses livraisons de semence bovine au taux réduit, elle a par ailleurs fixé à 52'296 fr. plus intérêt moratoire dès le 30 août 1999 le montant que celui-ci devait encore lui verser au titre de la TVA. L'Administration fédérale a confirmé son prononcé par décision sur réclamation du 1er novembre 2001. X._ a déféré cette décision à la Commission fédérale de recours en matière de contributions (ci-après: la Commission de recours ou l'autorité intimée). Il a fait valoir pour l'essentiel qu'il était un concurrent direct de la Fédération suisse pour l'insémination artificielle (FSIA; celle-ci a changé son nom en Swissgenetics à la fin juin 2004), laquelle imposait la livraison de semences d'animaux au taux réduit. Par conséquent, il devait également bénéficier du taux réduit. Le 12 février 2004, la Commission de recours a rejeté le recours. Elle a considéré que le recourant ne se trouvait pas dans un rapport de concurrence directe avec la FSIA. En effet, l'activité principale de la FSIA était l'insémination artificielle de bovins, alors que celle du recourant était la vente de semences bovines. Le 12 février 2004, la Commission de recours a rejeté le recours. Elle a considéré que le recourant ne se trouvait pas dans un rapport de concurrence directe avec la FSIA. En effet, l'activité principale de la FSIA était l'insémination artificielle de bovins, alors que celle du recourant était la vente de semences bovines. C. Agissant par la voie du recours de droit administratif, X._ demande au Tribunal fédéral d'annuler cette décision et de dire que ses livraisons de semence bovine sont imposables au taux réduit, le tout sous suite de frais et dépens. Il fait valoir qu'il se trouve dans une relation de concurrence directe avec la FSIA et que le fait qu'il doit imposer ses livraisons de semence bovine à un taux supérieur à celui applicable aux livraisons de la FSIA viole le principe de la neutralité concurrentielle. L'Administration fédérale propose le rejet du recours. L'autorité intimée renonce à se déterminer et renvoie à la décision attaquée.