Faits: Faits: A. En tant qu'exploitant de la raison individuelle Y._, qui a pour but la vente de semences bovines aux éleveurs suisses, X._ a importé de la semence de taureau à quatre reprises (soit les 16 mars, 6, 24 septembre et 28 octobre) au cours de l'année 1999, après avoir revendiqué et obtenu le taux contingent tarifaire (ci-après: TCT). L'Office fédéral de l'agriculture (OFAG) ayant informé les autorités douanières qu'aucune part de contingent tarifaire n'avait été octroyée à X._ pour les importations susmentionnées, la Direction du IIIe arrondissement des douanes a ouvert en décembre 1999 une enquête pénale administrative à l'issue de laquelle l'intéressé a été reconnu coupable d'infraction à la législation sur les douanes. Le 24 juillet 2002, la Direction en question a rendu une décision de perception subséquente de redevances d'entrée s'élevant à 93'364 fr. 85, représentant (outre la taxe sur la valeur ajoutée) la différence entre les redevances calculées au taux hors contingent tarifaire (THCT) et celles calculées, à tort, au TCT (plus favorable) pour les importations litigieuses. Le 24 juillet 2002, la Direction en question a rendu une décision de perception subséquente de redevances d'entrée s'élevant à 93'364 fr. 85, représentant (outre la taxe sur la valeur ajoutée) la différence entre les redevances calculées au taux hors contingent tarifaire (THCT) et celles calculées, à tort, au TCT (plus favorable) pour les importations litigieuses. B. X._ a porté sa cause devant la Direction générale des douanes, en faisant valoir qu'il avait reçu pour l'année 1999 des autorisations orales d'importer 15'052 doses de semence animale au taux contingent tarifaire. Il prétend qu'il aurait demandé au chef de division au fret A._ de téléphoner à B._ de l'Office fédéral de l'agriculture pour s'en assurer. Entendu le 21 juillet 2003 hors présence de X._, l'agent des douanes A._ a formellement démenti de telles assertions, tout en précisant que, si ses souvenirs étaient exacts, il n'était pas chef de division au fret au moment des faits. Par ailleurs, X._ proposait de remettre aux autorités douanières les 15'052 doses de semence litigieuses afin que celles-ci soient détruites en lieu et place de s'acquitter des redevances incriminées. Par décision du 7 octobre 2003, la Direction générale des douanes a rejeté le recours de X._, après avoir notamment indiqué que la destruction des doses en question n'était pas envisageable non seulement parce que l'intéressé avait lui-même affirmé, lors d'une audience du 7 juin 2002, qu'un tiers de ces doses avaient déjà été vendues, mais encore parce qu'il était impossible de les identifier. Par décision du 7 octobre 2003, la Direction générale des douanes a rejeté le recours de X._, après avoir notamment indiqué que la destruction des doses en question n'était pas envisageable non seulement parce que l'intéressé avait lui-même affirmé, lors d'une audience du 7 juin 2002, qu'un tiers de ces doses avaient déjà été vendues, mais encore parce qu'il était impossible de les identifier. C. Le 7 novembre 2003, X._ a saisi la Commission fédérale de recours en matière de douanes (ci-après: la Commission fédérale de recours) d'un pourvoi dirigé contre la décision précitée du 7 octobre 2003, dont il demandait l'annulation. Il se plaignait d'une violation de son droit d'être entendu, puisqu'il n'avait pas pu être confronté à A._; il demandait que ce dernier soit réentendu en sa présence. Le 27 janvier 2004, la Direction générale des douanes a déposé sa réponse, qui a été communiquée à l'intéressé le 28 janvier 2004, avec la mention que la procédure suivrait son cours. Par lettre du 28 juin 2004, la Direction générale des douanes a communiqué à la Commission fédérale de recours le jugement du Tribunal de police de l'arrondissement de la Côte du 17 février 2004 prenant acte du retrait d'opposition de X._ à la sanction prononcée contre lui le 21 novembre 2002 par la Direction générale des douanes concernant des importations qui s'étaient déroulées en 1997 (et non en 1999). Ce courrier et son annexe n'ont pas été transmis à X._. Statuant le 9 septembre 2004, la Commission fédérale de recours a confirmé la décision de la Direction générale des douanes du 7 octobre 2003. Sous l'angle du droit d'être entendu, elle a estimé qu'il n'était pas nécessaire d'entendre à nouveau l'agent des douanes A._ afin de permettre à X._ de l'interroger, attendu que celui-ci avait déclaré retirer son opposition à la sanction infligée dans le cadre de l'enquête pénale administrative dont l'objet principal était de déterminer si l'intéressé avait reçu ou non des autorisations orales de la part de l'Office fédéral de l'agriculture pour l'importation de doses de semence animale au taux de contingent tarifaire. La Commission fédérale de recours a donc considéré que l'opposition retirée sur le plan pénal pouvait être assimilée à un retrait "de facto" de l'opposition aussi sur le plan administratif. Elle en a déduit que le point de savoir s'il existait ou non des autorisations orales n'était plus à déterminer et qu'il convenait de prendre en compte ces circonstances de fait nouvelles, sans qu'il soit nécessaire de donner à l'intéressé un nouveau délai afin qu'il puisse prendre position sur cette question. D. Agissant par la voie du recours de droit administratif, X._ demande au Tribunal fédéral, principalement, d'annuler la décision du 9 septembre 2004, l'affaire étant renvoyée à la Commission fédérale de recours pour nouvelle décision dans le sens des considérants et, subsidiairement, de réformer la décision attaquée en ce sens qu'il ne doit aucun montant à titre de perception subséquente. La Commission fédérale de recours a renoncé à se déterminer, tandis que la Direction générale des douanes conclut au rejet du recours.