Faits: Faits: A. En tant qu'exploitant de la raison individuelle A.X._, qui a pour but la vente de semences bovines aux éleveurs suisses, X._ a importé de la semence de taureau à quatre reprises au cours de l'année 1999 (soit les 16 mars, 6 et 24 septembre ainsi que 28 octobre), après avoir revendiqué et obtenu le taux contingent tarifaire (ci-après: TCT). L'Office fédéral de l'agriculture (ci-après: l'Office fédéral) ayant informé les autorités douanières qu'aucune part de contingent tarifaire n'avait été octroyée à X._ pour les importations susmentionnées, la Direction du IIIe arrondissement des douanes (ci-après: la Direction d'arrondissement) a ouvert, en décembre 1999, une enquête pénale administrative à l'issue de laquelle l'intéressé a été reconnu coupable d'infractions à la législation sur les douanes. Le 24 juillet 2002, la Direction d'arrondissement a rendu une décision de perception subséquente de redevances d'entrée s'élevant à 93'264,85 fr., représentant (outre la taxe sur la valeur ajoutée) la différence entre les redevances calculées au taux hors contingent tarifaire (ci-après: THCT) et celles calculées, à tort, au TCT (plus favorable) pour les importations litigieuses. Le 24 juillet 2002, la Direction d'arrondissement a rendu une décision de perception subséquente de redevances d'entrée s'élevant à 93'264,85 fr., représentant (outre la taxe sur la valeur ajoutée) la différence entre les redevances calculées au taux hors contingent tarifaire (ci-après: THCT) et celles calculées, à tort, au TCT (plus favorable) pour les importations litigieuses. B. X._ a alors porté sa cause devant la Direction générale des douanes (ci-après: la Direction générale) qui, par décision du 7 octobre 2003, a rejeté le recours et confirmé la perception subséquente des droits de douane contestés. Le TCT avait été appliqué à tort aux importations en cause et les redevances non perçues devaient l'être après coup. Par ailleurs, l'allégation de X._ selon laquelle il aurait reçu, pour chaque importation litigieuse, une autorisation téléphonique de l'Office fédéral, par l'intermédiaire des autorités douanières, s'était révélée inexacte après vérification auprès de l'agent concerné, c'est-à-dire Y._. B. X._ a alors porté sa cause devant la Direction générale des douanes (ci-après: la Direction générale) qui, par décision du 7 octobre 2003, a rejeté le recours et confirmé la perception subséquente des droits de douane contestés. Le TCT avait été appliqué à tort aux importations en cause et les redevances non perçues devaient l'être après coup. Par ailleurs, l'allégation de X._ selon laquelle il aurait reçu, pour chaque importation litigieuse, une autorisation téléphonique de l'Office fédéral, par l'intermédiaire des autorités douanières, s'était révélée inexacte après vérification auprès de l'agent concerné, c'est-à-dire Y._. C. Le 7 novembre 2003, X._ a recouru auprès de la Commission fédérale de recours en matière de douanes (ci-après: la Commission fédérale de recours) contre la décision de la Direction générale du 7 octobre 2003, dont il a demandé de prononcer la nullité. Il se plaignait en particulier d'une violation de son droit d'être entendu, puisqu'il n'avait pas pu interroger Y._. Statuant le 9 septembre 2004, la Commission fédérale de recours a rejeté le recours et confirmé la décision de la Direction générale du 7 octobre 2003. Elle a notamment écarté le grief de violation du droit d'être entendu. Statuant le 9 septembre 2004, la Commission fédérale de recours a rejeté le recours et confirmé la décision de la Direction générale du 7 octobre 2003. Elle a notamment écarté le grief de violation du droit d'être entendu. D. Saisi d'un recours de droit administratif dirigé contre la décision de la Commission fédérale de recours du 9 septembre 2004, le Tribunal fédéral l'a admis, par arrêt du 12 janvier 2005 (2A.596/2004). Il a retenu que le droit d'être entendu de X._ avait été violé dans la mesure où, d'une part, l'intéressé n'avait pas été invité à se déterminer sur de nouveaux éléments intervenus en cours de procédure et, d'autre part, il n'avait pas pu interroger Y._. La cause a été renvoyée à la Commission fédérale de recours pour qu'elle complète l'instruction en procédant notamment à l'audition du témoin Y._ en présence de X._ et qu'elle statue à nouveau. D. Saisi d'un recours de droit administratif dirigé contre la décision de la Commission fédérale de recours du 9 septembre 2004, le Tribunal fédéral l'a admis, par arrêt du 12 janvier 2005 (2A.596/2004). Il a retenu que le droit d'être entendu de X._ avait été violé dans la mesure où, d'une part, l'intéressé n'avait pas été invité à se déterminer sur de nouveaux éléments intervenus en cours de procédure et, d'autre part, il n'avait pas pu interroger Y._. La cause a été renvoyée à la Commission fédérale de recours pour qu'elle complète l'instruction en procédant notamment à l'audition du témoin Y._ en présence de X._ et qu'elle statue à nouveau. E. La Commission fédérale de recours a alors ordonné un nouvel échange d'écritures, puis elle a tenu une audience au cours de laquelle elle a procédé à l'audition de deux personnes, dont Y._, en présence de X._. Les parties ont encore pu déposer des déterminations. Par une nouvelle décision du 13 juin 2006, la Commission fédérale de recours a rejeté le recours formé le 7 novembre 2003 par X._. Elle a confirmé la légalité de la créance fiscale alléguée par la Direction générale et estimé que les conditions liées à l'application du principe de la bonne foi invoqué par X._ n'étaient pas toutes remplies. Ainsi, l'intéressé n'avait pas apporté la preuve de promesses de dédouanement au TCT et il n'avait pas pris des mesures dont la modification lui serait préjudiciable après l'avènement desdites promesses. E. La Commission fédérale de recours a alors ordonné un nouvel échange d'écritures, puis elle a tenu une audience au cours de laquelle elle a procédé à l'audition de deux personnes, dont Y._, en présence de X._. Les parties ont encore pu déposer des déterminations. Par une nouvelle décision du 13 juin 2006, la Commission fédérale de recours a rejeté le recours formé le 7 novembre 2003 par X._. Elle a confirmé la légalité de la créance fiscale alléguée par la Direction générale et estimé que les conditions liées à l'application du principe de la bonne foi invoqué par X._ n'étaient pas toutes remplies. Ainsi, l'intéressé n'avait pas apporté la preuve de promesses de dédouanement au TCT et il n'avait pas pris des mesures dont la modification lui serait préjudiciable après l'avènement desdites promesses. F. X._ a déposé un recours de droit administratif au Tribunal fédéral contre la décision de la Commission fédérale de recours du 13 juin 2006. Il demande, sous suite de frais et dépens, principalement, de prononcer la nullité de la décision attaquée, la cause étant renvoyée à la Commission fédérale de recours pour nouvelle décision dans le sens des considérants et, subsidiairement, de réformer la décision entreprise en ce sens qu'il n'est pas débiteur de 93'264,85 fr. à titre de perception subséquente de redevances d'entrée à la suite d'un dédouanement à tort des importations ayant eu lieu les 16 mars, 6 et 24 septembre ainsi que 28 octobre 1999. Il invoque en substance la protection de la bonne foi (art. 9 Cst.). La Commission fédérale de recours et la Direction générale ont expressément renoncé à répondre au recours.