Faits:
A. X._ exploite, sous la raison individuelle M. X._, une entreprise inscrite au registre du commerce du canton de Vaud depuis le 6 août 2002, qui exerce le commerce de crustacés, textiles, vêtements et cuir. Ces activités ont été reprises de la société en nom collectif M. X._ & company, fondée en novembre 1994, qui bénéficiait d'un permis général d'importation de lait et de produits laitiers depuis le 4 janvier 2000
Par l'intermédiaire du transitaire Z._ SA, X._ a importé, entre le 30 novembre 1999 et le 6 novembre 2001, six envois de matières grasses du lait, un envoi de lait en poudre et un envoi de pâte à tartiner. Le dédouanement a été effectué au bureau de douane de Genève La Praille.
Lors d'un contrôle subséquent, l'Office fédéral de l'agriculture a constaté que X._ ne disposait pas des parts de contingent tarifaire nécessaires pour l'importation de "ghee" et de poudre de lait.
B. Le 1er mai 2003, la Direction d'arrondissement des douanes de Genève a rendu une décision de perception subséquente portant sur 94'769.50 fr., correspondant à la différence entre le taux hors contingent tarifaire appliqué aux quantités de produits laitiers importés et le taux contingent tarifaire.
Le 4 octobre 2006, la Direction générale des douanes (en abrégé: DGD) a rejeté le recours de X._ en tant qu'il concernait le classement du "ghee" proprement dit - à base de matières grasses du lait, par opposition au "ghee" de provenance végétale - sous un autre numéro de tarif que celui prévu pour la catégorie "autre matière grasse provenant du lait" (0.405. 9010/9090). Partant, après avoir exclu un lot de la perception subséquente, elle a fixé à 84'162.50 fr. le montant dû à ce titre par X._.
Par arrêt du 10 mars 2008, le Tribunal administratif fédéral a partiellement admis le recours de X._ et a réformé la décision de la DGD en réduisant à 80'032.25 fr. le montant devant faire l'objet de la perception subséquente, conformément à la proposition de la DGD d'appliquer un taux de TVA réduit aux importations litigieuses.
C. X._ recourt auprès du Tribunal fédéral contre l'arrêt du 10 mars 2008, dont il demande l'annulation, après réexamen de sa cause pour tenir compte de sa situation personnelle.
Le Tribunal administratif fédéral a renoncé à se déterminer. L'Administration fédérale des douanes a déposé des observations et conclut au rejet du recours, sous suite de frais.

Considérant en droit:
1. 1.1 Le recourant, qui agit seul, n'a pas indiqué par quelle voie de recours il procède devant le Tribunal fédéral. Toutefois, cette imprécision ne saurait lui nuire si son recours répond aux exigences légales de la voie de droit qui lui est ouverte (<ref-ruling> consid. 1.3 p. 296). Dans la mesure où le présent litige relève du droit public, il y a lieu d'examiner si l'acte de recours remplit les conditions de recevabilité du recours en matière de droit public (<ref-law>).
1.2 Selon l'art. 83 let. l LTF, le recours est irrecevable contre "les décisions en matière de perception de droits de douane fondée sur le classement tarifaire ou le poids des marchandises". Cette disposition est matériellement identique à l'art. 100 al. 1 let. h OJ, de sorte que la jurisprudence rendue sous l'empire de l'ancien droit demeure applicable (arrêt 2C_355/2007 du 19 novembre 2007 consid. 1.3, non publié). L'exception à l'entrée en matière ne vise donc que les questions techniques portant sur la tarification elle-même, mais ne s'applique pas lorsqu'il s'agit de trancher une question de droit comme, par exemple, la modification des bases légales dans le courant d'une procédure (<ref-ruling> consid. 1b p. 107), la prescription ou la violation du principe de la bonne foi (arrêt 2A.457/2000 du 7 février 2001, publié in Archives 70 p. 330, consid. 1). En revanche, la qualité ou les caractéristiques d'une marchandise en vue de son classement tarifaire relèvent de l'aspect technique d'une tarification et ne peuvent pas faire l'objet d'un recours auprès du Tribunal fédéral (<ref-ruling> consid. 2b p. 204).
Déposé en temps utile (<ref-law>), dans les formes requises (<ref-law>), par une personne ayant qualité pour recourir (<ref-law>), contre une décision finale (<ref-law>) du Tribunal administra- tif fédéral (<ref-law>), le présent recours est donc recevable, dans la mesure où le recourant ne remet plus en cause la nature des marchandises importées, ni leur classement.
2. 2.1 Le recourant reproche aux premiers juges d'avoir confirmé le montant disproportionné des droits de douane mis à sa charge, en ne tenant pas compte de sa situation personnelle, soit de son manque d'expérience en matière douanière et de la confiance qu'il a faite à son transitaire qui, contrairement à lui, est un professionnel de l'importation.
2.2 Comme l'a relevé le Tribunal administratif, l'art. 132 al. 1 de la loi du 18 mars 2005 sur les douanes (LD; RS 631 0) soumet à l'ancien droit les procédures douanières en cours lors de son entrée en vigueur, le 1er mai 2007; le présent litige doit donc être traité selon l'ancienne loi fédérale sur les douanes du 1er octobre 1925 (aLD; RS 6 469 et les modifications ultérieures).
2.3 Aux termes de l'art. 1er aLD, toute personne qui fait passer des marchandises à travers la ligne suisse des douanes est tenue d'observer les prescriptions concernant le passage de la frontière et le paiement des droits prévus par la loi fédérale du 9 octobre 1986 sur le tarif des douanes (LTaD; RS 632.10). La réglementation prévue permet d'effectuer des importations à l'intérieur du contingent tarifaire comme hors contingent, mais soumet les premières à des droits de douane réduits, en subordonnant en revanche les secondes à des droits volontairement dissuasifs (<ref-ruling> consid. 2.1 p. 163; <ref-ruling> consid. 2b p. 38).
Les règles sur le contingent tarifaire doivent être respectées par toutes les personnes concernées car, en matière douanière, les droits de douane sont dus par les personnes assujetties au contrôle douanier, par les personnes qui transportent des marchandises à travers la frontière et par leurs mandants, ainsi que par les personnes pour le compte desquelles la marchandise est importée (art. 9 al. 1 et 13 aLD). En cas de violation des cette obligation, l'art. 12 de la loi fédérale du 22 mars 1974 sur le droit pénal administratif (DPA; RS 313.0) autorise la perception après coup des droits qui n'auraient pas été perçus à tort, alors même qu'aucune personne déterminée n'est punissable (al. 1), notamment auprès de celui qui a obtenu la jouissance de l'avantage illicite et doit payer la contribution (al. 2).
En l'espèce, le recourant a bénéficié d'un avantage illicite, dans la mesure où il a payé des droits de douane réduits pour les marchandises importées, alors qu'il ne remplissait pas les conditions pour bénéficier d'une telle facilité. La question de savoir s'il pouvait, de bonne foi, croire qu'il était en règle avec l'Administration des douanes en se fiant à son transitaire est sans pertinence, dès lors que son assujettissement ne dépend pas de l'existence d'une faute ou d'une poursuite pénale, mais du seul fait de l'avantage illicite procuré par l'absence de perception de la contribution litigieuse, en violation des prescriptions administratives (<ref-ruling> consid. 3.2 et les références citées). Pour le reste, l'arrêt attaqué a constaté à juste titre (consid. 8.2) que si le recourant estime que la responsabilité de son transitaire est engagée, il lui appartient d'agir devant le Juge civil. Il ne saurait donc invoquer cet argument pour réduire sa responsabilité fiscale dans le cadre de la présente procédure (arrêt 2C_82/2007 du 3 juillet 2007, non publié, consid. 4.1).
2.4 Le recourant se plaint aussi du montant mis à sa charge, qu'il considère comme disproportionné. Ce montant résulte toutefois de l'application des taux de douanes, en particulier de la différence entre le taux contingent tarifaire et le taux hors contingent tarifaire. Il n'est donc pas laissé à la libre appréciation de l'autorité, mais est fixé selon des règles tarifaires, dont l'application ne permet pas de tenir compte de la situation personnelle du recourant. Au surplus, comme on l'a vu (supra consid. 1.2), la technique de la tarification pour la perception des marchandises importées ne peut être revue par le Tribunal fédéral, car elle relève de l'exception prévue par l'art. 83 let. l LTF.
2.5 Au vu de ce qui précède, le recours, manifestement infondé, peut être rejeté dans la mesure où il est recevable, selon la procédure simplifiée de l'<ref-law>. Il y a lieu ainsi de mettre les frais judiciaires à la charge du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recou-rant.
3. Le présent arrêt est communiqué au recourant, à la Direction générale des douanes et au Tribunal administratif fédéral, Cour I.
Lausanne, le 27 juin 2008
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Merkli Rochat