Faits:
A. Entre le 1er avril 1993 et le 23 octobre 1995, X._, citoyen italien né en 1954, chauffeur de poids lourds de profession, a importé en Suisse, sans les déclarer à la douane, 614 tonnes de viandes diverses, d'une valeur totale supérieure à neuf millions de francs. Il a par ce biais réalisé un gain supérieur à un million. Le montant des droits de douane éludés représente environ 490'000 francs, celui de la TVA soustraite environ 58'000 francs.
La Direction générale des douanes (DGD) a rendu à l'encontre de X._ une décision d'assujettissement à la prestation fixant les redevances d'entrée dues à 475'170 francs. Elle a en outre renvoyé la cause aux autorités pénales du Canton de Neuchâtel.
B. Par jugement du 10 décembre 2003, le Tribunal correctionnel du district de Boudry a condamné X._ à douze mois d'emprisonnement sans sursis et à 300'000 francs d'amende, peine complémentaire à cinq condamnations précédentes.
Le 27 août 2004, la Cour de cassation pénale du Tribunal cantonal a partiellement admis un recours de X._, annulant le jugement attaqué et renvoyant la cause au juge de première instance pour nouveau jugement dans le sens des considérants.
Par nouveau jugement du 3 février 2005, le Tribunal correctionnel du district de Boudry a reconnu X._ coupable de contraventions douanières aggravées (art. 74, art. 75 al. 2 et art. 82 ch. 2 LD; loi fédérale sur les douanes, RS 631.0), d'infractions à la loi fédérale sur les épizooties (art. 47 LFE; RS 916.40) et de soustraction aggravée de l'impôt sur les importations (<ref-law>; ordonnance régissant la taxe à la valeur ajoutée, RO 1994 1464). Il l'a condamné à une peine de six mois d'emprisonnement assortie du sursis ainsi qu'à 250'000 francs d'amende, le tout à titre de peine complémentaire à cinq condamnations antérieures.
Le 13 juin 2006, la Cour de cassation pénale du Tribunal cantonal a rejeté un nouveau recours de X._.
C. X._, agissant seul, a interjeté un pourvoi en nullité auprès du Tribunal fédéral.
Le Ministère public du Canton de Neuchâtel, le Ministère public de la Confédération et la Direction des douanes ont été invités à déposer des observations. Les deux premiers y ont renoncé; la dernière a conclu au rejet du recours.

Le Tribunal fédéral considère en droit:
1. Dans son mémoire, le recourant soulève, de façon séparée, divers griefs dont certains relèvent du recours de droit public et d'autres du pourvoi en nullité. Dès lors qu'il agit sans le ministère d'un avocat, l'acte sera traité comme deux recours séparés.
I. Recours de droit public
2. Le recourant se plaint de violations répétées des droits de la défense. Il invoque d'une part l'art. 6 CEDH, d'autre part le code de procédure cantonal.
2.1 Le recours de droit public au Tribunal fédéral est ouvert contre une décision cantonale de dernière instance pour violation des droits constitutionnels des citoyens (art. 84 al. 1 let. a et art. 86 al. 1 OJ). En vertu de l'art. 90 al. 1 let. b OJ, l'acte de recours doit contenir, sous peine d'irrecevabilité (cf. <ref-ruling> consid. 4d), un exposé succinct des droits constitutionnels violés, précisant en quoi consiste la violation. Dans le cadre d'un recours de droit public, le Tribunal fédéral n'examine que les griefs expressément soulevés et exposés de façon claire et détaillée (<ref-ruling> consid. 2.1).
L'interprétation et l'application du droit cantonal ne sont examinées que sous l'angle d'une violation de la garantie constitutionnelle d'être traité sans arbitraire par les organes de l'Etat (art. 9 Cst.). Une décision est arbitraire lorsqu'elle viole gravement une règle de droit ou un principe juridique clair et indiscuté ou lorsqu'elle contredit de manière choquante le sentiment de justice et d'équité. Pour qu'il y ait arbitraire, il ne suffit pas qu'elle apparaisse discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais dans son résultat (<ref-ruling> consid. 2.1, 128 I 177 consid. 2.1).
En l'espèce, à défaut de toute précision relative aux dispositions cantonales prétendument violées, il n'y a d'emblée pas lieu d'entrer en matière sur ce volet du grief faute de motivation répondant aux exigences légales.
2.2 Le recourant ne précise pas sur quel aspect de l'art. 6 CEDH il se fonde. Il y a lieu de penser qu'il s'agit du droit à un procès équitable.
Le recourant invoque la nullité de l'audience préliminaire, au motif qu'elle a été conduite par un magistrat récusé. Or selon la décision de la Chambre d'accusation du 23 juillet 2003, que le recourant n'a pas valablement attaquée à temps et qu'il n'est plus habilité à contester à ce stade de la procédure (cf. art. 87 al. 1 OJ), il n'existait pas de motif de récusation à l'époque concernée. La survenance ultérieure d'un motif de récusation n'implique pas l'annulation des actes de procédure antérieurs, sans qu'il soit nécessaire de se prononcer sur la portée de ces actes.
Pour le surplus, le recourant reprend des griefs qu'il a déjà invoqués devant la Cour de cassation cantonale et que celle-ci a rejetés par arrêt du 27 août 2004. Elle a en particulier relevé que le recourant n'a pas démontré la pertinence des preuves dont l'administration a été refusée en première instance, qu'il avait disposé de huit mois et demi avant l'ouverture des débats pour consulter le dossier, ce qui était suffisant, et que, à supposer que le refus d'un défenseur durant l'enquête menée par l'administration constituât une violation des droits de la défense, celle-ci avait été réparée. Sur ces points, le recourant expose une nouvelle fois son opinion; mais il ne discute pas la motivation de l'instance cantonale et ne démontre pas en quoi celle-ci serait erronée. Or l'affirmation d'un point de vue divergent ne satisfait pas aux exigences en matière de motivation d'un grief constitutionnel ou conventionnel. Les griefs sont irrecevables.
3. Le recourant fait valoir que la législation suisse en matière de tarifs sur l'importation des produits carnés viole les règles du GATT-OMC (RS 0.632.21) et de l'accord sur l'application des mesures sanitaires et phytosanitaires (annexe 1A.4 à l'accord instituant l'organisation mondiale du commerce, RS 0.632.20).
3.1 En ce qui concerne en premier lieu l'annexe 1A.4, le recourant a été condamné en vertu de l'art. 47 LFE, parce que la viande importée sans autorisation (art. 36 OITE; ordonnance concernant l'importation, le transit et l'exportation d'animaux et de produits animaux; RS 916.443.11) n'avait pas été soumise à la visite sanitaire de frontière (art. 41 OITE). Ces deux dispositions ont été édictées en application des art. 24 et 25 LFE auxquels renvoie l'art. 47 de la même loi.
Dans ses écritures, le recourant ne dit pas en quoi les critères de délivrance d'une autorisation ainsi que les conditions matérielles qui font l'objet du contrôle vétérinaire violeraient les règles fixées dans l'annexe 1A.4 précitée. Par ailleurs, le chiffre 3 de l'annexe C à l'annexe 1A.4, qui règle les procédures de contrôle d'inspection et d'homologation autorise expressément les Etats membres à effectuer une inspection raisonnable sur leur propre territoire. Le recourant n'indique pas non plus concrètement en quoi l'examen de l'autorisation et le contrôle vétérinaire ne seraient pas raisonnables au sens de cette disposition. Il s'ensuit que, insuffisamment motivé, le grief est irrecevable, sans qu'il soit nécessaire d'examiner de manière plus approfondie si les règles de droit international en cause sont directement applicables et, partant, si le recourant peut en déduire des droits en sa faveur (cf. <ref-ruling>, consid. 5b, p. 11).
3.2 Le recourant se réfère également aux art. III, VII et XI de l'accord général du 30 octobre 1947 sur les tarifs douaniers et le commerce (GATT; RS 0.632.21). L'art. III concerne cependant exclusivement les taxes et autres impositions intérieures, qui ne doivent pas frapper les produits importés plus lourdement que les produits nationaux similaires. Elle ne s'applique donc pas aux taxes à l'importation qui sont, en l'espèce, seules en cause. L'art. VII ne s'applique qu'aux importations réalisées sous contingent tarifaire, les droits de douane applicables aux importations hors contingent pouvant, au besoin, être fixés à un niveau élevé afin de renchérir les importations supplémentaires et de les rendre inintéressantes (ATF 128 II consid. 2b, spéc. p. 38). Quant à l'art. XI, il ne concerne que les restrictions quantitatives, par opposition aux restrictions tarifaires. Le grief est infondé.
3.3 Le recourant objecte en outre que la législation suisse en matière de tarifs sur l'importation des produits carnés viole le principe constitutionnel de l'égalité de traitement (art. 8 Cst.). Le Tribunal fédéral étant tenu d'appliquer les lois fédérales, il ne peut en examiner la constitutionnalité (art. 191 Cst.). Le grief est irrecevable.
4. Il résulte de ce qui précède que dans la mesure où il est recevable, le recours est infondé.
Le recourant supporte les frais de la procédure (art. 156 OJ).
II. Pourvoi en nullité
5. Le recourant se plaint d'une violation des règles en matière de prescription. Il soutient que la prescription de l'action pénale est acquise dès lors que le délai absolu serait échu.
5.1 Le pourvoi doit indiquer les motifs à l'appui du recours. Ces motifs doivent indiquer succinctement quelles sont les règles de droit violées et en quoi consiste la violation (art. 273 al. 1 let. b PPF). Le recourant doit démontrer concrètement pourquoi, dans le cas d'espèce, le droit fédéral a été violé. Il doit en particulier discuter la motivation de la décision attaquée. Il ne suffit pas d'affirmer que le droit fédéral a été mal appliqué, de citer des passages de doctrine ou de soulever des questions (<ref-ruling> consid. 5.1).
5.2 Le grief de la prescription a déjà été soulevé devant la Cour de cassation cantonale, qui l'a rejeté le 27 août 2004. Elle a relevé que la règle particulière de l'<ref-law> s'appliquait tant sous l'ancien que le nouveau droit (art. 333 al. 6 let. c CP), que le délai était de cinq ans sous l'ancien droit en vigueur jusqu'au 30 septembre 2002, que la prescription avait été interrompue plusieurs fois, qu'elle avait en outre été suspendue pendant la procédure d'assujettissement durant trois ans et cinq mois et qu'elle n'était donc pas acquise.
Le recourant ne discute pas cette motivation ni même n'indique quelle règle de droit fédéral aurait été mal appliquée. Il se limite à une affirmation. Le grief est irrecevable faute de motivation conforme aux exigences légales.
6. Le recourant invoque enfin une violation des art. 48 et 63 CP dans le cadre de la fixation du montant de l'amende à 250'000 francs.
6.1 Le maximum de l'amende en cas de contravention douanière aggravée correspond à trente fois le droit éludé ou compromis (art. 75 al. 1 et 2 LD). L'amende fixée est donc largement en-dessous du maximum légal. Le recourant ne le conteste pas, mais soutient en particulier qu'elle a été fixée en violation des critères de l'<ref-law> dès lors qu'il n'a pas été tenu compte de sa situation financière obérée.
A teneur de cette disposition, le juge fixera le montant de l'amende d'après la situation du condamné, de façon que la perte à subir par ce dernier constitue une peine correspondant à sa culpabilité. Pour apprécier la situation du condamné, il tiendra compte notamment du revenu et du capital, de l'état civil et des charges de famille, de la profession et du gain professionnel, de l'âge et de l'état de santé.
6.2 Dans un arrêt rendu en 1946, le Tribunal fédéral avait jugé que l'<ref-law> ne s'appliquait pas en matière d'amendes douanières. Selon cet arrêt, le calcul de l'amende douanière obéit à des règles qui ne se concilient pas avec les principes consacrés par cette disposition car l'amende douanière ne tend pas à l'expiation et à l'amendement du condamné comme en droit commun, mais, comme en droit fiscal, à réparer la perte fiscale et à protéger la collectivité. La répression serait en outre rendue presque illusoire si l'amende devait dépendre de la situation financière du condamné, la contrebande étant souvent l'industrie d'insolvables. Le Tribunal fédéral en a déduit que le législateur de 1937, en édictant l'<ref-law>, n'avait certainement pas songé à changer le régime antérieur consistant à fixer la peine sans se soucier de sa fortune ni de ses revenus, la loi sur les douanes contenant ainsi des dispositions implicites sur la matière, l'<ref-law> ne renvoyait pas à l'<ref-law> (ATF 72 IV 188; cf. ATF 74 IV 25).
Le 22 mars 1974, le législateur a adopté la loi fédérale sur le droit pénal administratif (DPA, RS 313.0). A l'origine du projet de loi, il y avait une motion tendant à la révision de la procédure pénale douanière (message du 21 avril 1971, FF 1971 I 1017). L'<ref-law> précise que les dispositions du code pénal sont applicables aux actes réprimés par la législation administrative fédérale, à moins que la DPA ou une loi administrative spéciale n'en dispose autrement. Par ailleurs, l'<ref-law> dit que les amendes n'excédant pas 5000 francs sont fixées selon la gravité de l'infraction et de la faute, sans qu'il soit nécessaire de tenir compte d'autres éléments d'appréciation. A ce sujet, le message relève que les opinions sur la portée et sur le but de l'amende douanière ont changé depuis le temps où a été rendu l'arrêt du Tribunal fédéral précité et que l'<ref-law> sera applicable en droit pénal administratif, y compris en droit pénal fiscal, pour les amendes dépassant 5000 francs (message, FF 1971 I 1030). La doctrine admet que l'<ref-law> est depuis lors pleinement applicable aux amendes administratives supérieures à 5000 francs (Jean Gauthier, Droit administratif et droit pénal, RDS 1971 II 354; Ernst Blumenstein / Peter Locher, System des Steuerrechts, 5e éd., Zurich 1995, p. 336 s.; cf. <ref-ruling> consid. 4a, 116 IV 262 consid. 3b/aa).
Le Tribunal fédéral a par la suite jugé que l'<ref-law> s'appliquait en cas de contravention douanière (art. 74 LD) en vertu du renvoi de l'<ref-law> et de l'<ref-law>. Le juge doit donc d'abord déterminer, selon les critères de l'<ref-law>, dans quelle mesure l'accusé doit être frappé d'une sanction pénale. Il doit ensuite, en fonction de la situation financière de l'accusé, fixer la quotité de l'amende de manière qu'il soit frappé dans la mesure adéquate. L'amende doit être déterminée en fonction de la situation financière au moment où elle est prononcée, afin que la sanction soit adéquate au moment où elle doit être subie (<ref-ruling> consid. 3).
6.3 En l'espèce, la Cour de cassation cantonale, reprenant les motifs du Tribunal correctionnel, a relevé que la situation financière du recourant était difficile à cerner; ses constatations sont minces. Elle a cependant tout de même retenu que le recourant n'avait probablement plus de fortune mais des dettes assez importantes et qu'il réalisait avec son épouse un revenu mensuel de 5000 à 6000 francs. L'amende de 250'000 francs correspond ainsi à quatre ans de revenu au moins. A défaut de fortune, ce revenu modeste, les dépenses nécessaires du couple une fois déduites, ne permet simplement pas au recourant de payer une amende d'un tel montant avant la cessation de son activité professionnelle pour raison d'âge. Il y a violation de l'<ref-law>.
Le Tribunal correctionnel a, au demeurant, motivé le montant de l'amende essentiellement par le fait, d'une part, que le recourant avait réalisé un bénéfice de plus d'un million de francs et qu'il ne convenait pas, dans ces circonstances, de prononcer une amende très réduite, au risque de faire croire que le crime paie, et, d'autre part, que certains de ses clients dans le trafic de viande avaient payé des amendes de plusieurs dizaines de milliers de francs, voire de 175'000 et 255'000 francs. Ces motifs sont étrangers à l'<ref-law>. C'est en particulier la confiscation (<ref-law>) et non la sanction pénale qui tend à empêcher le délinquant de tirer profit de l'infraction. Quant à l'égalité de traitement avec des coaccusés, elle implique aussi de tenir compte de la situation financière des diverses personnes concernées.
Le grief tiré d'une violation de l'<ref-law> est, partant, fondé. Il s'ensuit l'admission partielle du pourvoi. Les points autres que l'amende restent acquis.
7. Le pourvoi est partiellement admis; pour le surplus, il est irrecevable. Le recourant n'obtenant que partiellement gain de cause, il se justifie de ne pas percevoir d'émolument ni d'allouer d'indemnité.

Par ces motifs, le Tribunal fédéral prononce:
I. Recours de droit public
1. Le recours est rejeté dans la mesure où il est recevable.
2. Un émolument judiciaire de 2000 francs est mis à la charge du recourant.
II. Pourvoi en nullité
3. Le pourvoi est partiellement admis dans la mesure où il est recevable, l'arrêt attaqué est annulé et la cause est renvoyée à la cour cantonale pour nouveau jugement.
4. Il n'est pas perçu de frais ni alloué d'indemnité.
5. Le présent arrêt est communiqué en copie au recourant, au Ministère public du canton de Neuchâtel, à la Direction générale des douanes, au Ministère public de la Confédération et à la Cour de cassation pénale du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 23 novembre 2006
Au nom de la Cour de cassation pénale
du Tribunal fédéral suisse
Le président: Le greffier