Faits:
A. La société Y._ SA, de siège à A._, a pour but le commerce de graines, de plantons, d'oignons et de produits phytosanitaires et en particulier l'exploitation d'un commerce de graines dans un magasin à B._. Elle est inscrite au registre du commerce du canton de Fribourg depuis le 27 décembre 1978. C.X._, D.X._ et A.X._ sont inscrits au registre du commerce en tant qu'administrateurs de cette société depuis le 22 août 2006. Jusque-là, A.X._, commerçant à E._, s'occupait de la succursale spécialisée dans le commerce d'oignons sise à F._. En tant que gérant, il était responsable des achats et des ventes d'oignons en provenance de Suisse et de l'étranger.
B. Le 7 août 2006, la Direction du IIIème arrondissement des douanes, par son Service des enquêtes de Lausanne (actuellement: Section antifraude douanière de Lausanne), a dressé à la charge de A.X._ un procès-verbal final dans lequel il était notamment reproché au prénommé de s'être rendu coupable d'infractions aux législations fédérales sur les douanes et la taxe sur la valeur ajoutée, en faisant importer irrégulièrement des oignons, aulx et échalotes, entre le 12 janvier 2002 et le 17 décembre 2003.
Par décisions d'assujettissement à la prestation du même jour, la Direction du IIIème arrondissement des douanes a déclaré la société X._ SA et A.X._ solidairement assujettis au paiement d'un montant total de redevances d'entrée de 205'449 fr. 80, soit 199'913 fr. 75 de droits de douane et 5'536 fr. 05 de TVA.
A l'encontre de ces prononcés, la société X._ SA et A.X._ ont recouru à la Direction générale des douanes. Par décisions du 16 août 2007, cette dernière a partiellement admis les recours, en ce sens que les redevances d'entrée ont été réduites à 204'879 fr. 15, à savoir 199'629 fr. 40 de droits de douane et 5'249 fr. 75 de TVA.
C. La société X._ SA et A.X._ ont déféré ces décisions au Tribunal administratif fédéral. Par arrêt du 30 mars 2010, cette autorité a rejeté le recours de la société et partiellement admis celui de A.X._. Le Tribunal administratif fédéral a en effet considéré que ce dernier avait agi en tant qu'organe de la société, de sorte que celle-ci pouvait seule être qualifiée de mandante au sens du droit douanier. Par conséquent, seule la société pouvait être assujettie au paiement des redevances d'entrée, à l'exclusion de A.X._.
D. A l'encontre de cet arrêt, l'Administration fédérale des douanes a déposé un recours en matière de droit public auprès du Tribunal fédéral (affaire 2C_363/2010). Elle conclut à ce qu'il soit réformé en ce sens que A.X._ est assujetti solidairement au paiement de 199'629 fr. 40 de droits de douane et de 5'249 fr. 75 de TVA, sous suite de frais.
Le Tribunal administratif fédéral a renoncé à se déterminer sur cette écriture, alors que A.X._ a conclu à son rejet dans la mesure de sa recevabilité, sous suite de frais et dépens.
E. Par écriture parvenue au Tribunal fédéral le 12 mai 2010, A.X._ a formé un recours en matière de droit public à l'encontre de la décision rendue le 30 mars 2010 par le Tribunal administratif fédéral (affaire 2C_405/2010). Il conclut, sous suite de frais et dépens, à son annulation et, principalement, à ce que le procès-verbal final soit corrigé en ce sens que "seules les quantités reconnues" par lui en fassent l'objet; à titre subsidiaire, il demande que le dossier soit renvoyé pour nouvelle décision dans le sens des considérants.
L'Administration fédérale des douanes a conclu au rejet du recours dans la mesure de sa recevabilité, alors que le Tribunal administratif fédéral a renoncé à se déterminer.
F. La société X._ SA a également formé un recours en matière de droit public à l'encontre de l'arrêt du 30 mars 2010 (affaire 2C_406/2010). Elle conclut, sous suite de frais et dépens, à son annulation et, principalement, à ce qu'elle soit déclarée assujettie aux droits de douane et à la TVA "à hauteur de ce que dira le Tribunal fédéral au regard des 82 tonnes" pour lesquelles A.X._ a admis des irrégularités; à titre subsidiaire, elle demande que le dossier soit renvoyé pour nouvelle décision dans le sens des considérants.
L'Administration fédérale des douanes a conclu au rejet du recours dans la mesure de sa recevabilité, alors que le Tribunal administratif fédéral a renoncé à se déterminer.

Considérant en droit:
1. Les trois recours portent sur le même jugement, de sorte qu'il se justifie de joindre les causes et de ne prononcer qu'un seul arrêt (cf. <ref-law> et 24 al. 2 let. b de la loi de procédure civile fédérale du 4 décembre 1947 [RS 273]).
Affaire 2C_363/2010
2. L'Administration fédérale des douanes agit en vertu de l'<ref-law> à l'encontre d'un arrêt final (cf. <ref-law>) rendu par le Tribunal administratif fédéral (cf. <ref-law>). L'exception prévue à l'art. 83 let. l LTF n'entrant pas en ligne de compte ici et les autres conditions de recevabilité étant réunies, il y a lieu d'entrer en matière.
3. Aux termes de l'art. 12 al. 1 de la loi fédérale du 22 mars 1974 sur le droit pénal administratif (DPA; RS 313.0), lorsqu'à la suite d'une infraction à la législation administrative fédérale, c'est à tort qu'une contribution n'est pas perçue, la contribution non réclamée, ainsi que les intérêts, seront perçus après coup, alors même qu'aucune personne déterminée n'est punissable. L'<ref-law> précise qu'est assujetti à la prestation celui qui a obtenu la jouissance de l'avantage illicite, en particulier celui qui est tenu au paiement de la contribution. C'est en fonction du droit douanier et de la législation en matière de TVA qu'il convient de déterminer le cercle des personnes concernées par cette obligation.
4. Selon l'art. 132 al. 1 de la loi du 18 mars 2005 sur les douanes (LD; RS 631.0), les procédures douanières en suspens lors de l'entrée en vigueur de cette loi le 1er mai 2007 sont liquidées selon l'ancien droit, à savoir la loi fédérale du 1er octobre 1925 sur les douanes (aLD; RO 42 307 et les modifications ultérieures).
La loi fédérale du 12 juin 2009 régissant la taxe sur la valeur ajoutée (LTVA; RS 641.20) est entrée en vigueur le 1er janvier 2010. Les dispositions de l'ancien droit ainsi que leurs dispositions d'exécution demeurent toutefois applicables à tous les faits et rapports juridiques ayant pris naissance avant leur abrogation (<ref-law>). Ainsi, pour les opérations qui ont été effectuées avant le 1er janvier 2010, mais après l'entrée en vigueur de la loi fédérale du 2 septembre 1999 régissant la taxe sur la valeur ajoutée (aLTVA; RO 2000 1300 et les modifications ultérieures), cette dernière loi demeure applicable.
5. Le Tribunal administratif fédéral a considéré que A.X._ avait agi en tant qu'organe de la société X._ SA, de sorte que celle-ci pouvait seule être qualifiée de mandante au sens de l'art. 9 al. 1 aLD et par là être assujettie au paiement des droits de douane et de la TVA.
5.1 L'art. 9 aLD prévoit que les personnes qui transportent des marchandises à travers la frontière, ainsi que leurs mandants, sont assujettis au contrôle douanier (al. 1). L'employeur est responsable des actes commis par ses employés, ouvriers, apprentis ou domestiques dans l'accomplissement de leur travail, à moins qu'il ne prouve avoir pris tous les soins voulus pour faire observer les prescriptions par lesdites personnes (al. 2). Le cercle des assujettis aux droits de douane (art. 13 aLD) va au-delà de celui des personnes astreintes au contrôle douanier en vertu de l'art. 9 aLD (ERNST BLUMENSTEIN, Grundzüge des schweizerischen Zollrechts, 1931, p. 19 s.).
Initialement, le Tribunal fédéral avait calqué la notion de "mandant" du droit douanier sur celle du droit civil (ATF 62 I 30). Ultérieurement, il a affirmé que ce terme devait être compris de manière large, de sorte qu'il serait erroné de s'en tenir au sens qui lui est donné par le droit civil pour interpréter la portée de l'art. 9 aLD (<ref-ruling> consid. 4). La volonté d'assurer la perception des redevances douanières est un des éléments pris en compte par la jurisprudence pour se distancier du concept de "mandant" du droit civil (<ref-ruling> consid. 6a p. 199; récemment <ref-ruling> consid. 2.1.2 p. 219 s.). Différents arrêts (cf. p. ex. arrêt 2A.417/1999 du 27 octobre 1999 consid. 3) ont confirmé que les art. 9 et 13 aLD s'appliquent aux personnes physiques et qu'ils demeurent opposables à ces personnes même lorsqu'elles agissent en qualité d'organes d'une personne morale. Ces deux dispositions doivent en outre être interprétées de manière large, afin que toutes les personnes économiquement intéressées à l'importation ou à l'exportation des marchandises en cause répondent desdits droits (cf. arrêt 2C.586/1998 du 7 juillet 1999 consid. 6c). La question s'est également posée de savoir si des personnes morales pouvaient se voir opposer l'art. 9 al. 1 aLD à titre de transporteurs. Le Tribunal fédéral a d'abord nié cette possibilité (arrêt 2A.458/2004 du 3 décembre 2004 consid. 3.1), en relevant cependant que la qualité de mandant devait être interprétée largement et que l'employeur - qui peut être une personne morale - répond de toute manière en vertu de l'art. 9 al. 2 aLD (arrêt 2A.82/2005 du 23 août 2005 consid. 2.1.2). Il a par la suite considéré qu'il n'y avait pas lieu de limiter le cercle des mandants aux seules personnes physiques, des personnes morales pouvant également revêtir cette qualité (arrêt 2C_747/2009 du 8 avril 2010 consid. 5.3). Dans le même arrêt, le Tribunal fédéral a confirmé son interprétation large de la notion de "mandant", en considérant que celle-ci désigne toute personne qui recourt à un tiers pour faire passer la frontière à une marchandise. Il ne s'agit pas seulement de la personne qui conclut avec ce tiers un contrat de transport au sens du droit civil, mais plus généralement de celle qui est en fait à l'origine de l'importation, qui l'a provoquée ("veranlasst"; consid. 4.2 de l'arrêt en question et la jurisprudence citée).
L'interprétation large donnée par le Tribunal fédéral à la notion de mandant a également été décrite dans le Message du 15 décembre 2003 relatif à une nouvelle loi sur les douanes (FF 2004 557). Même si le nouveau droit ne recourt plus formellement à cette notion en raison des difficultés à l'interpréter, il n'en demeure pas moins que la nouvelle formulation correspond matériellement à la définition large qui en a été donnée (arrêt 2C_747/2009, précité, consid. 5.2).
S'agissant de la TVA, l'art. 75 al. 1 aLTVA dispose qu'est assujetti à l'impôt quiconque est assujetti aux droits de douane.
5.2 Les faits litigieux remontent à la période allant du 12 janvier 2002 au 17 décembre 2003. A ces dates, A.X._ n'était pas administrateur de la société X._ SA, puisqu'il n'a été inscrit en cette qualité au registre du commerce que le 22 août 2006. Selon l'arrêt entrepris - dont les constatations de fait lient le Tribunal de céans (cf. <ref-law>) -, il s'occupait, depuis une date non spécifiée, de la succursale spécialisée dans le commerce d'oignons, sise à F._, et était responsable, comme gérant, des achats et des ventes de cet article en provenance de Suisse et de l'étranger. Du moment qu'il était responsable notamment des achats en provenance de l'étranger, il y a lieu d'admettre que A.X._ a été à l'origine des importations effectuées durant la période en question et qu'il avait ainsi la qualité de mandant au sens de l'art. 9 al. 1 aLD. Contrairement à l'avis de l'autorité précédente, il n'importe pas qu'il ait été un organe (de fait) de la société X._ SA: selon la jurisprudence, les art. 9 et 13 aLD s'appliquent en premier lieu à des personnes physiques et demeurent applicables à leur égard lorsque celles-ci ont agi comme organes de personnes morales (voir notamment l'arrêt 2A.417/1999, précité, consid. 3a).
Du moment que A.X._ avait la qualité de mandant au sens de l'art. 9 al. 1 aLD, il était débiteur des droits de douane selon l'art. 13 al. 1 aLD et dès lors aussi de la TVA d'après l'art. 75 al. 1 aLTVA. Il est par conséquent tenu d'acquitter après coup ces redevances en vertu de l'<ref-law>. C'est donc à tort que l'instance précédente l'a exonéré du paiement de 199'629 fr. 40 de droits de douane et de 5'249 fr. 75 de TVA. Partant, A.X._ doit être déclaré assujetti au paiement des montants en question, solidairement avec la société X._ SA, le recours étant admis.
Affaire 2C_405/2010
6. L'art. 83 let. l LTF exclut le recours en matière de droit public dans la mesure où le litige porte sur la fixation des droits de douane d'après le classement tarifaire ou le poids des marchandises. Plus particulièrement, cette exception vise les cas où il s'agit de déterminer quel tarif ou quelle disposition du tarif est applicable, ou encore de préciser quel taux est applicable entre plusieurs taux prévus au même numéro du tarif (<ref-ruling> consid. 1 p. 271 s.). Il en va ainsi même si le classement tarifaire est effectué dans un autre but que la perception des droits de douane (<ref-ruling> consid. 2 p. 203 ss). Peu importe également que la solution du litige dépende de questions de droit ou de fait, d'autant que, dans ce domaine, il n'est souvent pas aisé de délimiter le fait du droit (<ref-ruling> consid. 2b p. 204; A. WURZBURGER, in Commentaire de la LTF, 2009, no 122 ad <ref-law>). La voie du recours en matière de droit public reste en revanche ouverte lorsqu'il ne s'agit pas de questions techniques portant sur la tarification elle-même, mais de questions de droit sortant de ce cadre (cf. p. ex. arrêt 2A.262/2002 du 7 janvier 2003 consid. 1.1 non pub. aux <ref-ruling>; <ref-ruling> consid. 1b p. 107; arrêt 2C_421/2007 du 21 décembre 2007 consid. 2; pour d'autres exemples, voir WURZBURGER, op. cit., no 123 ad <ref-law>).
En l'occurrence, le recours interjeté par A.X._ - qui remplit par ailleurs les autres conditions de recevabilité des art. 82 ss - doit être déclaré irrecevable dans la mesure où il tombe sous le coup de la clause d'exclusion de l'art. 83 let. l LTF. Cela vaut notamment en tant que le recourant conteste aussi bien les bases de calcul retenues que les différents taux appliqués.
7. Si on le comprend bien, le recourant soulève un grief relatif à l'importance des redevances objectivement éludées. Il semble craindre que cela n'influe ultérieurement sur le sort de la procédure pénale.
7.1 La loi fédérale sur le droit pénal administratif distingue entre deux genres de décisions susceptibles d'être prises par l'administration: elle prévoit d'une part la procédure d'assujettissement à une prestation ou à une restitution (<ref-law>) et d'autre part la procédure pénale caractérisée par l'émission d'un mandat de répression (<ref-law>) et la possibilité de déférer la décision à une juridiction pénale (<ref-law>).
En vertu des art. 64 al. 1 et 79 al. 1 DPA, il incombe à l'autorité pénale - administrative ou éventuellement judiciaire - de déterminer la responsabilité des personnes impliquées dans une infraction douanière. Dans la mesure où, notamment, il convient de savoir si un acte intentionnel a été commis, cette question échappe à l'autorité administrative chargée de se prononcer sur l'assujettissement. Celle-ci doit se limiter à fixer les droits objectivement éludés sous réserve d'une décision ou d'un jugement pénal reconnaissant la responsabilité des personnes impliquées (<ref-ruling> consid. 5c p. 99 s.). Aussi, plutôt que de se caractériser comme une décision d'assujettissement susceptible de faire l'objet d'une mesure d'exécution (cf. art. 12 al. 1 et 2 DPA), la décision en cause devient une simple décision de constat au sens de l'art. 124 al. 2 de l'ancienne ordonnance du 10 juillet 1926 relative à la loi sur les douanes (RS 6 517 et les modifications ultérieures; en vigueur jusqu'au 30 avril 2007) et sert à déterminer les limites de la procédure pénale en établissant les bases du calcul des redevances. A ce titre, elle doit indiquer les sortes de marchandises importées illégalement, leur quantité ainsi que le montant des droits d'entrée éludés qui résulte de l'application du tarif. L'autorité administrative ayant à fixer le cadre dans lequel l'autorité pénale aura à statuer, il lui est loisible de restreindre d'emblée le champ d'investigation du juge pénal en limitant la liste des marchandises pour lesquelles une éventuelle culpabilité du prévenu entre en considération. Ce procédé ne préjuge en rien de l'activité des autorités pénales; il restreint simplement leur marge de manoeuvre aux importations illicites mentionnées dans la décision de constat. Par ailleurs, la décision de constat limitée à une quote-part de l'ensemble des marchandises importées en fraude et des droits éludés n'interdit pas aux autorités pénales de ramener à un niveau inférieur les montants définitifs imputables à un contrevenant. En effet, la décision de constat établit le montant maximum que l'administration pourra éventuellement réclamer; l'autorité pénale pourra abaisser cette somme selon ses constatations relatives à la culpabilité. Selon l'issue de la procédure pénale, les chiffres arrêtés dans la décision de constat seront plus ou moins modifiés à la baisse et seuls les montants ainsi déterminés pourront faire l'objet d'une procédure d'exécution (<ref-ruling> consid. 3a et 3b p. 219 s.).
7.2 Les autorités pénales n'étant liées par la décision des autorités administratives relative aux montants des redevances objectivement éludées que dans la mesure décrite ci-dessus, les craintes du recourant sont largement infondées. Le grief soulevé, en tant que recevable, doit donc être rejeté.
8. Le recourant entend se plaindre du contenu et du mode de notification du procès-verbal final établi en application de l'<ref-law>. Il perd de vue ce faisant que, selon l'<ref-law>, aucun recours n'est recevable contre la notification du procès-verbal final et son contenu. De ce point de vue, le recours au Tribunal administratif fédéral était déjà irrecevable. Il en va de même du présent recours.
9. Pour le reste, dans la mesure où le recourant entendait se plaindre de l'administration des preuves lors de la procédure close par ce procès-verbal final, il lui incombait de saisir par le biais d'une plainte, dans les trois jours à compter de chaque refus d'administrer des preuves, le directeur ou le chef de l'administration concernée (art. 27 al. 1 en relation avec l'<ref-law>; cf. aussi <ref-ruling> consid. 6b p. 222 s.), puis, le cas échéant, la Cour des plaintes du Tribunal pénal fédéral (<ref-law>). En l'état, de tels griefs sont irrecevables devant le Tribunal fédéral (cf. <ref-ruling> consid. 6b et 6c p. 222 s.).
10. Les considérants qui précèdent conduisent au rejet du recours de A.X._, dans la faible mesure de sa recevabilité.
Affaire 2C_406/2010
11.
11.1 Le recours interjeté par la société X._ SA remplit les conditions de recevabilité des art. 82 ss, sous réserve de ce qui suit.
11.2 La recourante estime que le Tribunal administratif fédéral aurait commis un déni de justice en ne motivant pas le rejet des griefs 2 et 3 de son écriture du 11 octobre 2007, à laquelle elle renvoie. Or, un recourant ne peut se contenter de motiver son recours auprès du Tribunal fédéral en renvoyant à ses écritures antérieures (cf. <ref-law>; <ref-ruling> consid. 3.2 p. 400; arrêts 2C_272/2009 du 28 octobre 2009 consid. 1.3; 5A_578/2008 du 1er octobre 2008 consid. 2). On ne sait ainsi nullement sur quoi portaient les griefs prétendument passés sous silence par le Tribunal administratif fédéral. Ainsi formulé, le grief est irrecevable.
11.3 La recourante se plaint ensuite de ce que sa cause ait été jointe avec celle de A.X._. En principe, une décision de jonction de cause n'est pas de nature à causer un préjudice irréparable comme condition d'un recours immédiat en vertu de l'<ref-law> (arrêt 1B_214/2007 du 21 septembre 2007 consid. 3). Elle ne peut dès lors être attaquée avec le jugement final que dans l'unique hypothèse où elle influe sur le contenu de ce dernier (<ref-law>). Un tel résultat doit toutefois être motivé par le recourant, dans la mesure où il n'incombe pas au Tribunal fédéral de chercher un lien qui ne s'imposerait pas de façon évidente entre la décision incidente et le prononcé final attaqué devant lui. Se limiter à affirmer, comme le fait la recourante, que "les affaires méritaient un traitement séparé", n'est pas une motivation suffisante au regard de l'<ref-law>. Le grief est donc irrecevable, étant précisé qu'il est évident, dans le cas particulier, qu'il se justifiait pour des raisons pratiques de joindre les causes; le Tribunal fédéral a d'ailleurs procédé de même à la suite du dépôt de plusieurs recours en matière de droit public.
11.4 La recourante reprend enfin à son compte, sur plusieurs pages, sans même l'adapter à sa situation, l'argumentaire développé par A.X._ dans le cadre de l'affaire 2C_405/2010. Un tel mode de faire n'est pas admissible: il lui incombait d'expliquer précisément en quoi sa situation personnelle était affectée par le jugement entrepris. Le procédé consistant à reprendre le texte rédigé dans le cadre du recours de A.X._ ne satisfait nullement aux exigences de motivation de l'<ref-law>. Au demeurant, tous ces griefs se sont révélés clairement infondés, voire irrecevables pour la majorité d'entre eux, comme cela a été dit ci-dessus dans la cause 2C_405/2010.
11.5 Les considérants qui précèdent conduisent au rejet du recours de la société X._ SA, dans la faible mesure de sa recevabilité.
Frais et dépens
12. Le recours de l'Administration fédérale des douanes étant admis, ceux de A.X._ et de la société X._ SA étant rejetés dans la mesure de leur recevabilité, ces derniers supporteront les frais judiciaires, solidairement entre eux (cf. art. 66 al. 1 et 5 LTF). Il n'est pas alloué de dépens (cf. art. 68 al. 1 et 3 LTF).
Le Tribunal fédéral ne fera pas usage de la faculté prévue aux art. 67 et 68 al. 5 LTF et renverra la cause à l'autorité précédente pour qu'elle statue sur les frais et dépens de la procédure accomplie devant elle.

Par ces motifs, le Tribunal fédéral prononce:
1. Les causes 2C_363/2010, 2C_405/2010 et 2C_406/2010 sont jointes.
2. Le recours 2C_363/2010 est admis.
3. Le chiffre 2 de l'arrêt du Tribunal administratif fédéral du 30 mars 2010 est annulé. A.X._ est déclaré assujetti au paiement de 199'629 fr. 40 de droits de douane et de 5'249 fr. 75 de TVA solidairement avec la société X._ SA.
4. La cause est renvoyée au Tribunal administratif fédéral afin qu'il statue à nouveau sur le sort des frais et dépens de la procédure accomplie devant lui.
5. En tant que recevables, les recours 2C_405/2010 et 2C_406/2010 sont rejetés.
6. Les frais judiciaires, arrêtés à 8'000 fr., sont solidairement mis à la charge de A.X._ et de la société X._ SA.
7. Le présent arrêt est communiqué au mandataire des recourants et intimés, à l'Administration fédérale des douanes et au Tribunal administratif fédéral, Cour I.
Lausanne, le 6 octobre 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Zünd Vianin