Faits:
A. Les époux A.X._ et B.X._ sont domiciliés à Z._. Médecin-dentiste, A.X._ exploite un cabinet de _ dans la même ville.
A.X._ s'est affilié facultativement à la Fondation de prévoyance de la SSO pour les professions de la médecine dentaire avec effet au 1er janvier 1995. De 1995 à 1999, il a effectué des versements à cette institution, à titre de rachat d'années de cotisations, pour un montant total de 542'773 fr.
Par courrier du 3 décembre 1999, A.X._ a résilié le contrat de prévoyance avec effet au 31 décembre 1999. Deux prestations en capital de respectivement 203'175 et 699'496 fr. lui ont été versées les 1er et 2 février 2000. Cet argent a servi à acquérir une résidence secondaire à C._, au prix de 800'000 fr., et à payer le coût des rénovations (200'000 fr.), le solde étant financé par un emprunt bancaire. Les prestations en capital précitées ont été soumises à l'impôt cantonal et à l'impôt fédéral direct par décision du 23 mai 2000, entrée en force.
Les 5 et 9 février 2000, A.X._ a conclu un nouveau contrat de prévoyance, avec effet au 1er janvier 2000, dans le but de couvrir les risques de décès et d'invalidité. Durant l'année 2000, le prénommé n'a procédé à aucun versement à l'institution de prévoyance à titre de rachat. En revanche, il a effectué un rachat de 180'000 fr. en 2001 et un autre du même montant en 2002.
B. Par décisions de taxation du 5 novembre 2004, le Service des contributions du canton du Jura a fixé, pour l'année 2001, le revenu imposable des époux X._ à 615'700 fr. pour l'impôt fédéral direct et à 622'000 fr. pour l'impôt cantonal, la fortune imposable étant arrêtée à 694'000 fr., au taux de 1'134'000 fr. Pour l'année 2002, le revenu imposable a été fixé à 672'200 fr. pour l'impôt fédéral direct et à 678'500 fr. pour l'impôt cantonal; la fortune imposable a été arrêtée à 769'000 fr., au taux de 1'354'000 fr. Estimant que les versements de 180'000 fr. effectués en 2001 et 2002 à titre de rachat d'années de cotisations constituaient une évasion fiscale, le Service des contributions a réintégré ces montants dans le revenu imposable.
Les époux X._ ont déféré ces décisions à la Commission cantonale des recours du canton du Jura, qui a rejeté le recours par prononcé du 22 novembre 2006.
A l'encontre de cette décision, les époux X._ ont recouru au Tribunal cantonal du canton du Jura, qui les a déboutés par arrêt du 19 mars 2008. Cette autorité a confirmé que les versements litigieux étaient constitutifs d'évasion fiscale.
C. Agissant par la voie du recours en matière de droit public, les époux X._ demandent au Tribunal fédéral d'annuler l'arrêt du 19 mars 2008, de fixer leur revenu imposable 2001 et 2002 à respectivement 435'700 et 492'200 fr. (impôt fédéral direct) ainsi qu'à 442'000 et 498'500 fr. (impôt cantonal) et de renvoyer la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants, le tout sous suite de frais et dépens. Ils se plaignent de violations du droit fédéral.
L'autorité précédente propose de rejeter le recours dans la mesure où il est recevable, sous suite de frais. Le Service des contributions ainsi que l'Administration fédérale des contributions, Division principale de l'impôt fédéral direct, de l'impôt anticipé, des droits de timbre concluent au rejet du recours, sous suite de frais. La Commission cantonale des recours n'a pas pris formellement position, tout en se référant aux motifs de sa décision ainsi qu'aux considérants de l'arrêt attaqué.
Par courrier du 17 février 2009, les parties ont été informées de ce que la IIe Cour de droit public du Tribunal de céans allait tenir audience en leur cause, en date du 20 mars 2009. Il était précisé que l'audience était publique, mais qu'une demande tendant à exclure le public serait examinée par la Cour.
Dans une écriture du 27 février 2009, les recourants ont requis le "huis clos total".

Considérant en droit:
Il convient de se prononcer d'abord sur la question de la publicité de l'audience (ci-après I), avant d'examiner le fond de l'affaire (II).
I. Publicité de l'audience
1. 1.1 Faisant partie de la Section 9 "Procédure de jugement" et intitulé "Publicité", l'<ref-law> dispose ce qui suit:
"1 Les éventuels débats ainsi que les délibérations et votes en audience ont lieu en séance publique.
2 Le Tribunal fédéral peut ordonner le huis clos total ou partiel si la sécurité, l'ordre public ou les bonnes moeurs sont menacés, ou si l'intérêt d'une personne en cause le justifie.
3 [...]."
La disposition correspondante de l'ancienne loi fédérale d'organisation judiciaire, du 16 décembre 1943 (OJ; RS 3 521 ss et les modifications ultérieures; en vigueur jusqu'au 31 décembre 2006), était l'art. 17, qui disposait ce qui suit dans sa teneur en vigueur depuis respectivement le 15 février 1992 (al. 1) et le 1er octobre 1969 (al. 2 et 3):
"1 Les débats, les délibérations et les votations ont lieu en séance publique, exception faite des délibérations et votations des sections pénales, de la Chambre des poursuites et des faillites et, lorsqu'il s'agit d'affaires disciplinaires, des cours de droit public.
2 En matière d'impôts, les parties et leurs mandataires peuvent seuls assister aux débats, délibération et votations.
3 Le tribunal peut ordonner le huis clos total ou partiel dans l'intérêt de la sûreté de l'Etat, de l'ordre public ou des bonnes moeurs, ou lorsque l'intérêt d'une partie ou d'une personne en cause l'exige."
L'art. 17 al. 2 OJ était applicable aussi aux débats, délibérations et votations du Tribunal fédéral des assurances, dans la mesure où celui-ci statuait sur des prestations ou des cotisations d'assurance (art. 125 OJ).
Dans sa teneur originaire du 16 décembre 1943, l'art. 17 al. 1 OJ énonçait ceci:
"Sauf disposition contraire de la loi, les débats devant le tribunal et ses sections, ainsi que la délibération et les votations, ont lieu en séance publique; il est fait exception pour la délibération et les votations des sections pénales, de la chambre de droit administratif dans les affaires disciplinaires et de la chambre des poursuites et des faillites. En matière d'impôts, les parties et leurs mandataires peuvent seuls assister aux débats et à la délibération, lorsque le secret fiscal est prescrit par le droit fédéral."
Sous réserve de la ponctuation, le texte français de l'alinéa 2 correspondait à celui de l'alinéa 3 dans sa teneur en vigueur depuis le 1er octobre 1969.
1.2 Le secret fiscal est prévu par des dispositions des lois fiscales telles que, entre autres normes de droit fédéral, l'art. 110 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) et l'art. 39 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14).
Faisant partie du chapitre premier "Devoirs des autorités" du titre deuxième "Principes généraux de procédure" et intitulé "Secret fiscal", l'<ref-law> dispose ce qui suit:
"1 Les personnes chargées de l'application de la présente loi ou qui y collaborent doivent garder le secret sur les faits dont elles ont connaissance dans l'exercice de leur fonction ainsi que sur les délibérations des autorités et refuser aux tiers la consultation des dossiers fiscaux.
2 Des renseignements peuvent être communiqués dans la mesure où une base légale de droit fédéral le prévoit expressément."
Situé dans le chapitre 1 "Principes généraux et procédure de taxation" du titre 5 "Procédure" et intitulé "Obligations des autorités", l'<ref-law> a la teneur suivante:
"1 Les personnes chargées de l'exécution de la législation fiscale sont tenues de garder le secret. L'obligation de renseigner est réservée, dans la mesure où elle est prévue par une disposition légale fédérale ou cantonale.
2 [...].
3 [...]."
2. La question de la publicité des audiences en matière fiscale suppose d'interpréter l'<ref-law> et de déterminer ses rapports avec les dispositions qui instituent le secret fiscal.
2.1 La loi s'interprète en premier lieu selon sa lettre. Si le texte n'est pas absolument clair, si plusieurs interprétations de celui-ci sont possibles, il convient de rechercher quelle est la véritable portée de la norme, en la dégageant de tous les éléments à considérer, soit notamment des travaux préparatoires, du but de la règle, de son esprit, ainsi que des valeurs sur lesquelles elle repose ou encore de sa relation avec d'autres dispositions légales (<ref-ruling> consid. 5.1 p. 193; <ref-ruling> consid. 4 p. 277; <ref-ruling> consid. 5 p. 596).
2.2 L'art. 59 al. 1 et 2 LTF est issu de l'art. 55 du projet du Conseil fédéral (FF 2001 4281 ss, 4293), dont le texte français est identique (les textes allemand de l'alinéa 1 et italien de l'alinéa 2 présentent quelques divergences rédactionnelles par rapport à l'actuel art. 59). Selon le Message (Message concernant la révision totale de l'organisation judiciaire fédérale, du 28 février 2001, FF 2001 4000 ss), la règle de la publicité des audiences énoncée à l'art. 55 al. 1 du projet correspondait à celle de l'art. 17 al. 1 OJ. Sa portée en était toutefois considérablement réduite, du moment que le jugement rendu en audience, qui constituait la règle sous l'ancien droit (cf. art. 15 et 36b OJ, ce dernier a contrario), devenait l'exception, le principe étant désormais que le Tribunal fédéral statue par voie de circulation (art. 54 du projet; <ref-law>). D'après le Message, la publicité des délibérations et des votes du Tribunal fédéral, laquelle s'inscrit dans une longue tradition, se justifie pour les motifs suivants. D'abord, elle permet au public et notamment aux médias d'exercer un certain contrôle et de tenir compte ainsi d'une éventuelle défiance à l'égard d'un pouvoir excessif des juges suprêmes dans un Etat démocratique. Ensuite, le fait que les juges prennent position publiquement est de nature à accroître leur sentiment de responsabilité. En outre, la tenue d'une audience permet de rendre public un avis minoritaire, ce qui n'est guère possible dans une décision écrite, ou seulement de manière très limitée. Enfin, le fait que les parties à la procédure peuvent assister à l'examen par le tribunal de leur argumentation est de nature à renforcer leur confiance dans les institutions judiciaires (FF 2001 4101 s.).
Quant à l'art. 55 al. 2 du projet - qui correspond à l'<ref-law> -, il reprenait en substance l'art. 17 al. 3 OJ. Associée à la règle nouvelle du jugement par voie de circulation, cette disposition offrait suffisamment de possibilités d'exclure les parties ou le public de la procédure de jugement. Dans ces conditions, il n'était plus nécessaire de mentionner expressément les exceptions au principe de la publicité figurant à l'art. 17 al. 1 et 2 OJ (FF 2001 4102).
Selon les débats au Parlement, le principe de la publicité des audiences énoncé à l'art. 55 al. 1 du projet devait valoir pour l'ensemble des domaines du droit (proposition Hans Hess, BO 2003 CE 897). Le Conseil des Etats - suivant l'avis de sa Commission des affaires juridiques - a d'abord décidé de renoncer à ce principe s'agissant des délibérations et votes, ceux-ci ne devant plus être publics que si le président de la cour l'ordonne ou si un juge le demande. Concernant l'alinéa 2 de l'art. 55, il a en revanche adhéré au projet du Conseil fédéral (BO 2003 CE 897 s.). A la suite du changement à la tête du Département fédéral de justice et police, le Conseil fédéral a proposé de revenir au principe de la publicité des délibérations et votes (al. 1 de l'art. 55), ce que le Conseil national a accepté. L'alinéa 2 a été adopté conformément à la décision du Conseil des Etats (BO 2003 CN 1593). Enfin, ce dernier s'est rallié à la décision du Conseil national s'agissant de l'alinéa 1 (BO 2005 CE 128).
2.3 En comparant l'<ref-law> à l'art. 17 OJ, la doctrine considère que le principe de la publicité des audiences vaut, désormais, pour l'ensemble des domaines du droit, y compris les matières - dont le droit fiscal - dans lesquelles l'art. 17 al. 1 et 2 OJ prévoyait le huis clos total ou partiel. Dans ces matières, la publicité des audiences n'est donc plus limitée de manière générale de par la loi, mais le huis clos peut être ordonné, dans chaque cas particulier, aux conditions de l'<ref-law> (Heinz Aemisegger, öffentlichkeit der Justiz, in Neue Bundesrechtspflege, 2007, p. 375 ss, 394; Michael Beusch, Die Einheitsbeschwerde im Steuerrecht, IFF Forum für Steuerrecht 2007, p. 3 ss, 7; Benoît Bovay, Les dispositions générales de procédure, in La nouvelle loi sur le Tribunal fédéral, 2007, p. 27 ss, 45; Heimgartner/ Wiprächtiger, in Basler Kommentar, Bundesgerichtsgesetz, 2008, nos 35, 53 et 71 ad <ref-law>; Peter Karlen, Das neue Bundesgerichtsgesetz, 2006, p. 31; Nicolas von Werdt, in Bundesgerichtsgesetz, 2007, no 11 ad <ref-law>; Zweifel/Casanova, Schweizerisches Steuerverfahrensrecht, Direkte Steuern, 2008, § 25 no 38).
Certains auteurs précisent que le secret fiscal ne fait pas obstacle à la publicité des audiences; il peut en être tenu compte en ordonnant le huis clos aux conditions de l'<ref-law> ou en ne citant pas les noms des personnes en cause lors de l'audience publique (Heimgartner/Wiprächtiger, op. cit., no 72 ad <ref-law>). L'<ref-law> constituerait une base légale suffisante pour lever le secret fiscal (Beusch, op. cit., p. 6 s.).
S'agissant des procédures fiscales à caractère pénal, il est admis que l'obligation de garder le secret connaît une exception, dans la mesure où l'art. 6 par. 1 CEDH prescrit la publicité des débats et du prononcé du jugement. La doctrine considère cependant que le contribuable peut renoncer en tout cas à la publicité des débats. Il en va différemment lorsque, s'agissant de délits fiscaux, la procédure pénale cantonale applicable en vertu de l'<ref-law> prévoit la publicité de l'audience. Dans ce cas, le contribuable n'a pas la faculté de renoncer à cette publicité; il appartient au tribunal d'ordonner le huis clos, décision qui ne peut être prise qu'à certaines conditions, à savoir notamment dans l'intérêt de la moralité, de l'ordre public ou de la sécurité ou aux fins de protéger la sphère privée, conformément à l'art. 6 par. 1 2e phrase CEDH (Zweifel/Casanova, op. cit., § 10 no 6 spéc. note de bas de page 452; Martin Zweifel, in Kommentar zum schweizerischen Steuerrecht, Bundesgesetz über die direkte Bundessteuer, 2e éd., 2008, no 13 ad <ref-law>; cf. aussi Richner/Frei/Kaufmann/Meuter, Kommentar zum harmonisierten Zürcher Steuergesetz, 2e éd., 2006, no 17 ad § 120; Andrea Pedroli, in Commentaire romand, Impôt fédéral direct, 2008, no 18 ad <ref-law>).
2.4 L'étude de la réglementation de la publicité des audiences du Tribunal fédéral dans les causes de nature fiscale montre l'évolution suivante. A l'origine, la loi d'organisation judiciaire permettait aux seules parties et à leurs mandataires d'assister aux audiences, si l'affaire était couverte par le secret fiscal institué par le droit fédéral (art. 17 al. 1 OJ dans sa teneur du 16 décembre 1943). Dans sa teneur en vigueur à partir du 1er octobre 1969, la loi a étendu la règle du huis clos partiel (publicité limitée aux parties et à leurs mandataires) à l'ensemble des affaires fiscales (cf. Jean-François Poudret, Commentaire de la loi fédérale d'organisation judiciaire, 1990, no 3 ad art. 17 OJ), la référence au secret fiscal étant supprimée (art. 17 al. 2 OJ dans sa nouvelle teneur). Il n'est cependant pas douteux que la ratio legis de cette restriction de la publicité demeurait la protection du secret fiscal. Le passage à la loi sur le Tribunal fédéral, avec effet au 1er janvier 2007, marque un tournant. En effet, comme cela ressort de la genèse de l'<ref-law> (consid. 2.2) et conformément à l'opinion largement majoritaire sinon unanime de la doctrine (consid. 2.3), le législateur a renoncé à restreindre de manière générale et de plein droit la publicité des audiences dans certains domaines juridiques - dont le droit fiscal -, une limitation de la publicité ne pouvant dès lors plus intervenir que sur décision du Tribunal fédéral dans un cas particulier, aux conditions posées par l'<ref-law>. Cette généralisation de la publicité des audiences s'inscrit dans la tendance à plus de transparence de l'activité judiciaire (art. 30 al. 3 Cst.; art. 6 par. 1 CEDH; art. 14 al. 1 du Pacte international relatif aux droits civils et politiques [RS 0.103.2]) et administrative (loi fédérale du 17 décembre 2004 sur le principe de la transparence dans l'administration; LTrans; RS 152.3). D'un point de vue téléologique, elle procède de l'idée que les motifs de la publicité des délibérations et des votes (cf. consid. 2.2 et <ref-ruling> consid. 8.1 p. 107, 119 Ia 99 consid. 4a p. 104 et la jurisprudence citée) valent aussi dans les domaines du droit où cette publicité était limitée de manière générale sous le régime de la loi d'organisation judiciaire.
S'agissant en particulier du domaine fiscal, la généralisation du principe de la publicité des audiences se justifie d'autant plus que cette publicité est déjà prévue, en matière de droit pénal fiscal, par le droit conventionnel (art. 6 par. 1 CEDH). Or, il est fréquent que les affaires de cette nature soulèvent de manière accrue des questions de protection de la sphère privée et l'on comprendrait mal que les causes "de pur droit fiscal" ne soient pas jugées en audience publique, alors qu'elles posent souvent moins problème à cet égard. Il est vrai, d'un autre côté, que, même dans les affaires de droit pénal fiscal, l'art. 6 par. 1 CEDH n'impose pas la publicité des délibérations et des votes du Tribunal fédéral: d'une part, cette disposition prescrit seulement la publicité des débats et du prononcé du jugement; d'autre part, elle exige que le justiciable soit entendu publiquement au moins devant une instance judiciaire dotée d'un plein pouvoir d'examen en fait et en droit (cf. Mark E. Villiger, Handbuch der Europäischen Menschenrechtskonvention, 2e éd., 1999, nos 440 et 444), ce qui n'est pas le cas du Tribunal fédéral en raison de l'<ref-law>.
Au demeurant, en termes de protection de la sphère privée, la publicité des audiences du Tribunal fédéral présente souvent moins de difficultés, du fait qu'il examine essentiellement des questions de droit, en statuant en principe sur la base des faits établis par l'autorité précédente (<ref-law>).
Même s'il ne tient plus compte du secret fiscal en limitant de manière générale la publicité des audiences, le nouveau droit ne se trouve pas nécessairement en contradiction avec les dispositions qui instituent l'obligation de garder le secret, de sorte qu'il ne devrait pas y avoir de conflit de lois irréductible entre les normes en question. L'<ref-law> permet en effet de tenir compte du secret fiscal, dans la mesure où il habilite le Tribunal fédéral à ordonner le huis clos total ou partiel notamment si "l'intérêt d'une personne en cause" le justifie (al. 2). Il ressort clairement du Message que c'est de cette manière que le nouveau droit prend en considération le besoin éventuel de limiter la publicité dans les domaines qui étaient visés par l'art. 17 al. 1 et 2 OJ (cf. consid. 2.2).
Ainsi, en vertu de l'<ref-law>, les audiences du Tribunal fédéral sont en principe publiques aussi dans les affaires de nature fiscale. Il convient à présent d'examiner s'il y a lieu, dans le cas particulier, d'ordonner le huis clos en application de l'<ref-law>.
3. 3.1 En vertu de l'<ref-law>, le Tribunal fédéral peut ordonner le huis clos total ou partiel si la sécurité, l'ordre public ou les bonnes moeurs sont menacés, ou si l'intérêt d'une personne en cause le justifie. Il appartient au Tribunal de prendre ces mesures, d'office ou sur requête. La décision suppose une pesée des intérêts entre, d'une part, les biens de police ou l'intérêt menacés et, d'autre part, l'intérêt à ce que l'audience soit publique. Cette publicité n'existe pas seulement dans l'intérêt des parties au procès, mais elle présente plus largement un intérêt public (cf. <ref-ruling> consid. 8.1 p. 107). Par conséquent, les parties à la procédure n'ont pas un droit à obtenir, sur requête, le huis clos (cf. <ref-ruling> consid. 2a p. 100 s. en relation avec l'art. 6 par. 1 CEDH; Gerold Steinmann, in Die schweizerische Bundesverfassung, 2e éd., 2008, no 36 ad art. 30 Cst., s'agissant de l'art. 30 al. 3 Cst.). Au vu de l'importance du principe de la publicité des audiences, le huis clos ne doit être ordonné que si des motifs prépondérants tirés de la protection des biens de police précités ou d'intérêts privés l'imposent clairement (<ref-ruling> consid. 8.1 p. 107 s.). La doctrine se prononce ainsi en faveur d'une interprétation restrictive de l'<ref-law> (Yves Donzallaz, Loi sur le Tribunal fédéral, 2008, no 1634; Heimgartner/Wiprächtiger, op. cit., nos 55 et 69 ad <ref-law>; Spühler/Dolge/Vock, Kurzkommentar zum Bundesgerichtsgesetz, 2006, no 2 ad <ref-law>).
Le motif de restriction de la publicité de l'audience tiré de l'"intérêt d'une personne en cause" tend à protéger la sphère privée (von Werdt, op. cit., no 11 ad <ref-law>) et la personnalité (Donzallaz, op. cit., no 1635). Il peut dès lors être mis en relation avec les art. 8 CEDH (Heimgartner/Wiprächtiger, op. cit., no 66 ad <ref-law>) et 13 Cst. (cf. <ref-ruling> consid. 2a p. 101 sous l'angle du droit constitutionnel non écrit de la liberté personnelle, dont la protection de la sphère privée représentait un aspect). L'<ref-law> peut également être mis en rapport avec l'art. 6 par. 1 CEDH qui permet de restreindre la publicité du prononcé du jugement notamment lorsque "la protection de la vie privée des parties au procès" l'exige. Au demeurant, le motif de restriction de la publicité en question tend également à protéger les secrets d'affaires (Donzallaz, loc. cit.).
Le droit au respect de la vie privée au sens de l'art. 13 Cst. protège l'identité, les relations sociales et les comportements intimes de chaque personne physique, l'honneur et la réputation, ainsi que notamment toutes les informations se rapportant à une personne qui ne sont pas accessibles au public (art. 13 al. 2 Cst.), en particulier les informations relatives aux dossiers de procédures civiles, pénales ou administratives, qui porteraient atteinte à sa considération sociale (arrêt 2P.83/2005 du 26 janvier 2006 consid. 2.1, JdT 2006 I 492). Le Tribunal fédéral a jugé que la publication dans la feuille officielle d'un canton du nom d'un débiteur ayant fait l'objet d'une saisie infructueuse portait atteinte à la liberté personnelle, dans la mesure où elle affectait la réputation sociale de cette personne ainsi que de ses proches, sans qu'elle puisse se justifier par un intérêt public prépondérant (<ref-ruling> consid. 3c-d p. 57 s.). En revanche, s'agissant de la publicité d'un registre fiscal mentionnant le revenu et la fortune imposables des contribuables, sans autres indications, le Tribunal de céans a estimé que les conditions d'une restriction de la liberté individuelle étaient réunies; il n'était donc pas nécessaire de trancher la question de savoir si cette liberté subissait une atteinte (<ref-ruling> consid. 5 p. 177 ss), ce qui paraissait douteux (consid. 4e du même arrêt, non pub. aux ATF, mais in EuGRZ 1999 p. 53).
3.2 Dans le cas particulier, les recourants ont requis le "huis clos total" dans leur écriture du 27 février 2009, en indiquant seulement que le dossier contenait des données précises et chiffrées sur leurs revenus et leur fortune, qui relevaient de leur sphère privée, de sorte qu'il était dans leur intérêt que ces données ne soient pas divulguées. Aucun autre motif de restreindre la publicité de l'audience n'est invoqué par les recourants ni ne ressort du dossier. Par conséquent, seul le motif tiré de l'intérêt des recourants doit être examiné.
Le revenu et la fortune des recourants sont mentionnés dans le rapport devant servir de base aux délibérations, mais sans aucune indication quant à leur composition. De même, les actes juridiques des recourants en matière de prévoyance professionnelle y sont décrits et doivent être appréciés sous l'angle de l'évasion fiscale. Il n'apparaît pas que ces informations fassent partie de la sphère intime des recourants et que leur divulgation en audience soit de nature à porter atteinte à la considération sociale de ceux-ci. Au demeurant, même si l'on admet qu'il s'agit de données protégées par l'art. 13 Cst., l'atteinte causée par la publicité des délibérations et des votes remplit les conditions dont l'art. 36 Cst. fait dépendre la restriction d'un droit fondamental. En effet, l'<ref-law> constitue une base légale suffisante. Ensuite, le principe de la publicité poursuit, ainsi qu'il a été dit, aussi un intérêt public. Enfin, le fait de mentionner, lors de l'audience, les informations précitées, représente une atteinte proportionnée au but poursuivi.
Au vu de ce qui précède, la requête de huis clos doit être rejetée et il convient d'examiner le fond de la cause en audience publique.
II. Fond
4. 4.1 Selon l'<ref-law>, le recours contre une décision doit être interjeté devant le Tribunal fédéral dans les 30 jours qui suivent l'expédition complète.
D'après l'<ref-law>, les décisions qui peuvent faire l'objet d'un recours devant le Tribunal fédéral doivent être notifiées aux parties par écrit. Une notification irrégulière ne doit entraîner aucun préjudice pour les parties (cf. arrêt 5A_368/2007 du 18 septembre 2007, consid. 2; cf. aussi <ref-law>).
4.2 Dans le cas particulier, il est constant que l'acte judiciaire contenant l'arrêt attaqué, daté du 19 mars 2008, a été remis le lendemain, par erreur, à une autre étude que celle du conseil des recourants (cf. courrier de la Poste suisse du 11 juin 2008, pièce jointe no 4 et pièce jointe no 8). Selon les indications non contredites contenues dans le recours, le mandataire des recourants n'a eu connaissance de l'existence de l'arrêt du 19 mars 2008 qu'à la réception, le 27 mai 2008, d'un courrier daté du 23 mai 2008, par lequel le Tribunal cantonal lui retournait une pièce produite dans la procédure close par l'arrêt en question. Le même jour, soit le 27 mai 2008, le conseil des recourants s'est fait envoyer une télécopie de la décision du 19 mars 2008, qui lui a en outre été notifiée, à sa demande, par courrier postal du 10 juin 2008.
Le recours a été remis à la poste le 24 juin 2008. Par conséquent, que l'on fasse partir le délai de 30 jours de l'<ref-law> le 27 mai 2008, date à laquelle le conseil des recourants a eu connaissance de l'existence de la décision attaquée et s'en est fait adresser une télécopie, ou le 10 juin 2008, lorsque cette décision lui a été notifiée par la voie postale, ce délai a été observé. Partant, le recours a été formé en temps utile.
4.3 Au surplus, interjeté par des parties directement touchées par la décision et qui ont un intérêt digne de protection à son annulation ou sa modification (cf. <ref-law>), le recours, dirigé contre une décision rendue dans une cause de droit public (cf. <ref-law>) par une autorité cantonale de dernière instance (cf. art. 86 al. 1 lettre d LTF), est en principe recevable, puisqu'il a été déposé en la forme (<ref-law>) prévue par la loi et qu'aucune des exceptions prévues à l'<ref-law> n'est réalisée. De plus, il porte sur le traitement fiscal, tant pour l'impôt fédéral direct que pour l'impôt cantonal des périodes fiscales 2001 et 2002, des versements que le recourant a effectués aux fins de rachat d'années de cotisations pour sa prévoyance professionnelle, matière qui est régie par l'art. 9 al. 2 lettre d LHID. Cette disposition figurant au deuxième titre, chapitre deux de ladite loi, la voie du recours en matière de droit public est également ouverte en vertu de l'<ref-law> (sur le rapport entre cette disposition et la loi sur le Tribunal fédéral, cf. <ref-ruling> consid. 1.3 p. 189).
a) Impôt fédéral direct
5. 5.1 Conformément à l'art. 4 al. 1 de la loi fédérale du 25 juin 1982 sur la prévoyance professionnelle vieillesse, survivants et invalidité (LPP; RS 831.40), les indépendants qui ne sont pas soumis à l'assurance obligatoire peuvent se faire assurer à titre facultatif (cf. aussi art. 113 al. 2 lettre b Cst.). Les dispositions sur l'assurance obligatoire, en particulier les limites de revenu fixées à l'article 8 LPP, s'appliquent par analogie à l'assurance facultative (<ref-law>). Dans la mesure où les statuts ou les règlements le prévoient expressément, les indépendants peuvent également verser en sus des contributions ordinaires au fonds de prévoyance, des contributions extraordinaires uniques dans le but de racheter des années de cotisations. Le rachat d'années d'assurance sert en premier lieu à l'amélioration des prestations d'assurance légales ou réglementaires dues par les institutions de prévoyance au moment de la survenance du risque assuré (Hans-Ulrich Stauffer, Berufliche Vorsorge, 2005, no 1757 p. 653).
Introduit par la loi fédérale du 19 mars 1999 sur le programme de stabilisation 1998 (RO 1999 2374 ss) avec effet au 1er janvier 2001, l'art. 79a al. 1 et 2 LPP dans sa teneur en vigueur jusqu'au 31 décembre 2005 prévoit que, pour tous les rapports de prévoyance, l'institution de prévoyance peut autoriser l'assuré à racheter les prestations réglementaires jusqu'à concurrence du montant supérieur fixé à l'art. 8 al. 1 (à savoir 74'160 fr. pour les années 2001 et 2002 [cf. Stauffer, op. cit., no 413 p. 153]), multiplié par le nombre d'années entre l'entrée dans l'institution et l'âge réglementaire de la retraite. Les nouvelles dispositions (voir à ce sujet la circulaire no 3 de l'Administration fédérale des contributions, du 22 décembre 2000, intitulée "Limites du rachat dans la prévoyance professionnelle selon la loi fédérale du 19 mars 1999 sur le programme de stabilisation 1998", Archives 69 p. 717 ss) ont été précisées à l'art. 60a de l'ordonnance sur la prévoyance professionnelle vieillesse, survivants et invalidité (OPP 2; RS 831.441.1), introduit par la novelle du 27 novembre 2000 (RO 2000 3086 s.) avec effet au 1er janvier 2001 et demeuré en vigueur dans cette teneur jusqu'au 31 décembre 2005.
La révision partielle du 3 octobre 2003 de la loi fédérale sur la prévoyance professionnelle vieillesse, survivants et invalidité (1ère révision LPP; RO 2004 1677 ss) a modifié les règles limitant les rachats (cf. à ce sujet Stauffer, op. cit., nos 1135 ss). L'<ref-law>, entré en vigueur le 1er janvier 2006, pose désormais le principe selon lequel l'institution de prévoyance ne peut permettre le rachat que jusqu'à hauteur des prestations réglementaires.
5.2 Les cotisations que les salariés et les indépendants versent à des institutions de prévoyance conformément à la loi ou aux dispositions réglementaires sont déductibles des impôts directs de la Confédération, des cantons et des communes (<ref-law>). Cette disposition a été reprise par l'art. 33 al. 1 lettre d LIFD selon lequel les primes, cotisations et montants légaux, statutaires ou réglementaires versés à des institutions de la prévoyance professionnelle sont déduits du revenu. Les déductions autorisées par cet article valent pour les versements périodiques et les versements uniques pour le rachat d'années d'assurance, qu'ils soient effectués dans le domaine de la prévoyance obligatoire ou de la prévoyance surobligatoire (cf. <ref-ruling> consid. 4.2 p. 633). Toutefois, les contributions de l'assuré pour le rachat d'années d'assurance ne sont déductibles que pour autant que les prestations de vieillesse commencent à courir ou deviennent exigibles après le 31 décembre 2001 (<ref-law>).
6. 6.1 Selon un arrêt du Tribunal fédéral des assurances du 22 août 1991, il n'existe aucune restriction légale au droit d'un indépendant assuré à titre facultatif d'exiger le paiement en espèces du montant de sa prestation de libre passage lorsqu'il décide de mettre fin à son assurance auprès d'une institution de prévoyance (<ref-ruling> consid. 2c p. 164 s.). De ce point de vue, la situation d'un indépendant assuré à titre facultatif diffère de celle d'un salarié assuré obligatoirement, qui ne peut exiger le paiement en espèce que dans des situations bien déterminées, à savoir notamment lorsqu'il quitte définitivement la Suisse ou lorsqu'il s'établit à son compte et n'est ainsi plus soumis à la prévoyance professionnelle obligatoire (cf. actuellement art. 5 al. 1 de la loi fédérale du 17 décembre 1993 sur le libre passage dans la prévoyance professionnelle vieillesse, survivants et invalidité [loi sur le libre passage, LFLP; RS 831.42]). A cet égard, les dispositions sur l'assurance obligatoire ne s'appliquent pas aux assurés à titre facultatif, contrairement à la règle générale de l'<ref-law> (<ref-ruling> consid. 2c p. 165).
La 1ère révision LPP a ajouté à l'<ref-law> un alinéa 4 aux termes duquel "les cotisations et montants versés par des indépendants à une institution de prévoyance professionnelle doivent être affectés durablement à la prévoyance professionnelle". Entrée en vigueur le 1er janvier 2005, cette disposition a été introduite sur proposition de la Commission de la sécurité sociale et de la santé du Conseil national (sur la genèse de cette disposition, cf. <ref-ruling> ss). Elle doit prévenir certains comportements abusifs consistant, pour une personne assurée à titre facultatif, à se faire verser en espèces le capital de prévoyance constitué en bénéficiant d'avantages fiscaux, afin de l'affecter à la consommation, soit dans un but étranger à la prévoyance professionnelle. La nouvelle disposition ne doit toutefois pas empêcher un indépendant de retirer son capital de prévoyance pour acquérir la propriété de son logement ou effectuer des investissements servant à maintenir la valeur de son entreprise (cf. BO 2003 N 624, proposition Bortoluzzi). Sur la base d'une interprétation historique et systématique de l'<ref-law>, le Tribunal fédéral est ainsi parvenu à la conclusion que cette disposition n'empêche pas le versement anticipé ou le paiement en espèces du capital de prévoyance dans des limites clairement établies, notamment aux fins d'investissements dans l'entreprise (<ref-ruling> consid. 4.4 p. 180).
6.2 La loi fédérale du 17 décembre 1993 sur l'encouragement à la propriété du logement au moyen de la prévoyance professionnelle (RO 1994 2372 ss), entrée en vigueur le 1er janvier 1995, a introduit les art. 30a et suivants, qui font partie des dispositions régissant l'assurance obligatoire des salariés. Selon l'<ref-law>, l'assuré peut, au plus tard trois ans avant la naissance du droit aux prestations de vieillesse, faire valoir auprès de son institution de prévoyance le droit au versement d'un montant pour la propriété d'un logement pour ses propres besoins. La réglementation de détail est contenue dans l'ordonnance du Conseil fédéral du 3 octobre 1994 sur l'encouragement à la propriété du logement au moyen de la prévoyance professionnelle (OEPL; RS 831.411).
D'après l'<ref-law>, les fonds de la prévoyance professionnelle peuvent être utilisés notamment pour acquérir ou construire un logement en propriété (lettre a) et pour rembourser des prêts hypothécaires (lettre c). Par propres besoins, on entend l'utilisation par la personne assurée d'un logement à son lieu de domicile ou de séjour habituel (<ref-law>; cf. aussi Riemer/Riemer-Kafka, Das Recht der beruflichen Vorsorge in der Schweiz, 2e éd., 2006, § 7 no 134). La circulaire no 17 de l'Administration fédérale des contributions, du 3 octobre 2007, intitulée "Encouragement à la propriété du logement au moyen de la prévoyance professionnelle" (http://www.estv.admin.ch/f/dvs/kreisschreiben/1-017-D-2007-f.pdf [consulté le 20 mars 2009]), précise que les fonds ne peuvent servir à l'acquisition d'une résidence secondaire ou d'une maison de vacances (pt II.1).
La 1ère révision LPP a introduit un art. 79b intitulé "Rachat", entré en vigueur le 1er janvier 2006. Aux termes de l'art. 79b al. 3 2ème phrase LPP, lorsque des versements anticipés ont été accordés pour l'encouragement à la propriété, des rachats facultatifs ne peuvent être effectués que lorsque ces versements anticipés ont été remboursés. Jusqu'à l'entrée en vigueur de cette disposition, des rachats pouvaient être effectués même en cas de retrait anticipé au titre de l'encouragement à la propriété; il n'était pas nécessaire d'avoir auparavant reconstitué le capital retiré (cf. circulaire no 23 de l'Administration fédérale des contributions, du 5 mai 1995, intitulée "Encouragement à la propriété du logement au moyen de la prévoyance professionnelle", Archives 64 p. 132 ss, pt II.2.2). L'<ref-law> (en vigueur jusqu'au 31 décembre 2005) limitait certes la déductibilité des rachats au plan fiscal, mais dans une mesure moindre que l'<ref-law>. Selon l'<ref-law>, en effet, les montants rachetés peuvent être déduits du revenu imposable dans la mesure où, ajoutés aux versements anticipés (au titre de l'encouragement à la propriété), ils ne dépassent pas les prestations de prévoyance maximales prévues par le règlement de l'institution de prévoyance.
6.3 La prestation de sortie de l'indépendant facultativement affilié à une institution de prévoyance, qui rompt son rapport de prévoyance, constitue une prestation en capital au sens de l'<ref-law>. Elle est soumise séparément à un impôt annuel entier calculé sur la base de taux représentant le cinquième des barèmes inscrits à l'<ref-law> (art. 38 al. 1 et 2 LIFD; Gladys Laffely Maillard, in Commentaire romand, Impôt fédéral direct, 2008, no 16 ad art. 22 et no 5 ad <ref-law>). Il en va de même du versement anticipé au titre de l'encouragement à la propriété du logement (art. 83a al. 1 et 5 LPP, 38 al. 1 et 2 LIFD; circulaire no 23, précitée, pt II.2.1).
7. Selon la jurisprudence, il y a évasion fiscale lorsque les conditions suivantes sont réunies:
a) la forme juridique choisie par le contribuable paraît insolite, inappropriée ou étrange, en tout cas inadaptée au but économique poursuivi;
b) ce choix a été opéré abusivement, dans le seul but d'économiser des impôts qui seraient dus si les rapports de droit avaient été aménagés de façon appropriée;
c) le procédé conduirait effectivement à une notable économie d'impôt s'il était admis par l'autorité fiscale.
Lorsque ces conditions sont remplies, l'imposition doit être fondée non pas sur la forme juridique choisie par le contribuable, mais sur la situation qui aurait été appropriée au but économique poursuivi par celui-ci (<ref-ruling> consid. 5.2 p. 635 s.; arrêt 2A.123/2006 du 10 juillet 2006, RDAF 2007 II p. 127, StE 2006 A 12 no 15, consid. 2.2; arrêt 2A.461/2005 du 14 mars 2006, RDAF 2007 II p. 230, consid. 5.1).
8. 8.1 La règle selon laquelle l'assuré peut obtenir de son institution de prévoyance le versement d'un montant aux fins d'acquérir son propre logement, au sens d'un logement à son lieu de domicile ou de séjour habituel (<ref-law> en relation avec l'<ref-law>) signifie que l'acquisition d'une résidence secondaire ou d'une maison de vacances n'est pas considérée comme un but de prévoyance au sens de la législation y relative. Cette règle régissant l'assurance obligatoire est applicable par analogie à l'assurance facultative des indépendants (cf. <ref-law>). A cet égard, il n'y a en effet pas lieu de faire de distinction entre les deux catégories d'assurés.
Cela étant, il faut convenir avec la Cour cantonale que le procédé consistant à résilier le contrat de prévoyance avec effet au 31 décembre 1999, à utiliser l'avoir retiré pour acquérir une résidence secondaire et à se réaffilier presqu'immédiatement à l'institution de prévoyance présente un caractère insolite. Le recourant a en effet utilisé l'ensemble des montants versés au titre du deuxième pilier, comme s'il s'agissait d'une simple épargne, pour l'investir dans une résidence secondaire, soit dans un bien n'entrant pas dans le cadre du but de prévoyance protégé par la loi. Il a par la suite conclu un nouveau contrat, qui entrait en vigueur le lendemain de l'expiration du premier et a recommencé un an plus tard à racheter des années de cotisations. L'enchaînement des opérations donne à penser que le recourant a conclu des actes juridiques relevant de la prévoyance professionnelle, alors qu'il avait en vue, économiquement, un autre but, à savoir d'acquérir un bien immobilier tout en réalisant des économies d'impôt.
8.2 La résiliation suivie de la réaffiliation date d'avant l'entrée en vigueur de l'<ref-law>. En outre, selon l'<ref-ruling>, il n'existait pas de restriction légale au droit d'un indépendant assuré à titre facultatif d'exiger le paiement en espèces du montant de sa prestation de libre passage lorsqu'il décidait de mettre fin à son assurance auprès d'une institution de prévoyance. Il n'est ainsi pas contesté que le procédé utilisé par le recourant était licite à la lumière du droit de la prévoyance alors en vigueur. Cela ne signifie pas pour autant que les montants litigieux doivent être admis en déduction d'un point de vue fiscal. C'est en effet précisément le propre de l'évasion fiscale que d'utiliser une forme juridique licite, en la détournant de son but. Or, tel est bien le cas en l'espèce: le recourant a conclu un contrat de prévoyance à titre facultatif, a racheté des années de cotisations en bénéficiant des avantages fiscaux corrélatifs, puis a résilié le contrat et investi son avoir de prévoyance dans l'achat d'une résidence secondaire, soit dans un but étranger au droit de la prévoyance; il a finalement conclu un nouveau contrat de prévoyance et, après avoir attendu une année, il a recommencé à racheter des années de cotisations.
De 1995 à 1999, l'ensemble des montants versés dans le cadre du contrat de prévoyance, soit plus de 900'000 fr. au total, dont 542'773 fr. à titre de rachat d'années de cotisations, ont pu être déduits du revenu imposable des recourants. En se faisant verser l'avoir de prévoyance, les recourants ont certes été imposés, mais à un taux préférentiel correspondant au cinquième du taux ordinaire de l'<ref-law>.
Il y a ainsi lieu d'admettre, avec l'autorité précédente, que la conclusion d'un contrat de prévoyance tendait essentiellement à bénéficier d'économies d'impôt. En cela, le procédé utilisé par les recourants est abusif. Ce caractère abusif ressort aussi du fait qu'en concluant un nouveau contrat de prévoyance, le recourant pouvait se remettre à racheter des années de cotisations, sans qu'il soit tenu compte des rachats effectués dans le cadre du précédent contrat. Peu importe que les versements litigieux soient conformes au droit de la prévoyance alors en vigueur, du moment que, ainsi qu'il a été dit, cela n'empêche pas qu'au plan fiscal ils doivent être considérés comme une évasion fiscale.
8.3 Enfin, les recourants ont déjà réalisé de notables économies d'impôt dans la mesure où ils ont pu déduire de leur revenu imposable les montants versés au titre de rachat d'années de cotisations entre 1995 et 1999. Ils pourraient en bénéficier pareillement si ces versements étaient admis en déduction pour les périodes fiscales 2001 et 2002 litigieuses en l'espèce.
8.4 Au vu de ce qui précède, l'autorité précédente a admis à bon droit que les versements de 180'000 fr. effectués au titre de rachat d'années de cotisations à la prévoyance professionnelle durant chacune des années 2001 et 2002 constituaient une évasion fiscale et n'étaient par conséquent pas déductibles fiscalement.
b) Impôts cantonal et communal
9. Conformément à l'art. 9 al. 2 lettre d LHID, l'art. 31 lettre a de la loi d'impôt du canton du Jura du 26 mai 1988 (RS/JU 641.11) dans sa teneur en vigueur jusqu'au 31 décembre 2005 prévoit que les montants, primes et cotisations légaux, statutaires, réglementaires ou contractuels versés en vue d'acquérir des droits dans le cadre de la prévoyance professionnelle sont déduits du revenu. La teneur de cette disposition est également semblable à celle de l'art. 33 al. 1 lettre d LIFD. Par conséquent, les considérations émises ci-dessus pour l'impôt fédéral direct valent également pour l'impôt cantonal. Partant, les montants de 180'000 fr. versés par le recourant au titre de rachats d'années de cotisations représentent une évasion fiscale et ne peuvent être déduits de son revenu imposable cantonal pour les périodes fiscales 2001 et 2002.
III. Frais et dépens
10. Au vu de ce qui précède, le recours doit être rejeté.
Les recourants qui succombent doivent supporter les frais judiciaires (cf. <ref-law>) et n'ont pas droit à des dépens (cf. <ref-law> a contrario).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Des frais judiciaires de 7'000 fr. sont mis à la charge des recourants, solidairement entre eux.
3. Le présent arrêt est communiqué au mandataire des recourants, au Service des contributions, à la Commission cantonale des recours en matière d'impôts et à la Chambre administrative du Tribunal cantonal du canton du Jura, ainsi qu'à l'Administration fédérale des contributions, Division principale de l'impôt fédéral direct.
Lausanne, le 20 mars 2009
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Müller Vianin