Faits: A. Les époux A.X._ et B.X._ sont domiciliés à Z._. Médecin-dentiste, A.X._ exploite un cabinet de _ dans la même ville. A.X._ s'est affilié facultativement à la Fondation de prévoyance de la SSO pour les professions de la médecine dentaire avec effet au 1er janvier 1995. De 1995 à 1999, il a effectué des versements à cette institution, à titre de rachat d'années de cotisations, pour un montant total de 542'773 fr. Par courrier du 3 décembre 1999, A.X._ a résilié le contrat de prévoyance avec effet au 31 décembre 1999. Deux prestations en capital de respectivement 203'175 et 699'496 fr. lui ont été versées les 1er et 2 février 2000. Cet argent a servi à acquérir une résidence secondaire à C._, au prix de 800'000 fr., et à payer le coût des rénovations (200'000 fr.), le solde étant financé par un emprunt bancaire. Les prestations en capital précitées ont été soumises à l'impôt cantonal et à l'impôt fédéral direct par décision du 23 mai 2000, entrée en force. Les 5 et 9 février 2000, A.X._ a conclu un nouveau contrat de prévoyance, avec effet au 1er janvier 2000, dans le but de couvrir les risques de décès et d'invalidité. Durant l'année 2000, le prénommé n'a procédé à aucun versement à l'institution de prévoyance à titre de rachat. En revanche, il a effectué un rachat de 180'000 fr. en 2001 et un autre du même montant en 2002. B. Par décisions de taxation du 5 novembre 2004, le Service des contributions du canton du Jura a fixé, pour l'année 2001, le revenu imposable des époux X._ à 615'700 fr. pour l'impôt fédéral direct et à 622'000 fr. pour l'impôt cantonal, la fortune imposable étant arrêtée à 694'000 fr., au taux de 1'134'000 fr. Pour l'année 2002, le revenu imposable a été fixé à 672'200 fr. pour l'impôt fédéral direct et à 678'500 fr. pour l'impôt cantonal; la fortune imposable a été arrêtée à 769'000 fr., au taux de 1'354'000 fr. Estimant que les versements de 180'000 fr. effectués en 2001 et 2002 à titre de rachat d'années de cotisations constituaient une évasion fiscale, le Service des contributions a réintégré ces montants dans le revenu imposable. Les époux X._ ont déféré ces décisions à la Commission cantonale des recours du canton du Jura, qui a rejeté le recours par prononcé du 22 novembre 2006. A l'encontre de cette décision, les époux X._ ont recouru au Tribunal cantonal du canton du Jura, qui les a déboutés par arrêt du 19 mars 2008. Cette autorité a confirmé que les versements litigieux étaient constitutifs d'évasion fiscale. C. Agissant par la voie du recours en matière de droit public, les époux X._ demandent au Tribunal fédéral d'annuler l'arrêt du 19 mars 2008, de fixer leur revenu imposable 2001 et 2002 à respectivement 435'700 et 492'200 fr. (impôt fédéral direct) ainsi qu'à 442'000 et 498'500 fr. (impôt cantonal) et de renvoyer la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants, le tout sous suite de frais et dépens. Ils se plaignent de violations du droit fédéral. L'autorité précédente propose de rejeter le recours dans la mesure où il est recevable, sous suite de frais. Le Service des contributions ainsi que l'Administration fédérale des contributions, Division principale de l'impôt fédéral direct, de l'impôt anticipé, des droits de timbre concluent au rejet du recours, sous suite de frais. La Commission cantonale des recours n'a pas pris formellement position, tout en se référant aux motifs de sa décision ainsi qu'aux considérants de l'arrêt attaqué. Par courrier du 17 février 2009, les parties ont été informées de ce que la IIe Cour de droit public du Tribunal de céans allait tenir audience en leur cause, en date du 20 mars 2009. Il était précisé que l'audience était publique, mais qu'une demande tendant à exclure le public serait examinée par la Cour. Dans une écriture du 27 février 2009, les recourants ont requis le "huis clos total".