Faits: A. Les époux A._ et B._, nés respectivement en 1931 et 1937, sont retraités. A la fin 1994, ils ont acquis une maison à X._ (JU). Ils se sont annoncés au contrôle des habitants de cette commune avec effet au 1er mai 1995. En mai 1996, ils ont annoncé leur départ pour Y._ (BL), où ils séjournent régulièrement auprès de leur fille. Ils ont cependant continué à résider également dans leur maison de X._. B. Par décision du 27 septembre 2000, le Service des contributions du canton du Jura (ci-après: le Service des contributions) a déclaré les époux A._ et B._ personnellement assujettis à l'impôt dans le canton du Jura pour l'année 2001. Par décision sur réclamation du 19 octobre 2001, le Service des contributions a confirmé l'assujettissement à partir de l'année 2001. La Commission cantonale des recours du canton du Jura a fait de même le 10 février 2003. Le 8 mars 2004, le Tribunal cantonal du canton du Jura a rejeté le recours dirigé contre cette décision et confirmé celle-ci. C. Agissant par la voie du recours de droit administratif, A._ et B._ demandent au Tribunal fédéral principalement d'annuler cet arrêt et de retourner le dossier à l'autorité intimée, en l'enjoignant de constater que le canton du Jura n'est pas compétent pour les imposer; à titre subsidiaire, ils demandent au Tribunal de céans de dire où se trouve leur domicile fiscal principal et, cas échéant, dans quelle mesure ils y sont assujettis à l'impôt, d'annuler toute taxation entrée en force qui se trouverait en contradiction avec ce prononcé et d'ordonner que les montants d'impôt acquittés sur la base de celle-ci leur soient remboursés, le tout sous suite de frais et dépens. L'autorité intimée et le Service des contributions concluent au rejet du recours, tandis que le Service des contributions du canton de Bâle-Campagne propose de l'admettre.