Faits:
A. Les époux A.X._ et B.X._ sont domiciliés dans le canton de Z._. Durant les périodes fiscales litigieuses en l'espèce, A.X._, qui, étant né en ****, avait atteint l'âge de la retraite et percevait une rente AVS, a exercé l'activité indépendante de médecin à son domicile privé. Son épouse s'occupait du secrétariat du cabinet.
Pour l'impôt cantonal et communal des périodes fiscales 1998 à 2000, les éléments de taxation relatifs à l'activité indépendante de A.X._, tels qu'ils ressortaient des déclarations des époux X._ et des bordereaux d'impôt établis sur cette base, étaient les suivants:
1998 1999 2000
Revenu imposable 141'360.-- 185'119.-- 162'612.--
Fortune imposable 142'510.-- 148'693.-- 148'143.--
Impôt dû 39'696.35 49'895.80 40'243.85
B. Le 13 mars 2003, l'Administration fiscale du canton de Z._ (ci-après: l'Administration fiscale ou l'intimée) a avisé les époux X._ de l'ouverture de procédures de rappel d'impôt et de soustraction d'impôt pour les périodes fiscales 1998 à 2001-A. Des frais privés semblaient avoir été comptabilisés dans les charges du contribuable, raison pour laquelle elle allait procéder à un examen sur place. Celui-ci a eu lieu les 15 et 16 mai 2003. Toute la comptabilité des exercices 1993 à 2001 a été vérifiée.
Selon le procès-verbal établi à cette occasion, des charges privées avaient été comptabilisées et/ou cumulées avec des frais effectifs, des libellés de comptes étaient en contradiction évidente avec les opérations comptabilisées, des comptes de charges avaient été créés en fin d'année par un jeu d'écritures avec crédit du compte privé, des frais médicaux avaient été comptabilisés à double dans la déclaration fiscale et dans les comptes et des assurances conclues à titre privé avaient été comptabilisées dans les comptes commerciaux. En outre, les contribuables avaient affirmé loger dans un appartement de 5 pièces qu'ils utilisaient également à des fins professionnelles, alors qu'en réalité leur logement en comptait 11, dont 3 seulement servaient à l'exercice de l'activité indépendante. Non seulement le loyer de ce logement avait été entièrement comptabilisé dans les charges, mais encore un forfait supplémentaire de 3'600 fr. intitulé "loyer bureau" avait été déduit. Alors que le contribuable, âgé de 72 ans, ne se servait pas ou seulement très peu de son véhicule pour aller visiter ses patients, un forfait élevé avait été comptabilisé "sans aucune raison", en sus de frais "effectifs", pour des frais de véhicule. Les justificatifs relatifs à des frais de congrès n'avaient pu être retrouvés. Une dette déclarée pour 175'000 fr. ne s'élevait en réalité qu'à 89'000 fr. L'assurance ménage mentionnait un inventaire d'une valeur de 761'000 fr., de sorte que la fortune du couple était plus élevée que celle ressortant des déclarations fiscales. D'importants frais de vêtements avaient été comptabilisés, alors que le contribuable ne portait "qu'une blouse blanche". Enfin, des versements mensuels sur le compte d'épargne postal du couple avaient été comptabilisés comme charges du cabinet médical.
C. Le 1er décembre 2003, l'Administration fiscale a informé les époux X._ de la clôture des procédures susmentionnées et leur a adressé trois bordereaux de rappel d'impôt, qui faisaient état de suppléments d'impôts de 34'548 fr. 45 pour 1998, 37'747 fr. 10 pour 1999 et 31'485 fr. 05 pour 2000. Elle leur a en outre notifié un bordereau d'amende de 155'670 fr., équivalant à une fois et demie le montant de l'impôt éludé. L'Administration fiscale avait qualifié la soustraction d'intentionnelle et considéré les fautes commises comme graves, au vu de leur nombre et des montants concernés.
Les époux X._ ont formé une réclamation à l'encontre des décisions de rappel d'impôt et d'amende précitées.
Par décision du 7 octobre 2004, l'Administration fiscale a partiellement admis la réclamation, en réduisant les montants des rappels d'impôt. Elle a retenu les éléments de taxation suivants:
1998 1999 2000
Revenu imposable 227'604.-- 282'029.-- 246'523.--
Fortune imposable 160'306.-- 169'705.-- 171'940.--
Supplément d'impôt 28'927.70 32'112.25 25'897.20
C. La quotité de l'amende a en revanche été maintenue.
Les époux X._ ont déféré cette décision à la Commission cantonale de recours en matière d'impôts du canton de Z._ (ci-après: la Commission de recours).
Après avoir informé les recourants qu'elle envisageait de modifier la décision attaquée à leur désavantage sur le point des frais de véhicule, la Commission de recours a, par prononcé du 18 juin 2007, rejeté le recours et réformé la décision à leur détriment, la déduction pour frais de véhicule n'étant plus admise à concurrence du forfait de 3/5èmes mais reprise dans sa totalité.
A l'encontre de cette décision, les époux X._ ont recouru au Tribunal administratif du canton de Z._.
Après avoir tenu une audience lors de laquelle les recourants ont été entendus, le Tribunal administratif a rejeté le recours par arrêt du 4 mars 2008. S'agissant des frais de véhicule, il a considéré que le recourant n'avait pas prouvé ses allégations selon lesquelles il devait utiliser sa voiture pour aller visiter des patients à la clinique de N._. Concernant la partie du logement (consistant en deux appartements de respectivement 5 et 6 pièces) utilisée à des fins professionnelles, il a confirmé la reprise effectuée par l'Administration fiscale, qui avait admis en déduction seulement 3/11èmes de la somme des deux loyers, du moment que seules 3 des 11 pièces servaient à l'exercice de l'activité indépendante. En ce qui concerne la soustraction d'impôt, le Tribunal administratif a confirmé son caractère intentionnel. Selon lui, en effet, compte tenu "de l'ampleur des erreurs, des montants éludés et de la nature des frais en cause", les recourants ne pouvaient ignorer que des dépenses à caractère privé avaient été comptabilisées dans les charges. Ces "manquements" étaient aisément identifiables même sans connaissances particulières en matière commerciale et fiscale. La Cour cantonale a également confirmé la quotité de l'amende.
D. A l'encontre de cette décision, les époux X._ interjettent un recours en matière de droit public au Tribunal fédéral. Ils prennent les conclusions suivantes, sous suite de frais et dépens:
"Principalement
En ce qui concerne l'amende:
Dire que les recourants n'ont commis aucune faute.
Dire par conséquent qu'aucun montant d'amende ne doit leur être infligé.
En ce qui concerne les dépenses d'exploitation:
Dire que les recourants disposant d'un bail professionnel doivent bénéficier au titre de frais de locaux professionnels des montants payés à ce titre.
Donner acte aux recourants de ce qu'ils admettent que les montants payés pour leurs loyers tant privé que professionnel, soient répartis à raison de 50% à titre professionnel et 50% à titre privé.
Dire que les frais des services industriels, ne différenciant pas la partie privée de celle professionnelle, doivent être répartis à raison de 50% à titre professionnel et 50% à titre privé.
Dire qu'en ce qui concerne les frais de véhicule, il convient de retenir un forfait équivalant à CHF 500.- mensuels, soit une somme de CHF 6'000.- par année.
En ce qui concerne la reformatio in pejus:
Dire que celle-ci n'a pas lieu d'être au regard du caractère indispensable de disposer d'un véhicule privé par le Dr X._ pour l'exercice de sa profession.
Cela fait
Inviter le Département des finances à émettre de nouveaux bordereaux rectificatifs concernant les années fiscales 1998, 1999 et 2000.
Subsidiairement
En ce qui concerne l'amende:
Dans l'hypothèse où le Tribunal retiendrait une faute des recourants, dire qu'il s'agit d'une faute légère.
Dire par conséquent que le montant de l'amende doit s'élever à 1⁄2 de l'impôt soustrait.
Inviter alors le Département des finances à émettre un nouveau bordereau d'amende."
D. L'autorité intimée s'en remet à justice quant à la recevabilité du recours; sur le fond, elle persiste dans les considérants et le dispositif de son arrêt. L'Administration fiscale s'en remet à justice en ce qui concerne la recevabilité du recours et conclut à son rejet sur le fond. L'Administration fédérale des contributions conclut au rejet du recours, sous suite de frais.

Considérant en droit:
1. Le Tribunal fédéral examine d'office sa compétence (art. 29 al. 1 LTF) et donc les conditions de la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2 p. 465).
1.1 Interjeté par des parties directement touchées par la décision attaquée et qui ont un intérêt digne de protection à son annulation ou sa modification (cf. art. 89 al. 1 LTF), le recours, dirigé contre un jugement final (cf. art. 90 LTF) rendu dans une cause de droit public (cf. art. 82 lettre a LTF) par une autorité cantonale de dernière instance (cf. art. 86 al. 1 lettre d LTF), est en principe recevable, puisqu'il a été déposé dans le délai (cf. art. 100 al. 1 LTF) et - sous réserve des considérants suivants - en la forme (cf. art. 42 LTF) prévus par la loi; au surplus, il ne tombe sous aucun des cas d'exceptions mentionnés à l'art. 83 LTF.
1.2 Les conclusions prises par les recourants sont largement constatatoires. Or, la décision entreprise étant de nature condamnatoire, il n'y a pas place pour de telles conclusions en constat, lesquelles sont en principe subsidiaires (cf. <ref-ruling> consid. 4b/aa p. 413). Dans la mesure où elles présentent un tel caractère, les conclusions des recourants sont donc irrecevables.
1.3 Aux termes de l'art. 106 al. 2 LTF, le Tribunal fédéral n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal ou de droit intercantonal que si ce grief a été invoqué et motivé par le recourant. Cette disposition reprend le principe de l'allégation (Rügeprinzip) que la pratique relative au recours de droit public avait établi en relation avec l'art. 90 OJ (<ref-ruling> consid. 1.4.2 p. 254; <ref-ruling> consid. 6 p. 397). Selon cette pratique, l'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Lorsqu'il est saisi d'un recours, le Tribunal fédéral n'a donc pas à vérifier de lui-même si l'arrêt entrepris est en tous points conforme au droit et à l'équité. Il n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours. Le recourant ne saurait se contenter de soulever de vagues griefs ou de renvoyer aux actes cantonaux (<ref-ruling> consid. 1.3 p. 261/262, 26 consid. 2.1 p. 31 et les références). Ainsi, pour les griefs de violation des droits constitutionnels, du droit cantonal et du droit intercantonal, les exigences de motivation sont accrues.
1.4 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Le recourant qui entend invoquer que les faits ont été établis de manière manifeste- ment inexacte (art. 97 al. 1 LTF), c'est-à-dire, pour l'essentiel, que les constatations de fait sont arbitraires au sens de l'art. 9 Cst., doit démontrer par une argumentation précise en quoi consiste la violation. Le Tribunal fédéral n'examine en effet la violation de l'interdiction de l'arbitraire (art. 9 Cst.) que si ce grief a été invoqué et motivé par le recourant (art. 106 al. 2 LTF), c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée, conformément au principe de l'allégation. Ainsi, le Tribunal fédéral ne réexamine l'établissement des faits - sous réserve du grief d'une violation du droit au sens de l'art. 95 LTF - que lorsqu'il est entaché d'inexactitude manifeste (art. 97 al. 1 LTF), à savoir d'arbitraire (<ref-ruling> consid. 1.4.1 p. 39). Il n'entre pas en matière sur les critiques de nature appellatoire (ATF <ref-ruling> consid. 6 p. 397).
En matière d'appréciation des preuves, le Tribunal fédéral n'intervient, pour violation de l'art. 9 Cst., que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans motif sérieux, de tenir compte d'un moyen de preuve pertinent ou encore s'il a effectué, sur la base des éléments recueillis, des déductions insoutenables. Il appartient au recourant de démontrer précisément, pour chaque constatation de fait incriminée, comment les preuves administrées auraient dû, selon lui, être correctement appréciées et en quoi leur appréciation par l'autorité cantonale est insoutenable. De surcroît, le recourant doit démontrer que la violation qu'il invoque est susceptible d'influer sur le sort de la cause (art. 97 al. 1 in fine LTF).
Aux termes de l'art. 105 al. 2 LTF, le Tribunal fédéral peut rectifier ou corriger d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF. Cette disposition ne signifie nullement que le Tribunal fédéral devrait déterminer si la version proposée par les recourants est préférable à celle retenue par l'autorité intimée. Le principe prévalant en la matière demeure en effet celui de l'art. 97 al. 1 LTF ci-dessus rappelé: le Tribunal de céans ne revoit les faits que dans la mesure où ceux-ci ont été établis de manière arbitraire ou en violation du droit fédéral.
1.5 C'est à la lumière de ces principes que doivent être appréciés les moyens invoqués par les recourants. Ceux-ci soulèvent des griefs qui se rapportent, d'une part, au prononcé de l'amende dans son principe ainsi qu'à la quotité de cette dernière (ci-après consid. 2) et, d'autre part, aux frais professionnels déductibles (consid. 3).
2. 2.1 Dans une première partie intitulée "Faits de la cause", les recourants entendent compléter l'état de fait retenu dans la décision attaquée. Or, les faits qu'ils allèguent ne sauraient être pris en considération. Il ne suffit en effet nullement de présenter sa propre version des faits pour que celle-ci soit de nature à se substituer, pour la rédaction de l'arrêt du Tribunal fédéral, à l'état de fait retenu par l'autorité intimée. Cela vaut en particulier pour les allégations des recourants qui se rapportent à l'intention en tant qu'élément constitutif de la soustraction, car établir ce que sont la conscience et la volonté relève de la constatation des faits qui lie le Tribunal fédéral (cf. arrêt 2A.351/2002 du 5 novembre 2002, RDAF 2003 II p. 632, StE 2003 B 101.21 no 16, Archives 73 p. 215, consid. 3.3; arrêt 2A.538/1998 du 30 juin 1999, RDAF 1999 II p. 535, consid. 3a). Cela vaut également pour tout ce qui a trait à la question de la représentation des recourants par leur fiduciaire. Au demeurant, comme on le verra, le point de savoir qui a concrètement rempli la déclaration fiscale et l'a expédiée à l'administration fiscale ne constitue pas un fait pertinent, en ce sens qu'il n'est pas de nature à modifier l'application du droit.
Les recourants font aussi grief à l'autorité intimée d'avoir fondé sa décision sur un état de fait établi de manière inexacte (p. 6 s. du recours). Ce faisant, ils confondent très largement le problème de la constatation des faits avec celui de leur qualification juridique. La première de ces opérations ne peut en principe pas être revue par le Tribunal fédéral (art. 97 al. 1 et 105 al. 1 LTF), si ce n'est dans le cadre très restreint de l'art. 105 al. 2 LTF. Cette exception suppose toutefois que le recours satisfasse à des exigences de motivation qui ne sont nullement remplies en la cause. A cet égard, le recours est donc irrecevable, la question de la qualification juridique des faits contestés étant pour sa part brièvement évoquée ci-après.
2.2 Les recourants dénoncent ensuite une violation du droit fédéral. Ils font valoir en substance que la notion d'intention aurait été mal interprétée par l'autorité intimée qui aurait, de ce fait, violé le droit fédéral. Ils renvoient d'ailleurs ce faisant à l'argumentation qu'ils ont développée dans la procédure cantonale.
Outre que le fait de renvoyer aux écritures cantonales n'est pas conforme aux exigences de motivation du recours (cf. consid. 1.2), les recourants se fourvoient quand ils estiment que la mauvaise application du droit fédéral serait en cause au seul motif que l'autorité intimée n'aurait pas interprété correctement la notion d'intention. En effet, l'objet de la contestation concerne exclusivement l'impôt cantonal et communal afférent à des périodes fiscales antérieures au 1er janvier 2001, de sorte que la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14) n'est pas applicable. En outre, le fait que les notions d'intention et de négligence revêtent en général un contenu identique en droit cantonal et en droit fédéral (cf. p. ex. <ref-ruling> consid. 2.3.1 p. 64), voire que certains droits cantonaux renvoient sur ce point aux dispositions du code pénal suisse (cf. p. ex. Baur/Klöti-Weber/ Koch/Meier/Ursprung, Kommentar zum Aargauer Steuergesetz, Muri/Berne 1991, ch. 1 ad § 189, s'agissant de l'ancienne loi fiscale argovienne du 13 décembre 1983) ne saurait avoir pour effet d'assimiler le droit cantonal pertinent au droit fédéral, contrairement à ce que les recourants semblent penser. Le fait qu'une partie de la doctrine estime que le principe nulla poena sine culpa est de rang constitutionnel (cf. p. ex. Blumenstein/Locher, System des schweizerischen Steuerrechts, 6ème éd., Zurich 2002, p. 369), en se distanciant par là de la jurisprudence du Tribunal fédéral (arrêt 6P.113/1999 du 24 février 2000, RVJ 2000 p. 288, consid. 46b), se révélerait le cas échéant de peu d'utilité aux recourants, qui ne se sont nullement plaints de la violation du droit constitutionnel à cet égard.
S'agissant de notions de droit cantonal - la loi fédérale sur l'harmonisation n'étant pas encore applicable, ainsi qu'il a été dit -, c'est seulement sous l'angle de l'arbitraire que le Tribunal fédéral est appelé à revoir l'existence de l'intention ou de la négligence. Là aussi, de toute évidence, l'argumentaire purement appellatoire des recourants, qui n'invoquent ni la norme constitutionnelle topique, ni même la violation de l'interdiction de l'arbitraire, n'autorise pas le Tribunal fédéral à entrer en matière sur les griefs soulevés. Partant, ceux-ci sont irrecevables. Quoi qu'il en soit, si le Tribunal fédéral avait été mis en mesure de trancher sur le fond, il n'aurait pu que constater que l'autorité intimée, dans l'usage qu'elle a fait de la notion d'acte intentionnel, n'est nullement tombée dans l'arbitraire. En effet, au vu des éléments de fait qu'elle a retenus, la Cour cantonale pouvait admettre sans arbitraire que les recourants avaient déposé des déclarations fiscales inexactes, en s'accommodant, à tout le moins, du fait que celles-ci pourraient conduire à une taxation insuffisante. Le jugement entrepris n'est donc arbitraire ni dans sa motivation ni dans son résultat.
2.3 Dans un argumentaire intitulé "De l'appréciation arbitraire des preuves" (p. 10 à 12 du recours), les recourants abordent différentes questions dont la plupart ne relèvent nullement des faits, mais bien de leur qualification. Il en va ainsi par exemple du point de savoir si la recourante est "responsable de l'établissement des taxations litigieuses", si elle est "la responsable des errements de la fiduciaire" et si les notions de "négligence" ou de "violation d'un devoir de diligence" ont été appliquées de manière correcte ou non. S'agissant de questions relevant de l'application du droit cantonal - la loi fédérale sur l'harmonisation n'étant pas applicable aux périodes fiscales concernées -, il peut être renvoyé aux considérations émises ci-dessus (consid. 2.2) pour déclarer ces griefs irrecevables.
2.4 Les recourants estiment en substance qu'ils ne sauraient être tenus pour responsables des actes de leur fiduciaire, dont le contenu technique leur interdisait tout contrôle. Cet argument semble être la pierre angulaire du recours, les recourants pensant apparemment pouvoir se retrancher derrière l'erreur d'un tiers, savoir leur fiduciaire, pour échapper à toute sanction. La plupart des faits qu'ils allèguent et dont la Cour cantonale se serait éloignée de manière arbitraire ont en effet trait à cette argumentation.
Outre que les arguments de fait et de droit soulevés par les recourants sont, comme on l'a vu (cf. consid. 2.1 et 2.2), irrecevables, il convient de relever que le Tribunal de céans a déjà eu l'occasion de se pencher à plusieurs reprises sur l'effet de l'intervention d'une fiduciaire sur la punissabilité du contribuable. Il a ainsi été jugé qu'il incombe au contribuable d'être vigilant à l'égard de sa fiduciaire et de prendre les mesures nécessaires pour que cette dernière n'envoie pas sa déclaration d'impôt avant qu'il ne l'ait contrôlée; il lui suffit pour cela d'exiger de la signer personnellement. En outre, même s'il mandate une fiduciaire pour remplir sa déclaration d'impôt, le contribuable n'est pas déchargé de ses obligations fiscales. Selon la loi (art. 101 CO) et la jurisprudence, la partie ou son représentant qui se fait assister par un auxiliaire et bénéficie des résultats de l'activité de ce dernier doit supporter les inconvénients d'une telle intervention (arrêt 2A.538/1998, précité, consid. 3b et les références). Pour le surplus, il peut être renvoyé au considérant 10 de la décision entreprise, où l'autorité intimée a retenu une soustraction commise à tout le moins par dol éventuel. La motivation de l'arrêt attaqué, loin d'être arbitraire, est conforme au droit. Le Tribunal fédéral, dans la mesure où il aurait dû entrer en matière sur le fond, n'aurait donc pu que rejeter l'argumentation des recourants. Cela fait d'autant moins de doute qu'il s'agit de personnes qui, par leur niveau de formation (médecin) et par leur fonction (assurer le secrétariat du cabinet médical), pouvaient sans difficulté se rendre compte du fait que des dépenses privées avaient été portées au compte charges du cabinet.
2.5 Les recourants s'en prennent encore au montant de l'amende. Selon eux, en effet, l'amende devrait être réduite dès lors que la soustraction n'aurait été commise que par négligence, qui plus est par négligence inconsciente.
Du moment qu'il a été retenu sans arbitraire que la soustraction était intentionnelle, il n'y a pas à s'étendre plus avant sur ce grief. Pour le reste, ici également, les recourants auraient dû se prévaloir de la prohibition de l'arbitraire (art. 9 Cst.) dans la fixation de la peine, ce qu'il n'ont pas fait. Le grief doit donc être déclaré irrecevable.
2.6 Au vu de ce qui précède, les griefs relatifs au prononcé d'une amende ainsi qu'à sa quotité doivent être déclarés irrecevables dans leur totalité.
3. 3.1 S'agissant de la part des loyers déductible à titre de frais professionnels, les recourants ne contestent pas le fait retenu par l'autorité intimée que seules trois pièces servaient à l'exercice de l'activité indépendante. Ils n'affirment pas non plus que la pratique cantonale consistant à procéder à une répartition entre usages privé et professionnel en fonction du nombre de pièces et non pas de la surface serait arbitraire. Ils se contentent largement de proposer d'autres critères de répartition des frais que celui retenu par l'Administration fiscale et, à sa suite, par l'autorité intimée. Purement appellatoire, le recours ne parvient ainsi nullement à démontrer en quoi la pratique cantonale serait arbitraire dans son résultat. Au demeurant, rien n'apparaît arbitraire dans la solution retenue par les instances précédentes. Les griefs des recourants doivent donc être déclarés irrecevables.
3.2 En ce qui concerne la déduction des frais de véhicule, les recourants se prévalent d'une Information cantonale no 2/91 du 20 février 1991. Selon ce texte, un médecin qui exerce son activité à son cabinet uniquement ne peut déduire de frais de véhicule. En revanche, le thérapeute qui se rend au domicile du patient ou dans des cliniques ou des hôpitaux peut déduire les 3/5 de l'ensemble des frais relatifs à un véhicule d'une valeur maximale de 30'000 fr. Les recourants reprochent à l'autorité intimée d'être tombée dans l'arbitraire dans la mesure où celle-ci, après avoir cité le texte en question, se serait fondée sur un de ses arrêts, datant du 20 novembre 2007, d'où il ressortirait que les médecins dont les domiciles privé et professionnel sont situés à la même adresse ne peuvent en aucun cas déduire de frais professionnels de véhicule, et ce même s'ils doivent aller visiter des patients dans des cliniques ou participer à des manifestations dans le cadre de la formation continue.
Le droit du thérapeute qui se rend au domicile du patient ou dans des cliniques ou des hôpitaux de déduire les 3/5 de l'ensemble des frais de véhicule, conformément au texte précité, suppose que ces frais aient été effectivement encourus, ce qu'il appartient au contribuable d'établir. Or, dans le cas particulier, l'autorité intimée a pu relever à ce sujet (décision attaquée, p. 8):
"[...] il ressort des pièces versées à la procédure que le recourant a reconnu qu'il ne se déplaçait pas, ou très peu, professionnellement et que son épouse jouissait quasi entièrement de l'utilisation du véhicule. Certes, il indique, d'une manière très générale, devoir se déplacer en voiture pour rendre visite à des patients à la clinique de N._, aucune pièce ni preuve ne viennent cependant étayer ces allégations".
3.3 Face à un état de fait établi de manière aussi claire par le jugement entrepris, les recourants auraient dû démontrer que lesdits faits avaient été retenus de manière arbitraire, ce qu'ils n'ont pas fait.
4. Au vu de ce qui précède, le recours doit être rejeté dans la faible mesure de sa recevabilité.
Succombant, les recourants supportent les frais judiciaires (art. 66 al. 1 LTF) et n'ont pas droit à des dépens (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Des frais judiciaires de 5'500 fr. sont mis à la charge des recourants.
3. Le présent arrêt est communiqué au mandataire des recourants, à l'Administration fiscale cantonale et au Tribunal administratif du canton de Z._ ainsi qu'à l'Administration fédérale des contributions, Division juridique impôt fédéral direct.
Lausanne, le 22 août 2008
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Merkli Vianin