Faits: A. Les époux A.X._ et B.X._ sont domiciliés dans le canton de Z._. Durant les périodes fiscales litigieuses en l'espèce, A.X._, qui, étant né en ****, avait atteint l'âge de la retraite et percevait une rente AVS, a exercé l'activité indépendante de médecin à son domicile privé. Son épouse s'occupait du secrétariat du cabinet. Pour l'impôt cantonal et communal des périodes fiscales 1998 à 2000, les éléments de taxation relatifs à l'activité indépendante de A.X._, tels qu'ils ressortaient des déclarations des époux X._ et des bordereaux d'impôt établis sur cette base, étaient les suivants: 1998 1999 2000 Revenu imposable 141'360.-- 185'119.-- 162'612.-- Fortune imposable 142'510.-- 148'693.-- 148'143.-- Impôt dû 39'696.35 49'895.80 40'243.85 B. Le 13 mars 2003, l'Administration fiscale du canton de Z._ (ci-après: l'Administration fiscale ou l'intimée) a avisé les époux X._ de l'ouverture de procédures de rappel d'impôt et de soustraction d'impôt pour les périodes fiscales 1998 à 2001-A. Des frais privés semblaient avoir été comptabilisés dans les charges du contribuable, raison pour laquelle elle allait procéder à un examen sur place. Celui-ci a eu lieu les 15 et 16 mai 2003. Toute la comptabilité des exercices 1993 à 2001 a été vérifiée. Selon le procès-verbal établi à cette occasion, des charges privées avaient été comptabilisées et/ou cumulées avec des frais effectifs, des libellés de comptes étaient en contradiction évidente avec les opérations comptabilisées, des comptes de charges avaient été créés en fin d'année par un jeu d'écritures avec crédit du compte privé, des frais médicaux avaient été comptabilisés à double dans la déclaration fiscale et dans les comptes et des assurances conclues à titre privé avaient été comptabilisées dans les comptes commerciaux. En outre, les contribuables avaient affirmé loger dans un appartement de 5 pièces qu'ils utilisaient également à des fins professionnelles, alors qu'en réalité leur logement en comptait 11, dont 3 seulement servaient à l'exercice de l'activité indépendante. Non seulement le loyer de ce logement avait été entièrement comptabilisé dans les charges, mais encore un forfait supplémentaire de 3'600 fr. intitulé "loyer bureau" avait été déduit. Alors que le contribuable, âgé de 72 ans, ne se servait pas ou seulement très peu de son véhicule pour aller visiter ses patients, un forfait élevé avait été comptabilisé "sans aucune raison", en sus de frais "effectifs", pour des frais de véhicule. Les justificatifs relatifs à des frais de congrès n'avaient pu être retrouvés. Une dette déclarée pour 175'000 fr. ne s'élevait en réalité qu'à 89'000 fr. L'assurance ménage mentionnait un inventaire d'une valeur de 761'000 fr., de sorte que la fortune du couple était plus élevée que celle ressortant des déclarations fiscales. D'importants frais de vêtements avaient été comptabilisés, alors que le contribuable ne portait "qu'une blouse blanche". Enfin, des versements mensuels sur le compte d'épargne postal du couple avaient été comptabilisés comme charges du cabinet médical. C. Le 1er décembre 2003, l'Administration fiscale a informé les époux X._ de la clôture des procédures susmentionnées et leur a adressé trois bordereaux de rappel d'impôt, qui faisaient état de suppléments d'impôts de 34'548 fr. 45 pour 1998, 37'747 fr. 10 pour 1999 et 31'485 fr. 05 pour 2000. Elle leur a en outre notifié un bordereau d'amende de 155'670 fr., équivalant à une fois et demie le montant de l'impôt éludé. L'Administration fiscale avait qualifié la soustraction d'intentionnelle et considéré les fautes commises comme graves, au vu de leur nombre et des montants concernés. Les époux X._ ont formé une réclamation à l'encontre des décisions de rappel d'impôt et d'amende précitées. Par décision du 7 octobre 2004, l'Administration fiscale a partiellement admis la réclamation, en réduisant les montants des rappels d'impôt. Elle a retenu les éléments de taxation suivants: 1998 1999 2000 Revenu imposable 227'604.-- 282'029.-- 246'523.-- Fortune imposable 160'306.-- 169'705.-- 171'940.-- Supplément d'impôt 28'927.70 32'112.25 25'897.20 C. La quotité de l'amende a en revanche été maintenue. Les époux X._ ont déféré cette décision à la Commission cantonale de recours en matière d'impôts du canton de Z._ (ci-après: la Commission de recours). Après avoir informé les recourants qu'elle envisageait de modifier la décision attaquée à leur désavantage sur le point des frais de véhicule, la Commission de recours a, par prononcé du 18 juin 2007, rejeté le recours et réformé la décision à leur détriment, la déduction pour frais de véhicule n'étant plus admise à concurrence du forfait de 3/5èmes mais reprise dans sa totalité. A l'encontre de cette décision, les époux X._ ont recouru au Tribunal administratif du canton de Z._. Après avoir tenu une audience lors de laquelle les recourants ont été entendus, le Tribunal administratif a rejeté le recours par arrêt du 4 mars 2008. S'agissant des frais de véhicule, il a considéré que le recourant n'avait pas prouvé ses allégations selon lesquelles il devait utiliser sa voiture pour aller visiter des patients à la clinique de N._. Concernant la partie du logement (consistant en deux appartements de respectivement 5 et 6 pièces) utilisée à des fins professionnelles, il a confirmé la reprise effectuée par l'Administration fiscale, qui avait admis en déduction seulement 3/11èmes de la somme des deux loyers, du moment que seules 3 des 11 pièces servaient à l'exercice de l'activité indépendante. En ce qui concerne la soustraction d'impôt, le Tribunal administratif a confirmé son caractère intentionnel. Selon lui, en effet, compte tenu "de l'ampleur des erreurs, des montants éludés et de la nature des frais en cause", les recourants ne pouvaient ignorer que des dépenses à caractère privé avaient été comptabilisées dans les charges. Ces "manquements" étaient aisément identifiables même sans connaissances particulières en matière commerciale et fiscale. La Cour cantonale a également confirmé la quotité de l'amende. D. A l'encontre de cette décision, les époux X._ interjettent un recours en matière de droit public au Tribunal fédéral. Ils prennent les conclusions suivantes, sous suite de frais et dépens: "Principalement En ce qui concerne l'amende: Dire que les recourants n'ont commis aucune faute. Dire par conséquent qu'aucun montant d'amende ne doit leur être infligé. En ce qui concerne les dépenses d'exploitation: Dire que les recourants disposant d'un bail professionnel doivent bénéficier au titre de frais de locaux professionnels des montants payés à ce titre. Donner acte aux recourants de ce qu'ils admettent que les montants payés pour leurs loyers tant privé que professionnel, soient répartis à raison de 50% à titre professionnel et 50% à titre privé. Dire que les frais des services industriels, ne différenciant pas la partie privée de celle professionnelle, doivent être répartis à raison de 50% à titre professionnel et 50% à titre privé. Dire qu'en ce qui concerne les frais de véhicule, il convient de retenir un forfait équivalant à CHF 500.- mensuels, soit une somme de CHF 6'000.- par année. En ce qui concerne la reformatio in pejus: Dire que celle-ci n'a pas lieu d'être au regard du caractère indispensable de disposer d'un véhicule privé par le Dr X._ pour l'exercice de sa profession. Cela fait Inviter le Département des finances à émettre de nouveaux bordereaux rectificatifs concernant les années fiscales 1998, 1999 et 2000. Subsidiairement En ce qui concerne l'amende: Dans l'hypothèse où le Tribunal retiendrait une faute des recourants, dire qu'il s'agit d'une faute légère. Dire par conséquent que le montant de l'amende doit s'élever à 1⁄2 de l'impôt soustrait. Inviter alors le Département des finances à émettre un nouveau bordereau d'amende." D. L'autorité intimée s'en remet à justice quant à la recevabilité du recours; sur le fond, elle persiste dans les considérants et le dispositif de son arrêt. L'Administration fiscale s'en remet à justice en ce qui concerne la recevabilité du recours et conclut à son rejet sur le fond. L'Administration fédérale des contributions conclut au rejet du recours, sous suite de frais.