Faits:
A. A.X._ et B.X._ ont mentionné, dans leur déclaration d'impôt 2003, un revenu imposable de 78'100 fr. et une fortune imposable nulle.
Le 16 septembre 2005, après une première décision du 13 juillet 2004 de l'Office d'impôt du district de Z._ (ci-après: l'Office d'impôt), une réclamation déposée par les intéressés, puis deux propositions de règlement en leur défaveur et refusées par A.X._ et B.X._, l'Office d'impôt a rendu une décision de taxation et calcul d'impôt pour les impôts cantonaux et communaux, ainsi que pour l'impôt fédéral direct de la période fiscale 2003. Celle-ci fixait le revenu et la fortune imposables au niveau cantonal à, respectivement, 83'900 fr. et 0 fr. Concernant l'impôt fédéral direct, le revenu imposable se montait à 90'100 fr. Les frais de transport admis s'élevaient à 10'548 fr. et ceux de repas et de séjour hors du domicile à 13'440 fr. A.X._ et B.X._ ont à nouveau déposé une réclamation à l'encontre de cette décision.
Le 22 août 2005, l'Office d'impôt a rendu une décision de taxation et calcul de l'impôt relative aux impôts cantonaux et communaux ainsi qu'à l'impôt fédéral direct de la période fiscale 2004. Le revenu imposable pour l'impôt cantonal et communal était de 98'400 fr. et la fortune était nulle. Le revenu imposable pour l'impôt fédéral direct s'élevait à 102'300 fr. Les frais de transports admis se montaient à 9'876 fr. et ceux de repas et de séjour hors du domicile à 8'610 fr.
A.X._ et B.X._ ont élevé réclamation à l'encontre de cette décision. Ils contestaient, notamment, le montant des frais de transport admis en déduction du revenu imposable. A la suite d'une demande de pièces, A.X._ a indiqué qu'il avait fait les trajets de son domicile de Y._ (VD) à son lieu de travail à Zurich à raison de deux fois par semaine du 1er janvier 2003 au 30 septembre 2003 puis, depuis cette date, qu'il les avait effectués quotidiennement. Il avait toutefois conservé son appartement à Zurich.
B. Par décision sur réclamation du 19 février 2007, l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale des impôts) a rejeté la réclamation portant sur les impôts cantonaux et communaux ainsi que sur l'impôt fédéral direct de la période fiscale 2003 et celle portant sur les mêmes impôts de la période fiscale 2004. Elle a fixé le revenu imposable à 93'300 fr. au lieu de 83'900 fr. pour l'impôt cantonal et communal de la période fiscale 2003. Elle n'a pas modifié la fortune imposable de 0 fr. Le revenu imposable de l'impôt fédéral direct était arrêté à 99'600 fr. au lieu de 90'100 fr. En ce qui concerne la période fiscale 2004, elle a arrêté le revenu imposable pour l'impôt cantonal et communal à 102'300 fr. au lieu de 98'400 fr., la fortune imposable restant nulle. Le revenu imposable de l'impôt fédéral direct était fixé à 106'200 fr. au lieu de 102'300 fr. L'Administration cantonale des impôts a déterminé, pour les deux périodes fiscales en cause, les frais professionnels comme suit:
une chambre au lieu de travail (790 fr. x 12) 9'480 fr.
frais de repas à midi 1'500 fr
abonnement général 2e classe 2'990 fr.
frais de transport du domicile de Y._
à la gare de Z._ 48 x 18 km x 0.65 ct. 562 fr.
Total 14'532 fr.
Elle n'a admis qu'un seul trajet aller et retour par semaine du domicile au lieu de travail.
C. La Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a partiellement admis le recours de A.X._ et B.X._ par arrêt du 19 mai 2008. Elle a arrêté le revenu imposable à 90'300 fr. et la fortune imposable à 0 fr. en ce qui concerne les impôts cantonaux et communaux de la période fiscale 2003. Pour l'impôt fédéral direct de la même période, le revenu imposable était fixé à 96'600 fr. Relativement à la période fiscale 2004, le revenu et la fortune imposables au niveau cantonal se montaient à, respectivement, 99'300 fr. et 0 fr.; pour l'impôt fédéral direct, le revenu imposable s'élevait à 103'200 fr. En ce qui concerne les frais de transport, elle a considéré que les frais de déplacement quotidien en véhicule privé n'étaient pas admis lorsqu'ils apparaissaient comme étant inappropriés aux circonstances, parce que le contribuable travaillait trop loin de son domicile. Tel était le cas en l'espèce et c'était à bon droit que l'Administration cantonale des impôts avait admis les frais et les montants mentionnés dans sa décision sur réclamation du 19 février 2007 (cf. supra lettre B).
D. Par un "recours" adressé au Tribunal fédéral, A.X._ et B.X._ lui demandent d'admettre les frais de transport effectifs, soit 15'252 fr. pour la période fiscale 2003 et 19'284 fr. pour la période fiscale 2004.
L'Administration cantonale des impôts propose le rejet du recours dans la mesure où il est déclaré recevable. L'Administration fédérale des contributions conclut également au rejet du recours. Le Tribunal cantonal ne s'est pas déterminé sur le recours.

Considérant en droit:
1. 1.1 L'acte déposé n'indique pas la voie de recours utilisée, ce qui ne permet pas de préjuger de sa recevabilité, une telle omission ne nuisant pas au recourant, pour autant que les conditions de forme de l'une des voies de droit prévues par la loi sur le Tribunal fédéral soient respectées (<ref-ruling> consid. 1.2 p. 382; <ref-ruling> consid. 1.3 p. 296).
1.2 L'arrêt attaqué concerne aussi bien l'impôt fédéral direct que l'impôt cantonal et communal des périodes fiscales 2003 et 2004. Il est donc fondé sur le droit public, de sorte que la voie du recours en matière de droit public est en principe ouverte en vertu de l'<ref-law>, les exceptions de l'<ref-law> n'étant pas réalisées.
1.3 Deux recours différents, qui peuvent aussi être contenus dans la même écriture, doivent être déposés devant le Tribunal fédéral avec des conclusions adaptées à chacun des impôts, soit des conclusions pour l'impôt fédéral direct et des conclusions pour les impôts cantonal et communal.
Les recourants n'ont pas différencié, dans leur recours, l'impôt fédéral direct des impôts cantonal et communal, il est ainsi douteux que celui-ci remplisse les conditions de l'<ref-law>. Le Tribunal cantonal a toutefois suscité la confusion en rendant une seule décision pour l'impôt fédéral direct et l'impôt cantonal et communal, laquelle ne distingue pas les motivations relatives, d'une part, à l'impôt fédéral direct et, d'autre part, à l'impôt cantonal et communal, de sorte qu'il y a lieu de ne pas être trop sévère quant à la forme du recours, ce d'autant que les recourants ne sont pas représentés par un mandataire professionnellement qualifié.
1.4 Au surplus, interjeté par une partie directement touchée par la décision attaquée et qui a un intérêt digne de protection à son annulation ou sa modification (<ref-law>), dirigé contre un arrêt final (<ref-law>) rendu par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF) et déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi, le recours en matière de droit public est en principe recevable.
2. Les recourants doivent développer la motivation dans leur mémoire de recours, de sorte qu'un renvoi aux actes cantonaux ne suffit pas au regard de l'art. 42 al. 1 et 2 LTF. En effet, il n'appartient pas au Tribunal fédéral de compléter lui-même l'acte de recours en allant consulter les mémoires produits sur le plan cantonal (cf. <ref-ruling> consid. 3.2 p. 400; <ref-ruling> consid. 2.3 p. 387 s.; <ref-ruling> consid. 4.10 p. 302).
Dans la mesure où les recourants renvoient à leurs écritures antérieures, soit la réclamation du 9 août 2004, la lettre du 29 janvier 2007 ainsi que le recours du 18 mars 2007 au Tribunal cantonal, leur argumentation ne peut pas être prise en considération.
3. Les recourants se plaignent du fait que le Tribunal cantonal n'aurait pas repris tous les arguments qu'ils avaient développés dans leur recours du 18 mars 2007.
Conformément au droit d'être entendu, l'autorité doit indiquer dans son prononcé les motifs qui la conduisent à sa décision (<ref-ruling> consid. 2c p. 34; <ref-ruling> consid. 2b p. 109). Elle n'est pas tenue de discuter de manière détaillée tous les arguments soulevés par les parties, ni de statuer séparément sur chacune des conclusions qui lui sont présentées. Elle peut se limiter à l'examen des questions décisives pour l'issue du litige; il suffit que le justiciable puisse apprécier correctement la portée de la décision et l'attaquer à bon escient (<ref-ruling> consid. 4.1 p. 88; <ref-ruling> consid. 4.3 p. 540; <ref-ruling> consid. 2b et les arrêts cités).
En l'occurrence, les recourants ne précisent pas quels arguments n'auraient pas été pris en compte. Le Tribunal cantonal a estimé que la déduction des frais de déplacement en véhicule privé n'était pas admise lorsqu'elle apparaissait comme étant inappropriée aux circonstances, parce que le contribuable travaille trop loin de son domicile. La solution qui s'imposait généralement dans un tel cas était d'admettre la déduction des frais de logement sur place et ceux pour le retour à domicile en fin de semaine. Tel devait être le cas en l'espèce. Ce sont là des considérations que les recourants sont à même de contester efficacement. Ainsi, quand bien même la motivation de l'arrêt attaqué ne discute pas tous les arguments des recourants, elle satisfait au droit d'être entendu.
4. Dans la mesure où les recourants invoquent, pêle-mêle, l'arbitraire et la protection de la bonne foi (art. 9 Cst.), ainsi que la violation des principes de l'égalité de traitement (art. 8 Cst.), de la liberté personnelle (art. 10 Cst.), de la protection de la sphère privée (art. 13 Cst.), du droit à la famille (art. 14 et 41 al. 1 let. c Cst.) et de la liberté d'établissement (art. 24 Cst.), leurs griefs ne sont pas motivés à suffisance de droit (<ref-law>; cf. <ref-ruling> consid. 1.3 p. 67; <ref-ruling> consid. 2.1 p. 143) et sont, partant, irrecevables.
I. Impôt fédéral direct
5. 5.1 Le revenu net se calcule en défalquant du total des revenus imposables les déductions générales et les frais mentionnés notamment à l'<ref-law> (<ref-law>).
L'<ref-law> prévoit:
"1 Les frais professionnels qui peuvent être déduits sont:
a. les frais de déplacement nécessaires entre le domicile et le lieu de travail;
b. les frais supplémentaires résultant des repas pris hors du domicile et du travail par équipe;
b. les frais supplémentaires résultant des repas pris hors du domicile et du travail par équipe;
... Les frais professionnels mentionnés à l'al. 1, let. a à c, sont estimés forfaitairement; dans le cas de l'al. 1, let. a et c, le contribuable peut justifier des frais plus élevés."
Selon l'art. 1 de l'ordonnance du 10 février 1993 du Département fédéral des finances sur la déduction des frais professionnels des personnes exerçant une activité lucrative dépendante en matière d'impôt fédéral direct (RS 642.118.1; ci-après: l'ordonnance), les dépenses professionnelles déductibles sont les dépenses nécessaires à l'acquisition du revenu et ayant un rapport de causalité avec lui. L'art. 5 de l'ordonnance dispose qu'au titre des frais nécessaires de déplacement entre le domicile et le lieu de travail, le contribuable qui utilise les transports publics peut déduire ses dépenses effectives (al. 1). En cas d'utilisation d'un véhicule privé, le contribuable peut déduire, au titre des frais nécessaires à l'acquisition du revenu, les dépenses qu'il aurait eues en utilisant les transports publics (al. 2). S'il n'existe pas de transports publics, ou si l'on ne peut raisonnablement exiger du contribuable qu'il les utilise, ce dernier peut déduire les frais d'utilisation d'un véhicule privé d'après les forfaits de l'art. 3 de l'ordonnance. La justification de frais professionnels plus élevés est réservée (art. 4 de l'ordonnance) (al. 3).
Selon l'art. 9 de l'ordonnance, le contribuable qui, pendant les jours de travail, séjourne là où il travaille et qui doit par conséquent y passer la nuit, mais qui, les jours fériés, regagne régulièrement son domicile fiscal, peut déduire le surplus de dépenses résultant de son séjour hors du lieu de domicile (al. 1). Des déductions forfaitaires (art. 3 de l'ordonnance) sont fixées pour les surplus de dépenses résultant des repas pris hors du domicile. Le contribuable ne peut justifier de frais plus élevés (al. 2). Au titre des frais supplémentaires et nécessaires de logement, le contribuable peut déduire le montant du loyer d'une chambre, conformément aux loyers usuels au lieu de séjour (al. 3). Au titre des frais nécessaires de déplacement, le contribuable peut déduire les dépenses résultant du retour régulier au domicile fiscal ainsi que les frais nécessités au lieu de séjour par le déplacement entre le logement et le lieu de travail, conformément à l'art. 5 (al. 4).
5.2 La notion de dépenses nécessaires à l'acquisition du revenu recoupe celle développée par la jurisprudence sous l'empire de l'arrêté du Conseil fédéral du 9 décembre 1940 concernant la perception d'un impôt fédéral direct (RO 56 2021), en vigueur jusqu'au 31 décembre 1994 (StE 2003 B 22.3 Nr. 76, 2P.254/2002 consid. 3.2). Sont des frais d'acquisition du revenu les frais que le contribuable ne peut raisonnablement éviter (<ref-ruling> consid. 3a p. 32) et qui sont essentiellement occasionnés par la réalisation du revenu (RDAF 2005 II 123, 2A.224/2004 consid. 6.3; StE 2003 B 22.3 Nr. 76, 2P.254/2002 consid. 3.2 et les arrêts cités). En d'autres termes, il suffit que la dépense soit économiquement nécessaire à l'obtention du revenu et que l'on ne saurait exiger du contribuable qu'il s'en abstienne (<ref-ruling> consid. 3a p. 32).
5.3 Les frais résultant de déplacements effectués au moyen d'un véhicule privé ne sont des frais nécessaires à l'acquisition du revenu que si l'on ne peut raisonnablement exiger du contribuable qu'il utilise un moyen de transport public. Tel est notamment le cas lorsque l'intéressé est infirme ou en mauvaise santé, lorsque la station de transport public est très éloignée du domicile ou du lieu de travail, lorsque le début ou la fin de l'activité lucrative a lieu à des heures qui ne sont pas compatibles avec l'horaire des transports publics, ou si le contribuable dépend d'un véhicule pour l'exercice de sa profession (cf. arrêt 2A.479/1995 du 14 mai 1996 consid. 2b).
La déduction des frais de déplacement en véhicule privé n'est pas admise lorsqu'elle apparaît inappropriée aux circonstances, parce que, par exemple, le contribuable travaille trop loin de son domicile. La solution qui s'impose généralement dans un tel cas est d'admettre la déduction des frais de logement sur place et ceux pour le retour au domicile en fin de semaine. Ce sont en effet les frais qui apparaissent alors comme nécessaires à l'acquisition du revenu (cf. aussi sur les trajets qui sont considérés comme nécessaires ou pas à l'acquisition du revenu: StE 2007 B 22.3 Nr. 93, 2P.251/2006).
A ce titre, le Tribunal fédéral a refusé de considérer comme nécessaire à l'acquisition du revenu les frais de déplacement en voiture d'un contribuable qui effectuait chaque jour 350 km pour se rendre sur son lieu de travail et retourner le soir à son domicile (arrêt 2A.479/1995 du 14 mai 1996). Dans le cas d'un contribuable qui se rendait trois fois par semaine de Genève à Zollikofen pour son travail en véhicule privé et louait une chambre à Berne pour les deux soirs où il ne rentrait pas à son domicile fiscal, le Tribunal fédéral a considéré comme non arbitraire, du point de vue du droit cantonal, et conforme au droit fédéral, le refus des frais de déplacement effectifs en véhicule privé. Seule la déduction forfaitaire pour les trajets correspondant aux frais de transports publics (abonnement général des CFF) avait été prise en compte par l'autorité de taxation, étant précisé que la déduction du loyer de la chambre à Berne et les frais de repas pris hors du domicile avaient été acceptés (RDAF 2004 II p. 251, 2P.64/2004).
6. 6.1 Les recourants demandent que soient acceptés comme déduction les frais de transport effectifs en véhicule privé entre Y._ et Zurich, représentant 320 km aller et retour, soit 15'252 fr. pour la période fiscale 2003, et 19'284 fr. pour la période fiscale 2004. Ces montants correspondent à deux allers et retours au domicile par semaine pour la période du 1er janvier 2003 au 30 septembre 2004 et à des trajets quotidiens pour la période allant du 1er octobre au 31 décembre 2004. Les recourants invoquent le fait que A.X._ a obtenu une voiture par le biais de son employeur pour laquelle une part de salaire en nature lui est comptée, la dépression de B.X._ qui nécessite que son mari rentre souvent afin de s'occuper d'elle et, finalement, les horaires des trains qui ne seraient pas compatibles avec l'activité professionnelle exigeante de A.X._.
6.2 A.X._ parcourt plus d'une fois par semaine aller et retour les quelques 160 km qui séparent son domicile fiscal de son lieu de travail. Une telle distance permet de qualifier des allers et retours effectués plus d'une fois par semaine comme étant inadaptés à la situation. Comme susmentionné, dans un tel cas, les déductions admises sont celles correspondant à un aller et retour hebdomadaire du domicile au lieu de travail, ainsi qu'aux frais de logement et de repas pris hors du domicile. D'ailleurs les recourants demandent, outre la déduction des frais de déplacement effectifs, la déduction du loyer de l'appartement de Zurich que A.X._ a gardé et des frais de repas. On ne peut pas considérer, en sus de ces frais, un aller et retour effectué plus d'une fois par semaine comme des frais nécessaires à l'acquisition du revenu au sens des <ref-law> et 5 de l'ordonnance. Le fait que A.X._ ait décidé de regagner son domicile deux fois par semaine puis quotidiennement relève d'un choix de vie. Ces trajets ont été entrepris pour des motifs qui sont propres à A.X._, tels que de pouvoir passer du temps avec son épouse, et qui ne peuvent être pris en compte du point de vue fiscal. Les arguments avancés par les recourants (cf. supra consid. 6.1) ne changent rien à l'appréciation du cas. En conséquence, la décision du Tribunal cantonal d'accepter comme déduction un aller et retour hebdomadaire du domicile au lieu de travail, le loyer du logement à Zurich durant la semaine ainsi que les frais de repas pris hors du domicile est conforme aux art. 26 al. 1 let. a et b LIFD et 9 de l'ordonnance.
Dès lors qu'un seul aller et retour hebdomadaire doit être admis dans le cas de A.X._, il est possible à ce dernier de prendre les transports publics. Selon une pièce jointe au recours, il y a un train au départ de Z._ à 6 h. 09 qui arrive à destination 8 h. 19. Un trajet de 2 h. 10 une fois par semaine permettant une heure d'arrivée au travail correcte est acceptable. Ainsi, pour cet aller et retour hebdomadaire, il est conforme aux <ref-law> et 5 de l'ordonnance de déduire les frais de déplacement en transports publics.
II. Impôt cantonal et communal
7. Comme la loi sur l'impôt fédéral direct, la loi fédérale d'harmonisation prévoit que les dépenses nécessaires à l'acquisition du revenu et les déductions générales sont défalquées de l'ensemble des revenus imposables (art. 9 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]).
L'art. 30 al. 1 lettre a de la loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux (RSV 642.11) prévoit que peuvent être déduits les frais de transports nécessaires du contribuable de son domicile à son lieu de travail, à la condition qu'ils ne soient pas remboursés par l'employeur. Cette disposition reprend la même notion de nécessité que l'art. 26 al. 1 lettre c LIFD. Il s'ensuit que les considérations développées ci-dessus relatives à la déduction des frais de transport s'appliquent mutatis mutandis aux impôts cantonal et communal.
Par conséquent, le recours doit également être rejeté dans la mesure où il est recevable en ce qui concerne les impôts cantonal et communal.
8. Les considérants qui précèdent conduisent au rejet du recours dans la mesure où il est recevable tant en matière d'impôt fédéral direct que d'impôts cantonal et communal.
Succombant, les recourants doivent supporter les frais judiciaires solidairement entre eux (art. 65 et 66 al. 1 LTF) et n'ont pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable en tant qu'il concerne l'impôt fédéral direct.
2. Le recours est rejeté dans la mesure où il est recevable en tant qu'il concerne les impôts cantonal et communal.
3. Un émolument judiciaire de 1'800 fr. est mis à la charge des recourants solidairement entre eux.
4. Le présent arrêt est communiqué aux recourants, à l'Administration cantonale des impôts et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud ainsi qu'à la Division "Droit" de l'Administration fédérale des contributions.
Lausanne, le 26 novembre 2008
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
T. Merkli E. Kurtoglu-Jolidon