Faits: A. A.X._ et B.X._ ont mentionné, dans leur déclaration d'impôt 2003, un revenu imposable de 78'100 fr. et une fortune imposable nulle. Le 16 septembre 2005, après une première décision du 13 juillet 2004 de l'Office d'impôt du district de Z._ (ci-après: l'Office d'impôt), une réclamation déposée par les intéressés, puis deux propositions de règlement en leur défaveur et refusées par A.X._ et B.X._, l'Office d'impôt a rendu une décision de taxation et calcul d'impôt pour les impôts cantonaux et communaux, ainsi que pour l'impôt fédéral direct de la période fiscale 2003. Celle-ci fixait le revenu et la fortune imposables au niveau cantonal à, respectivement, 83'900 fr. et 0 fr. Concernant l'impôt fédéral direct, le revenu imposable se montait à 90'100 fr. Les frais de transport admis s'élevaient à 10'548 fr. et ceux de repas et de séjour hors du domicile à 13'440 fr. A.X._ et B.X._ ont à nouveau déposé une réclamation à l'encontre de cette décision. Le 22 août 2005, l'Office d'impôt a rendu une décision de taxation et calcul de l'impôt relative aux impôts cantonaux et communaux ainsi qu'à l'impôt fédéral direct de la période fiscale 2004. Le revenu imposable pour l'impôt cantonal et communal était de 98'400 fr. et la fortune était nulle. Le revenu imposable pour l'impôt fédéral direct s'élevait à 102'300 fr. Les frais de transports admis se montaient à 9'876 fr. et ceux de repas et de séjour hors du domicile à 8'610 fr. A.X._ et B.X._ ont élevé réclamation à l'encontre de cette décision. Ils contestaient, notamment, le montant des frais de transport admis en déduction du revenu imposable. A la suite d'une demande de pièces, A.X._ a indiqué qu'il avait fait les trajets de son domicile de Y._ (VD) à son lieu de travail à Zurich à raison de deux fois par semaine du 1er janvier 2003 au 30 septembre 2003 puis, depuis cette date, qu'il les avait effectués quotidiennement. Il avait toutefois conservé son appartement à Zurich. B. Par décision sur réclamation du 19 février 2007, l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale des impôts) a rejeté la réclamation portant sur les impôts cantonaux et communaux ainsi que sur l'impôt fédéral direct de la période fiscale 2003 et celle portant sur les mêmes impôts de la période fiscale 2004. Elle a fixé le revenu imposable à 93'300 fr. au lieu de 83'900 fr. pour l'impôt cantonal et communal de la période fiscale 2003. Elle n'a pas modifié la fortune imposable de 0 fr. Le revenu imposable de l'impôt fédéral direct était arrêté à 99'600 fr. au lieu de 90'100 fr. En ce qui concerne la période fiscale 2004, elle a arrêté le revenu imposable pour l'impôt cantonal et communal à 102'300 fr. au lieu de 98'400 fr., la fortune imposable restant nulle. Le revenu imposable de l'impôt fédéral direct était fixé à 106'200 fr. au lieu de 102'300 fr. L'Administration cantonale des impôts a déterminé, pour les deux périodes fiscales en cause, les frais professionnels comme suit: une chambre au lieu de travail (790 fr. x 12) 9'480 fr. frais de repas à midi 1'500 fr abonnement général 2e classe 2'990 fr. frais de transport du domicile de Y._ à la gare de Z._ 48 x 18 km x 0.65 ct. 562 fr. Total 14'532 fr. Elle n'a admis qu'un seul trajet aller et retour par semaine du domicile au lieu de travail. C. La Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a partiellement admis le recours de A.X._ et B.X._ par arrêt du 19 mai 2008. Elle a arrêté le revenu imposable à 90'300 fr. et la fortune imposable à 0 fr. en ce qui concerne les impôts cantonaux et communaux de la période fiscale 2003. Pour l'impôt fédéral direct de la même période, le revenu imposable était fixé à 96'600 fr. Relativement à la période fiscale 2004, le revenu et la fortune imposables au niveau cantonal se montaient à, respectivement, 99'300 fr. et 0 fr.; pour l'impôt fédéral direct, le revenu imposable s'élevait à 103'200 fr. En ce qui concerne les frais de transport, elle a considéré que les frais de déplacement quotidien en véhicule privé n'étaient pas admis lorsqu'ils apparaissaient comme étant inappropriés aux circonstances, parce que le contribuable travaillait trop loin de son domicile. Tel était le cas en l'espèce et c'était à bon droit que l'Administration cantonale des impôts avait admis les frais et les montants mentionnés dans sa décision sur réclamation du 19 février 2007 (cf. supra lettre B). D. Par un "recours" adressé au Tribunal fédéral, A.X._ et B.X._ lui demandent d'admettre les frais de transport effectifs, soit 15'252 fr. pour la période fiscale 2003 et 19'284 fr. pour la période fiscale 2004. L'Administration cantonale des impôts propose le rejet du recours dans la mesure où il est déclaré recevable. L'Administration fédérale des contributions conclut également au rejet du recours. Le Tribunal cantonal ne s'est pas déterminé sur le recours.