Faits: A. B.X._ et A.X._ (ci-après: les époux X._) sont propriétaires d'une villa à C._ (VD), construite en 1987, dans laquelle ils habitent. Dans le courant de l'année 2003, ils ont encouru divers frais en relation avec leur immeuble, en particulier ceux concernant: (a) des travaux d'aménagement extérieurs, notamment l'installation d'une pergola et d'une terrasse, facturés pour un montant de 30'682 fr.; (b) des travaux de cheminement à l'intérieur du jardin ascendant à 3'190 fr.; (c) des travaux de peintures extérieures s'élevant à 4'950 fr. 40; (d) l'installation de bacs "Muraflor" à un prix de 5'572 fr. 50, y compris l'enlèvement de la végétation, le réglage du sol pour la pose, l'évacuation de végétaux et le bétonnage; (e) l'installation d'un barbecue pour un montant de 5'082 fr. 50; et (f) la pose d'une couverture acrylique d'un montant de 1'411 fr. 20. D'autres frais résultaient d'une facture de géomètre-architecte pour un montant de 7'550 fr. (g), de la location d'une mini-benne de 216 fr. 30 (h), ainsi que des taxes d'ordure et d'épuration à hauteur de 120 fr. et 374 fr. 75 (i et j). En outre, les époux X._ ont fait installer une pièce au sous-sol de leur villa pour un montant de 38'473 fr. (k). B. Dans leur déclaration fiscale relative à l'impôt cantonal et communal (ICC) et à l'impôt fédéral direct (IFD) pour la période 2003, les époux X._ ont fait valoir une déduction des frais d'entretien de leur immeuble pour un montant total de 63'731 fr. après abattement d'une plus-value estimée à 38'473 fr. Y figuraient notamment les frais précités. Par décision de taxation et calcul de l'impôt du 3 octobre 2005, l'Office d'impôt de D._ (VD) a fixé le revenu imposable des époux X._ sur le plan cantonal et communal à 123'000 fr. au taux de 68'400 fr. et, sur le plan de l'IFD, à 119'900 fr. au taux de 119'900 fr. Cette décision indiquait en outre que la déduction des frais d'immeubles était limitée au forfait du cinquième du rendement locatif. Le 6 octobre 2005, les époux X._ ont formé réclamation contre la décision de l'Office d'impôt de D._, demandant que les frais d'entretien effectifs de leur immeuble soient déduits de leur revenu imposable. L'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale des impôts) a rejeté leur réclamation par décision du 9 février 2010 et a confirmé la décision de taxation du 3 octobre 2005. Par arrêt du 12 octobre 2010, la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal) a rejeté le recours interjeté par les époux X._ et a confirmé la décision sur réclamation de l'Administration cantonale des impôts du 9 février 2010 tant par rapport à l'IFD qu'à l'ICC. C. Agissant par la voie du recours en matière de droit public, les époux X._ demandent, sous suite de dépens, au Tribunal fédéral, principalement, d'annuler l'arrêt du 12 octobre 2010 et de le réformer "en ce sens que les frais d'entretien de l'immeuble de 63'731 fr. seront déduits du revenu imposable des recourants sur les plans des impôts cantonaux, communaux et fédéraux 2003 et leur taxation pour l'exercice 2003 sera ainsi modifiée", et, subsidiairement, de les acheminer à prouver les faits allégués. Le Tribunal cantonal se réfère à son arrêt du 12 octobre 2010. L'Administration cantonale des impôts et l'Administration fédérale des contributions concluent au rejet du recours.