Faits:
A. A.X._ et B.X._ habitent dans une villa qui leur appartient et qui est située au chemin de C._ n° **, à D._. Dans leur déclaration d'impôt 2006, ils sont arrivés à un revenu imposable de 172'000 fr., en faisant notamment valoir une déduction de 10% de la valeur locative de cet immeuble, au titre d'un environnement défavorable. Le 13 août 2008, l'Office d'impôt du district de Lavaux-Oron a refusé d'admettre la déduction revendiquée et fixé leur revenu imposable à 174'200 fr. en matière d'impôts cantonal et communal et à 177'300 fr. en matière d'impôt fédéral direct, la valeur locative déterminante de la villa de D._ étant établie à 20'378,65 fr.
Les époux X._ ayant déposé une réclamation, l'Office d'impôt des districts de Lausanne et de l'Ouest lausannois leur a adressé, le 4 mars 2009, une nouvelle détermination des éléments imposables, corrigeant à la hausse les estimations fiscales et maintenant le refus de réduction pour environnement défavorable. Les contribuables ayant confirmé leur réclamation, celle-ci a été transmise à l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) qui l'a rejetée le 21 avril 2010.
B. Par arrêt du 21 octobre 2010, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours formé par A.X._ contre la décision de l'Administration cantonale du 21 avril 2010 et confirmé ladite décision. Le Tribunal cantonal a notamment considéré que la proximité d'une route passante ne constituait pas, à elle seule, un environnement particulièrement défavorable.
C. Le 15 novembre 2010, A.X._ a déposé un recours au Tribunal fédéral à l'encontre de l'arrêt du Tribunal cantonal du 21 octobre 2010. Il conclut à l'annulation de l'arrêt attaqué et à la reconnaissance d'un environnement défavorable.
Le Tribunal cantonal, l'Administration cantonale et l'Administration fédérale des contributions (ci-après: l'AFC) concluent au rejet du recours, la dernière de ces autorités avec suite de frais.

Considérant en droit:
1. 1.1 Le recourant n'a pas indiqué par quelle voie de recours il procède auprès du Tribunal fédéral. Toutefois, il s'est référé aux <ref-law> et subsidiairement aux <ref-law>. Il apparaît donc qu'il a voulu agir par la voie du recours en matière de droit public et, subsidiairement, par celle du recours constitutionnel subsidiaire. L'imprécision de l'intitulé de son mémoire ne saurait lui nuire si son recours remplit les conditions légales de la voie de droit qui lui est ouverte (cf. <ref-ruling> consid. 1.2 p. 302 s., 308 consid. 4.1 p. 314).
1.2 Le recours est dirigé contre une décision finale (<ref-law>) qui a été rendue dans une cause de droit public (<ref-law>) par un tribunal supérieur statuant en dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF) et qui ne peut pas faire l'objet d'un recours auprès du Tribunal administratif fédéral (art. 86 al. 1 let. d LTF); en outre, aucune des exceptions prévues à l'<ref-law> n'est réalisée. La voie du recours en matière de droit public est donc en principe ouverte au regard de la LTF. Elle l'est également en vertu de l'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) et de l'art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (ci-après: la loi fédérale sur l'harmonisation ou LHID; RS 642.14; sur les rapports entre cette disposition et la LTF, cf. <ref-ruling> consid. 1.3 p. 189).
1.3 Déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>) par le contribuable destinataire de l'arrêt attaqué qui a intérêt à recourir (<ref-law>), le présent recours, envisagé comme un recours en matière de droit public, est donc en principe recevable.
1.4 Bien que le recours soit en allemand, il y a lieu de rédiger le présent arrêt en français, puisque c'est la langue de l'arrêt attaqué (<ref-law>). La procédure ne démontre en outre aucune nécessité d'ordonner des traductions (cf. <ref-law>).
2. L'arrêt attaqué concerne à la fois l'impôt fédéral direct et les impôts cantonal et communal, ce qui est admissible du moment que la question litigieuse relative à l'imposition de la valeur locative est réglée de la même manière pour les deux catégories d'impôts aux <ref-law> et 25 de la loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux (LI; RS/VD 642.11) (<ref-ruling> consid. 1.3.1 p. 262).
3. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), alors qu'il n'examine la violation de droits fondamentaux et celle de dispositions cantonales que si ce grief a été invoqué et motivé par le recourant conformément au principe d'allégation (<ref-law>). Sauf dans les cas cités expressément à l'<ref-law>, le recours ne peut pas être formé pour violation du droit cantonal en tant que tel. En revanche, il est toujours possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. Lorsque le grief d'arbitraire est soulevé, il appartient au recourant d'expliquer clairement en quoi l'acte attaqué serait arbitraire, ne reposerait sur aucun motif sérieux et objectif, apparaîtrait insoutenable ou heurterait gravement le sens de la justice (cf. <ref-ruling> consid. 3.2 p. 400; <ref-ruling> consid. 7a p. 312). En outre, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il peut cependant rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>; cf. aussi <ref-law>).
I. Impôt fédéral direct
4. Le litige porte exclusivement sur l'estimation de la valeur locative de l'immeuble occupé par le recourant dans le cadre du calcul de son revenu imposable. Le recourant conteste le refus des autorités cantonales d'admettre une déduction de 10% de la valeur locative retenue en raison d'un environnement défavorable.
4.1 Selon l'<ref-law>, est imposable le rendement de la fortune immobilière, en particulier la valeur locative des immeubles dont le contribuable se réserve l'usage en raison de son droit de propriété. L'alinéa 2 de l'<ref-law> prévoit que la valeur locative est déterminée compte tenu des conditions locales et de l'utilisation effective du logement au domicile du contribuable.
En matière d'impôt fédéral direct, la valeur locative correspond au loyer objectif du marché (<ref-ruling> consid. 2.2 p. 381; <ref-ruling> consid. 4b p. 14 s.). Cette imposition répond à un souci d'égalité: elle tend notamment à traiter de la même manière le propriétaire, qui peut déduire une partie des frais de son logement, et le locataire, qui ne peut pas en déduire, bien qu'il supporte une certaine proportion des frais répercutée sur le loyer (<ref-ruling> consid. 4.3. p. 163 s.; <ref-ruling> consid. 2.1 p. 380 s.; cf. aussi CAROLINE RUSCONI, L'imposition de la valeur locative, 1988, p. 44).
Pour établir le loyer objectif du marché, il faut procéder à une estimation en tenant compte notamment des conditions locales. Est déterminant le montant que le propriétaire pourrait obtenir en louant l'immeuble en question aux conditions usuelles du lieu ou la somme qu'il devrait lui-même payer pour louer une habitation semblable et qu'il peut ainsi épargner (arrêts 2C_164/2007 du 17 octobre 2007 consid. 3.1 et 2A.298/1994 du 21 novembre 1996 consid. 4a, traduit in RDAF 1997 II p. 706; NICOLAS MERLINO, in Commentaire romand, Impôt fédéral direct, 2008, n° 97 ad <ref-law>).
Dans le but d'uniformiser l'imposition de la valeur locative, l'AFC a édicté des directives (cf. circulaire du 25 mars 1969 concernant la détermination du rendement locatif imposable des maisons d'habitation, Archives 38 p. 121 ss). Selon ces directives, la valeur locative se détermine en principe d'après une procédure d'estimation individuelle ou sur la base d'estimations cantonales, pour autant que celles-ci existent et aient été effectuées selon des règles uniformes (cf. RUSCONI, op. cit, p. 96 s.).
4.2 Dans le canton de Vaud, la détermination de la valeur locative, qui vaut notamment pour l'impôt fédéral direct, est régie par l'art. 25 LI qui dispose que la valeur locative des immeubles dont le contribuable se réserve l'usage en raison de son droit de propriété correspond à un loyer moyen de ce logement estimé au moment de l'affectation (al. 1) et qu'elle s'élève aux 65% de la valeur statistique indexée au sens de l'alinéa 3 (al. 2). Selon l'art. 25 al. 3 LI, la valeur statistique est établie sur la base d'une statistique des loyers, mise à jour périodiquement; elle tient compte de la surface du logement, de l'âge du bâtiment et de la commune de situation de l'immeuble, du type de logement, de l'absence de confort et de l'environnement défavorable; entre les mises à jour de la statistique, elle est adaptée d'après la variation du coût de la vie, des loyers et du coût de la construction. L'art. 25 al. 5 LI précise que le Conseil d'Etat vaudois fixe notamment les bases servant à la détermination de la valeur locative, ce qu'il a fait par règlement du 11 décembre 2000 sur la détermination de la valeur locative (RVLoc; RS/VD 642.11.9.1). L'art. 3 RVLoc énumère les éléments déterminant le montant de la valeur locative (al. 1). D'après son alinéa 2, la valeur locative de base est établie en fonction de la surface du logement; elle est assortie de coefficients d'adaptation tenant compte de l'âge du bâtiment, de la commune de situation de l'immeuble et du type de logement (...). En outre, l'art. 3 al. 3 RVLoc prévoit que l'absence manifeste de confort du logement ou un environnement exceptionnellement défavorable sont des éléments qui, s'ils sont réalisés, ont chacun pour effet une réduction de 10% de la valeur locative. La jurisprudence a souligné que la déduction pour environnement défavorable revêtait un caractère exceptionnel (cf. arrêt 2C_164/2007 du 17 octobre 2007 consid. 3.4 in fine), comme cela ressort du reste expressément du texte de l'art. 3 al. 3 RVLoc.
5. Le recourant fait valoir l'arbitraire de l'appréciation cantonale relative à l'environnement de son immeuble. Il soutient que la valeur locative générale est calculée à partir d'une valeur statistique qui est une valeur moyenne. Sa maison étant située dans un quartier en principe sans nuisance, les autorités devaient tenir compte de sa situation particulière en bordure de route et admettre la réduction de 10% en raison d'un environnement défavorable. Il reproche en outre au Tribunal cantonal d'avoir considéré que l'annexe 3 de l'ordonnance du 15 décembre 1986 sur la protection contre le bruit (OPB; RS 814.41) n'était pas déterminante pour admettre l'existence de nuisances sonores.
5.1 Le Tribunal cantonal a retenu que l'immeuble du recourant était situé dans un quartier résidentiel, mais qu'il se trouvait au bord du chemin de C._, soit d'une route supportant un certain trafic générant des désagréments sonores. Il a relevé que les nuisances sonores dont se plaignait le recourant n'avaient rien d'exceptionnel. Il a du reste rappelé que, selon sa pratique, bien des personnes subissaient des désagréments équivalents car leur logement était situé en bordure d'une route passante ou d'une voie ferrée, sans pour autant que leur situation ne soit jugée "exceptionnellement défavorable". Il a aussi souligné qu'aucun des voisins directs de l'intéressé ne bénéficiait d'une déduction de 10% pour environnement défavorable. Compte tenu de la marge d'appréciation laissée aux autorités cantonales s'agissant de la détermination de la valeur locative et du fait que la réduction prévue à l'art. 3 al. 3 RVLoc est exceptionnelle, on ne voit pas que les autorités cantonales soient tombées dans l'arbitraire en considérant que la proximité de la route ne suffisait pas à qualifier l'environnement de l'immeuble en cause de particulièrement défavorable. Il convient de relever qu'hormis le bruit, le recourant ne fait état d'aucun élément que les autorités auraient omis de prendre en considération.
5.2 Le fait que la valeur locative ait été calculée sur la base d'une moyenne n'y change rien. En effet, dans le canton de Vaud, la valeur locative est établie à partir d'une valeur statistique des loyers basée sur les loyers mensuels moyens des logements en fonction de la surface du logement, de l'âge du bâtiment, du type de logement, de son absence de confort, de l'environnement défavorable et de la commune de situation de l'immeuble. Ainsi, la détermination de la valeur locative des immeubles situés dans le canton prend en compte les conditions locales. Elle respecte donc le droit fédéral et la volonté du législateur exigeant que le loyer du marché au niveau local soit pris en considération. Le fait que le calcul de la valeur moyenne utilisée en l'espèce puisse prendre en compte une majorité de logements subissant des nuisances sonores moins fortes que celles auxquelles est exposé l'immeuble du recourant ne suffit pas à justifier une réduction. Dès lors que le principe d'un calcul sur la base d'une valeur moyenne est admis, chaque propriétaire ne peut faire état de sa situation individuelle, à moins qu'elle soit exceptionnelle (cf. art. 3 al. 3 RVLoc), ce qui a été nié sans arbitraire.
5.3 La corrélation que le recourant veut établir avec le classement de son immeuble en zone III en application de l'ordonnance sur la protection contre le bruit ne saurait au surplus lier les autorités fiscales. En effet, cette ordonnance, qui a pour but de protéger contre le bruit nuisible ou incommodant (<ref-law>), ne peut exercer une influence déterminante dans la fixation de la valeur locative d'un immeuble pour le calcul du revenu imposable. La localisation d'un immeuble en zone urbaine, même dans un environnement bruyant, implique en principe une valeur locative plus élevée qu'un immeuble situé dans une région reculée, dénuée de bruit. Partant, on ne peut pas déduire du simple fait que l'immeuble du recourant est situé en degré III de sensibilité au bruit (sur une échelle qui comporte quatre échelons; cf. annexe 3 de l'ordonnance précitée) qu'il se trouve de facto dans un environnement exceptionnellement défavorable, de sorte qu'une déduction de 10% de la valeur locative serait justifiée. Certes, le bruit constitue un élément à prendre en compte, mais d'autres facteurs jouent aussi un rôle, comme le quartier, les commodités à disposition, le dégagement, etc. Or, comme indiqué ci-avant, l'ensemble des éléments, notamment le quar- tier où se situe la villa du recourant, rend l'appréciation des autorités fiscales selon laquelle l'environnement n'est pas exceptionnellement défavorable en raison du seul bruit soutenable.
Par conséquent, le recours doit être rejeté en tant qu'il concerne l'impôt fédéral direct.
II. Impôts cantonal et communal
6. L'<ref-law> prévoit l'imposition de la valeur locative. S'agissant de la détermination de celle-ci, la loi fédérale sur l'harmonisation ne pose pas d'exigences allant au-delà des limites fixées par les normes constitutionnelles, en particulier par le principe d'égalité de traitement entre les propriétaires et les locataires. Les cantons disposent ainsi d'une certaine marge de manoeuvre dans la fixation de la valeur locative (<ref-ruling> consid. 2.2 p. 381). Dans l'arrêt 2C_164/2007 du 17 octobre 2007 consid. 6.2, la Cour de céans a déjà relevé que, s'agissant des déductions pour logement sans confort et pour environnement défavorable, les règles dans le canton de Vaud sont les mêmes pour l'impôt cantonal et communal qu'en matière d'impôt fédéral direct. Par conséquent, par renvoi au raisonnement qui précède, le recours doit aussi être rejeté s'agissant des impôts cantonal et communal.
7. Le recourant, qui succombe entièrement, doit supporter les frais judiciaires (art. 65 et 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté s'agissant de l'impôt fédéral direct.
2. Le recours est rejeté s'agissant des impôts cantonal et communal.
3. Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué au recourant, à l'Administration cantonale des impôts et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Administration fédérale des contributions, Division principale DAT.
Lausanne, le 27 avril 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Zünd Dupraz