Faits:
A. Les époux A.X._ et B.X._ ont été domiciliés à C._, dans le canton de Vaud, jusqu'en 2008.
A.a Pour la période fiscale 1995-1996, l'autorité de taxation a rendu, le 23 octobre 1996, une décision définitive de taxation et de répartition intercantonale (entre les cantons de Vaud et Zurich) contre laquelle les époux X._ ont formé réclamation. Pour la période fiscale 1997-1998, l'autorité de taxation a rendu, le 6 octobre 1997, deux décisions définitives de taxation et de répartition intercantonale couvrant respectivement les périodes du 1er janvier 1997 au 31 juillet 1997 et du 1er août 1997 au 31 décembre 1998, pour tenir compte de la fin de l'activité principale de B.X._. Les contribuables ont également formé réclamation contre ces deux décisions. Le 27 août 1998, l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) a rejeté les deux réclamations. Contre cette décision, les époux X._ ont recouru auprès du Tribunal administratif du canton de Vaud, qui a partiellement admis le recours, par arrêt du 14 septembre 2005: la décision de l'Administration cantonale du 27 août 1998 a été maintenue dans la mesure où elle portait sur la période fiscale 1995-1996 et annulée en tant qu'elle portait sur la période fiscale 1997-1998, le dossier étant renvoyé à l'autorité inférieure pour nouvelle décision dans le sens indiqué.
Le 8 février 2006, à la suite de l'arrêt précité, l'Office d'impôt de D._ actuellement l'Office d'impôt du district de E._ (ci-après: l'Office d'impôt) a adressé aux époux X._ un décompte final complémentaire d'impôt cantonal et communal sur le revenu et la fortune (ICC) pour chacune des années concernées, soit 1995, 1996, 1997 et 1998. Il en résultait des soldes d'impôt que les contribuables ont payés.
A.b En ce qui concerne les années 1999 à 2002, l'Office d'impôt a établi, le 14 décembre 2004, un décompte final complémentaire d'ICC pour chaque année. La situation était la suivante:
- pour 1999, il y avait un solde de 3'409,30 fr. à la charge des contribuables,
- pour 2000, il y avait un solde de fr. 2'569,75 fr. à la charge des contribuables,
- pour 2001, il y avait un solde de 6'888 fr. en faveur des contribuables,
- pour 2002, il y avait un solde de 10'058,20 fr. en faveur des contribuables.
L'Administration cantonale a "réglé" en janvier 2008 la réclamation déposée contre les décisions du 14 décembre 2004.
A.c Pour les périodes fiscales 2003 et 2004, l'Office d'impôt a adressé, le 16 avril 2008, aux époux X._ le décompte final d'ICC 2003 comportant un solde de 16'357,25 fr. à leur charge et le décompte final de l'impôt fédéral direct (IFD) pour la période fiscale 2003 comportant un solde de 12'428,95 fr. à leur charge.
Le 21 avril 2008, l'Office d'impôt a adressé aux époux X._ le décompte final d'ICC 2004 comportant un solde de 5'302 fr. en leur faveur et le décompte final d'IFD 2004 comportant un solde de 1'750,55 fr. à leur charge.
Le 24 avril 2008, B.X._ a demandé, en matière d'ICC pour les années 1999-2002, le remboursement en faveur de son couple de "presque 10'000 fr.", avec intérêts. Elle se fondait sur le règlement des réclamations pour lesdites années, sur le caractère définitif des décisions de taxation de 2004 et sur les paiements effectués par le couple. Le 20 mai 2008, l'Office d'impôt a rejeté la requête, parce que l'ICC 2003 n'avait pas encore été payé. Il s'en est suivi un échange de correspondance entre les époux X._ et l'Office d'impôt. En particulier, dans une lettre du 27 mai 2008 aux époux X._, l'Office d'impôt a indiqué qu'il existait en sa faveur un solde de 65'434,15 fr. en prenant en considération les acomptes jusqu'à l'année fiscale 2008. Compte tenu de l'importance de ce montant, il a refusé le remboursement sollicité en se référant à l'<ref-law> (compensation).
Le 16 octobre 2008, l'Office d'impôt a rendu de nouvelles décisions de taxation et envoyé aux époux X._ des décomptes finaux complémentaires aboutissant aux résultats suivants:
- pour l'ICC 2003, il existait un solde de 1'563,40 fr. en faveur des contribuables,
- pour l'IFD 2003, il existait un solde de 423,80 fr. en faveur des contribuables,
- pour l'ICC 2004, il existait un solde de 1'364 fr. en faveur des contribuables,
- pour l'IFD 2004, il existait une solde de 24,30 fr. en faveur des contribuables.
Le 16 octobre 2008, les époux X._ ont eu un entretien avec des représentants de l'Office d'impôt.
Le 20 octobre 2008, l'Office d'impôt a adressé aux époux X._ un second décompte final complémentaire d'ICC 2004 indiquant un solde de 164,55 fr. en faveur des contribuables et un second décompte final complémentaire d'IFD 2004 indiquant un solde de 61,80 fr. en faveur des contribuables. Le 20 octobre 2008, B.X._ a maintenu son opposition.
A.d Pour les périodes fiscales 2005 et 2006, l'Office d'impôt a établi, le 2 avril 2009, un décompte final d'ICC 2005 comportant un solde de 30'616,15 fr. à la charge des contribuables et un décompte final d'IFD 2005 comportant un solde de 3'222,50 fr. à la charge des contribuables. Le 3 avril 2009, l'Office d'impôt a établi le décompte final d'ICC 2006 indiquant un solde de 11'702,50 fr. à la charge des contribuables et le décompte final d'IFD 2006 indiquant un solde de 2'638,25 fr. à la charge des contribuables.
Le 21 avril 2009, B.X._ a formé réclamation contre les décomptes précités.
Le 18 mai 2009, l'Office d'impôt a établi un décompte final complémentaire d'ICC 2006 comportant un solde de 11'208,10 fr. à la charge des contribuables et un décompte final complémentaire d'IFD 2006 comportant un solde de 318,35 fr. en faveur des contribuables. Par lettre du 27 mai 2009, les époux X._ ont maintenu leur réclamation. Ils contestaient essentiellement l'imputation de leurs paiements à d'autres années que celles pour lesquelles ils les avaient effectués et le transfert du solde en leur faveur sur les impôts des années suivantes.
B. Par décision du 2 juin 2009 sur réclamation, l'Administration cantonale a statué comme suit:
"1. Le décompte ICC 2003 du 16 avril 2008 est modifié en ce sens que l'intérêt compensatoire en faveur de l'Etat, d'un montant de 0 fr. 65, n'est pas perçu;
2. Le décompte ICC 2006 du 18 mai 2009 est modifié en ce sens que le solde dû s'élève à 1'521.65;
3. Pour les périodes fiscales 2003 à 2006, les contribuables restent à ce jour débiteurs des montants suivants, intérêts moratoires sur décomptes non compris:
- 6'292 fr. 75 pour l'ICC 2003
- 12'005 fr. 15 pour l'IFD 2003
- 1'726 fr. 25 pour l'IFD 2004
- 1'521 fr. 65 pour l'ICC 2006
4. Les contribuables bénéficient d'un solde en leur faveur de 318 fr. 35 pour l'IFD 2006;
5. Les réclamations sont rejetées pour le surplus."
C. Par arrêt du 14 avril 2010, la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal) - qui a succédé au Tribunal administratif du canton de Vaud - a partiellement admis le recours des époux X._ contre la décision de l'Administration cantonale du 2 juin 2009. Le Tribunal cantonal a en effet réformé cette décision en ce sens que le montant de l'ICC 2003 (intérêts moratoires sur décomptes non compris) devait être fixé à 7'304,95 fr. et celui de l'IFD 2003 (intérêts moratoires sur décomptes non compris) à 7'458,80 fr. Pour le surplus, il a confirmé ladite décision.
D. Le 17 mai 2010, A.X._ et B.X._ ont déposé un recours au Tribunal fédéral à l'encontre de l'arrêt du Tribunal cantonal du 14 avril 2010. Ils demandent à l'Autorité de céans, sous suite de frais et dépens, de constater que les impôts des années fiscales 1995 à 1998 sont liquidés et, éventuellement, qu'un intérêt n'est pas dû sur les impôts 1995 à 1998. Ils lui demandent également de constater qu'il reste les soldes suivants d'impôt 1999 à 2006 "(sauf intérêts)":
- solde en faveur des contribuables de 7,65 fr. pour les ICC 1999 à 2004 et pour les IFD 2003 et 2004,
- solde en faveur des contribuables de 62,20 fr. pour l'ICC et l'IFD 2005,
- solde à la charge des contribuables de 0,85 fr. pour l'ICC et l'IFD 2006.
En outre, les recourants concluent au renvoi de la cause à l'autorité précédente pour le calcul des intérêts.
Le Tribunal cantonal a renoncé à répondre au recours. L'Administration cantonale conclut au rejet du recours dans la mesure de sa recevabilité.
L'Administration fédérale des contributions propose le rejet du recours avec suite de frais.

Considérant en droit:
1. 1.1 Les recourants n'ont pas indiqué par quelle voie de recours ils voulaient procéder au Tribunal fédéral. Toutefois, cette imprécision ne saurait leur nuire si leur mémoire peut être considéré comme un recours remplissant les conditions de la voie de droit qui leur est ouverte (cf. <ref-ruling> consid. 1.2 p. 302 s.).
1.2 Le recours est dirigé contre une décision finale (<ref-law>) qui a été rendue dans une cause de droit public (<ref-law>) par une autorité cantonale judiciaire supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF) et qui ne peut pas faire l'objet d'un recours auprès du Tribunal administratif fédéral (art. 86 al. 1 let. d LTF); en outre, aucune des exceptions prévues à l'<ref-law> n'est réalisée. La voie du recours en matière de droit public est donc en principe ouverte au regard de la LTF. Elle l'est également en vertu de l'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) et de l'art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14; sur les rapports entre cette disposition et la LTF, cf. <ref-ruling> consid. 1.3 p. 189).
1.3 Déposé en temps utile (art. 100 al. 1 et 45 al. 1 LTF) et dans les formes prescrites (<ref-law>) par les contribuables destinataires de l'arrêt attaqué qui ont intérêt à recourir (<ref-law>), le présent recours, envisagé comme un recours en matière de droit public, est en principe recevable.
2. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Il y procède en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire selon l'art. 9 Cst. (<ref-ruling> consid. 1.5 p. 401) - ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente (cf. <ref-law>), il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées. Sinon, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 5.2.2 p. 322; <ref-ruling> consid. 6.2 p. 288). En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 5.2.2 p. 322; <ref-ruling> consid. 1.4.3 p. 254 s.).
3. Les recourants reprochent au Tribunal cantonal d'avoir violé le principe de la bonne foi en omettant de constater que les ICC des années 1995 à 1998 avaient été réglés par le paiement des décomptes finaux du 8 février 2006, alors que c'était l'objet d'une de leurs conclusions. Ils font en outre valoir que ces décomptes ne portaient pas de mention indiquant qu'ils auraient encore des paiements à effectuer et ajoutent être dans l'impossibilité de savoir quel montant ils devraient encore payer, en l'absence de décomptes précis de la part des autorités vaudoises. Ils invoquent aussi que, de toute façon, ces ICC seraient prescrits.
3.1 Le principe de la bonne foi (cf. art. 5 al. 3 et 9 Cst.), qui protège le citoyen dans la confiance légitime qu'il met dans les assurances reçues des autorités, est soumis à des conditions restrictives (arrêt 2C_744/2009 du 4 mars 2010 consid. 3, in RF 65/2010 p. 679; cf. au sujet de ces conditions: <ref-ruling> consid. 6.1 p. 636 s.). Pour s'en prévaloir, il faut par définition être en présence d'une assurance de l'autorité et avoir réglé sa conduite d'après cette assurance en prenant des dispositions auxquelles on ne peut renoncer sans subir de préjudice (cf. <ref-ruling> consid. 6.1 p. 637; <ref-ruling> consid. 4.1 p. 170).
3.2 On peut douter que la motivation des recourants soit conforme aux exigences déduites de l'<ref-law>. Ce point n'a cependant pas besoin d'être tranché, car le grief n'est de toute façon pas fondé.
3.3 Le Tribunal cantonal a consacré le consid. 3 de l'arrêt attaqué aux ICC des périodes fiscales 1995-1996 et 1997-1998. Il a rappelé que la loi vaudoise du 26 novembre 1956 sur les impôts directs cantonaux (ci-après: aLI) avait été abrogée le 1er janvier 2001 par l'entrée en vigueur de la loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux (LI, RS VD 642.11; cf. art. 278 LI). Il a expliqué que les art. 118 aLI et 238 LI prévoyaient que les créances (ou dettes) fiscales se prescrivaient par cinq ans dès l'entrée en force de la décision qui les fondaient et que, dans tous les cas, la prescription était acquise dix ans après la fin de l'année au cours de laquelle la décision était entrée en force. Il a relevé que les dispositions relatives à la suspension et à l'interruption de la prescription des art. 98a aLI et 170 LI (concernant la prescription du droit de taxer) s'appliquaient par analogie. Le Tribunal cantonal a considéré qu'en l'occurrence, le délai de prescription des créances d'impôt des années 1995 à 1998 avait commencé à courir à partir de l'entrée en force de l'arrêt du Tribunal administratif du canton de Vaud du 14 septembre 2005. Il a ajouté à juste titre qu'au moment où il statuait ni la prescription relative de cinq ans ni la prescription absolue de dix ans n'avait été atteinte. Il en va d'ailleurs de même à l'heure actuelle, puisque les décomptes finaux complémentaires d'ICC pour les périodes fiscales 1995-1996 et 1997-1998 ont été adressés aux recourants le 8 février 2006.
Le Tribunal cantonal a aussi expliqué de façon convaincante qu'il n'était pas possible de déduire de ces décomptes du 8 février 2006, contenant chacun les indications "décompte final" "complément", qu'il s'agissait de documents remplaçant les décomptes précédents. Il ressortait en effet du libellé de ces documents que les décomptes précités complétaient les décomptes antérieurs. Ainsi, on ne pouvait pas considérer que l'Office d'impôt avait donné aux recourants une quelconque assurance que les décomptes du 8 février 2006 se substituaient aux décomptes antérieurs. Cela résultait aussi de la correspondance entre l'Office d'impôt et les contribuables.
Par ailleurs, contrairement à ce que les recourants affirment, l'Office d'impôt leur a adressé, le 27 mai 2008, un décompte précis couvrant les années 1995 à 2008 et prenant même en considération les acomptes de l'année fiscale 2008. Sur la base de ce décompte, les contribuables peuvent aisément vérifier si leurs paiements ont été enregistrés correctement.
Compte tenu de ce qui précède, les moyens précités, invoqués par les recourants au sujet des ICC des années 1995 à 1998, doivent être rejetés dans la mesure où ils sont recevables.
4. Les recourants soulèvent des griefs relatifs au paiement de leurs impôts, plus particulièrement à la restitution de certains montants payés en trop, voire à la compensation de certaines créances.
4.1 En matière d'IFD, l'<ref-law> prévoit que, si les montants perçus sont insuffisants, la différence est exigée; par ailleurs, les montants perçus en trop sont restitués. Les restitutions au contribuable peuvent se faire par paiement au comptant, par chèque, par virement postal ou bancaire ainsi que par compensation avec des impôts non encore payés (PIERRE CURCHOD, in Commentaire romand, Impôt fédéral direct, 2008, n° 20 ad <ref-law>).
Selon l'art. 224 al. 1 LI, lorsque l'impôt ou l'amende dû sur la base d'une décision définitive et exécutoire est supérieur au montant perçu conformément aux art. 216 à 221 LI, le supplément est réclamé au contribuable et doit être payé dans un délai de trente jours.
D'après l'art. 225 al. 1 LI, lorsque l'impôt ou l'amende dû sur la base d'une décision définitive et exécutoire est inférieur au montant perçu conformément aux art. 216 à 221 LI, la différence est restituée au contribuable. Aux termes de l'art. 225 al. 2 LI, la restitution est effectuée (a) en principe par inscription au crédit du contribuable au titre d'avance selon l'art. 226 LI, (b) par remboursement, lorsque le contribuable en fait la demande et pour autant qu'aucun impôt ne soit dû.
En vertu de l'art. 17 al. 1 du règlement vaudois du 22 novembre 2006 relatif à la perception échelonnée des impôts des personnes physiques (REPP; RS VD 642.11.7), le solde en capital et intérêts en faveur du contribuable établi par le décompte final est porté en diminution du prochain décompte final ou des tranches de l'année en cours et, si nécessaire, de l'année suivante. Le contribuable peut demander le remboursement du solde en sa faveur établi par le décompte final (art. 17 al. 3 REPP). Le remboursement n'intervient qu'à défaut de compensation possible avec une créance fiscale cantonale, communale ou d'impôt fédéral direct (art. 17 al. 4 REPP).
4.2 La compensation fait l'objet des <ref-law>. Ces dispositions sont également applicables en droit public, en cas de silence de celui-ci et dans la mesure où il n'y a pas d'incompatibilité (PHILIPPE BÉGUIN/KALOYAN STOYANOV, La créance d'impôt, in Les procédures en droit fiscal, 2e éd. 2005, p. 864). En effet, les motifs qui justifient la compensation en droit privé valent dans les différents domaines du droit; en toute matière, la compensation simplifie les règlements de comptes et protège le créancier qui est en mesure de s'exécuter contre le risque de ne pas recevoir son dû (ANDRÉ GRISEL, Traité de droit administratif, vol. II, 2e éd. 1984, p. 658). Conformément à l'<ref-law>, lorsque deux personnes sont débitrices l'une envers l'autre de sommes d'argent ou d'autres prestations de même espèce, chacune des parties peut compenser sa dette avec sa créance, si les deux dettes sont exigibles. Le débiteur peut opposer la compensation même si sa créance est contestée (<ref-law>). L'<ref-law> prévoit que la compensation n'a lieu qu'autant que le débiteur fait connaître au créancier son intention de l'invoquer. L'<ref-law> dispose que les créances dérivant du droit public en faveur de l'Etat et des communes ne peuvent être éteintes par compensation contre la volonté du créancier. Cette disposition exprime un principe général et vaut aussi lorsque, comme en l'espèce, les deux prétentions reposent sur le droit public (arrêts 2P.5/2006 du 20 février 2006 consid. 4 et 5P.427/1996 du 11 décembre 1996 consid. 4a ainsi que la jurisprudence citée). La possibilité pour le contribuable débiteur de l'impôt de compenser est ainsi fortement limitée, alors qu'à l'inverse l'autorité est beaucoup plus libre de compenser si les conditions des <ref-law> sont remplies. Il faut réserver les situations dans lesquelles la créance compensée était déjà atteinte par la prescription au moment où elle pouvait être compensée (<ref-law>) et éviter que la compensation prive le contribuable de la possibilité de contester une créance d'impôt (cf. Martin Zweifel/Hugo Casanova, Schweizerisches Steuerverfahrensrecht, 2008, p. 404 n. 28).
5. Les recourants ne contestent pas les compensations opérées entre les soldes en leur faveur et à leur charge résultant des paiements effectués pour les ICC des années 1999 à 2002. En revanche, ils reprochent au Tribunal cantonal d'avoir admis que le solde à leur charge des ICC des années 1995 à 1998 puisse être compensé par le solde en leur faveur des ICC des années 2001 et 2002. Se référant au texte de l'art. 225 al. 2 let. a LI, ils soutiennent que le solde en leur faveur des années 1999 à 2002 ne pouvait être attribué sans leur accord qu'aux paiements des ICC ultérieurs, et non pas antérieurs. De façon plus générale, ils contestent le système de compensation utilisé par l'Office d'impôt, estimant que le débiteur doit pouvoir décider quelle dette il paie et que le créancier doit refuser des paiements partiels sur la base de l'<ref-law>. Ils se plaignent dès lors de violations du CO et de la LI, ainsi que d'arbitraire.
5.1 Sauf dans les cas cités expressément par l'<ref-law>, le recours en matière de droit public ne peut pas être formé pour violation du droit cantonal en tant que tel. En revanche, il est toujours possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.3 p. 521 s.; <ref-ruling> consid. 1.2.1 p. 251 s.).
L'art. 225 LI prévoit "en principe" la restitution par inscription au crédit du contribuable au titre d'avance. Il ressort du libellé de cette disposition que des exceptions sont possibles. D'ailleurs, l'art. 225 al. 2 let. b LI envisage la restitution par remboursement lorsque le contribuable en fait la demande et "pour autant qu'aucun impôt ne soit dû". Cette dernière condition montre que l'autorité fiscale ne peut pas restituer le solde au contribuable qui a trop payé pour une année lorsqu'un de ses impôts n'a pas été payé. Par conséquent, en considérant qu'un impôt déjà dû, le cas échéant antérieur, pouvait être compensé par le "trop-perçu" d'un impôt ultérieur, le Tribunal cantonal n'a pas fait une interprétation arbitraire de l'art. 225 LI, contrairement à ce que prétendent les recourants.
5.2 Par ailleurs, en principe, la compensation n'est pas soumise à l'accord du créancier, comme cela ressort de l'<ref-law> qui prévoit la possibilité pour le débiteur d'opposer la compensation même si sa créance est contestée. Il existe certes des exceptions à cette règle, qui sont énumérées à l'<ref-law>. Toutefois, les recourants n'entrent dans aucune des catégories de créanciers devant donner leur accord à une compensation, en vertu de cette disposition. C'est donc à tort qu'ils se plaignent de n'avoir pas pu manifester leur volonté. Par conséquent, le CO n'a pas été enfreint sous cet angle.
5.3 De façon générale, les recourants semblent perdre de vue qu'en l'espèce, eux-mêmes et l'Office d'impôt - qui représente différentes collectivités publiques - sont à la fois créanciers et débiteurs. Les recourants font valoir leur possibilité de décider quelle dette ils veulent payer, mais dénient à tort cette faculté à l'Office d'impôt. Or, c'est précisément en usant de cette liberté que l'Office d'impôt a opéré les compensations contestées. En effet, en compensant le "trop-perçu" des années 2001 et 2002 avec les soldes à la charge des recourants pour les années 1995 à 1998, il a simplement choisi les dettes qu'il voulait régler. Cette façon de procéder n'est pas arbitraire: elle ne contrevient ni au CO, ni à la LI. En particulier, la compensation n'a pas porté sur des créances d'impôt prescrites ni n'a empêché les contribuables de contester les montants mis à leur charge. Au demeurant, c'est mal à propos que les recourants invoquent l'<ref-law>. Cette disposition n'enjoint pas au créancier de refuser un paiement partiel; elle lui donne simplement la faculté de le faire, lorsque la dette est liquide et exigible pour le tout.
6. Les recourants contestent les montants d'impôt qu'ils doivent encore selon l'arrêt attaqué et présentent leurs propres décomptes. En outre, ils font valoir que, même si on suit le raisonnement du Tribunal cantonal, on doit reconnaître une erreur dès lors que des intérêts seraient en quelque sorte pris en considération deux fois.
Dans la mesure où les recourants n'ont pas démontré que les éléments qui sont à la base des calculs du Tribunal cantonal sont manifestement inexacts, l'Autorité de céans ne peut pas s'en écarter (cf. consid. 2, ci-dessus). Elle ne peut donc pas admettre les décomptes des recourants, qui se fondent sur d'autres données.
En ce qui concerne les intérêts, les recourants développent une argumentation imprécise, voire confuse. On peut toutefois en déduire qu'ils ne distinguent pas les différents intérêts dont il est question dans l'arrêt attaqué. Ainsi, les intérêts moratoires sur décomptes n'ont jamais été compris dans les calculs effectués par le Tribunal cantonal. En revanche, celui-ci a inclus dans son calcul d'ICC 2006 des intérêts moratoires sur acomptes, un intérêt compensatoire en faveur de l'Etat et un intérêt rémunératoire sur acomptes (cf. arrêt attaqué, consid. 8b/dd p. 15). Comme il s'agit d'intérêts différents des intérêts moratoires sur décomptes, il n'y a pas de risque que les mêmes intérêts soient pris en compte deux fois, contrairement à ce que soutiennent les recourants.
7. Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable.
Succombant, les recourants doivent supporter solidairement les frais judiciaires (art. 65 ainsi que 66 al. 1 et 5 LTF). Il ne sera pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge des recourants, solidairement entre eux.
3. Le présent arrêt est communiqué aux recourants, à l'Administration cantonale des impôts et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 9 novembre 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Zünd Dupraz