Faits: A. Les époux A.X._ et B.X._ ont été domiciliés à C._, dans le canton de Vaud, jusqu'en 2008. A.a Pour la période fiscale 1995-1996, l'autorité de taxation a rendu, le 23 octobre 1996, une décision définitive de taxation et de répartition intercantonale (entre les cantons de Vaud et Zurich) contre laquelle les époux X._ ont formé réclamation. Pour la période fiscale 1997-1998, l'autorité de taxation a rendu, le 6 octobre 1997, deux décisions définitives de taxation et de répartition intercantonale couvrant respectivement les périodes du 1er janvier 1997 au 31 juillet 1997 et du 1er août 1997 au 31 décembre 1998, pour tenir compte de la fin de l'activité principale de B.X._. Les contribuables ont également formé réclamation contre ces deux décisions. Le 27 août 1998, l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) a rejeté les deux réclamations. Contre cette décision, les époux X._ ont recouru auprès du Tribunal administratif du canton de Vaud, qui a partiellement admis le recours, par arrêt du 14 septembre 2005: la décision de l'Administration cantonale du 27 août 1998 a été maintenue dans la mesure où elle portait sur la période fiscale 1995-1996 et annulée en tant qu'elle portait sur la période fiscale 1997-1998, le dossier étant renvoyé à l'autorité inférieure pour nouvelle décision dans le sens indiqué. Le 8 février 2006, à la suite de l'arrêt précité, l'Office d'impôt de D._ actuellement l'Office d'impôt du district de E._ (ci-après: l'Office d'impôt) a adressé aux époux X._ un décompte final complémentaire d'impôt cantonal et communal sur le revenu et la fortune (ICC) pour chacune des années concernées, soit 1995, 1996, 1997 et 1998. Il en résultait des soldes d'impôt que les contribuables ont payés. A.b En ce qui concerne les années 1999 à 2002, l'Office d'impôt a établi, le 14 décembre 2004, un décompte final complémentaire d'ICC pour chaque année. La situation était la suivante: - pour 1999, il y avait un solde de 3'409,30 fr. à la charge des contribuables, - pour 2000, il y avait un solde de fr. 2'569,75 fr. à la charge des contribuables, - pour 2001, il y avait un solde de 6'888 fr. en faveur des contribuables, - pour 2002, il y avait un solde de 10'058,20 fr. en faveur des contribuables. L'Administration cantonale a "réglé" en janvier 2008 la réclamation déposée contre les décisions du 14 décembre 2004. A.c Pour les périodes fiscales 2003 et 2004, l'Office d'impôt a adressé, le 16 avril 2008, aux époux X._ le décompte final d'ICC 2003 comportant un solde de 16'357,25 fr. à leur charge et le décompte final de l'impôt fédéral direct (IFD) pour la période fiscale 2003 comportant un solde de 12'428,95 fr. à leur charge. Le 21 avril 2008, l'Office d'impôt a adressé aux époux X._ le décompte final d'ICC 2004 comportant un solde de 5'302 fr. en leur faveur et le décompte final d'IFD 2004 comportant un solde de 1'750,55 fr. à leur charge. Le 24 avril 2008, B.X._ a demandé, en matière d'ICC pour les années 1999-2002, le remboursement en faveur de son couple de "presque 10'000 fr.", avec intérêts. Elle se fondait sur le règlement des réclamations pour lesdites années, sur le caractère définitif des décisions de taxation de 2004 et sur les paiements effectués par le couple. Le 20 mai 2008, l'Office d'impôt a rejeté la requête, parce que l'ICC 2003 n'avait pas encore été payé. Il s'en est suivi un échange de correspondance entre les époux X._ et l'Office d'impôt. En particulier, dans une lettre du 27 mai 2008 aux époux X._, l'Office d'impôt a indiqué qu'il existait en sa faveur un solde de 65'434,15 fr. en prenant en considération les acomptes jusqu'à l'année fiscale 2008. Compte tenu de l'importance de ce montant, il a refusé le remboursement sollicité en se référant à l'art. 120 CO (compensation). Le 16 octobre 2008, l'Office d'impôt a rendu de nouvelles décisions de taxation et envoyé aux époux X._ des décomptes finaux complémentaires aboutissant aux résultats suivants: - pour l'ICC 2003, il existait un solde de 1'563,40 fr. en faveur des contribuables, - pour l'IFD 2003, il existait un solde de 423,80 fr. en faveur des contribuables, - pour l'ICC 2004, il existait un solde de 1'364 fr. en faveur des contribuables, - pour l'IFD 2004, il existait une solde de 24,30 fr. en faveur des contribuables. Le 16 octobre 2008, les époux X._ ont eu un entretien avec des représentants de l'Office d'impôt. Le 20 octobre 2008, l'Office d'impôt a adressé aux époux X._ un second décompte final complémentaire d'ICC 2004 indiquant un solde de 164,55 fr. en faveur des contribuables et un second décompte final complémentaire d'IFD 2004 indiquant un solde de 61,80 fr. en faveur des contribuables. Le 20 octobre 2008, B.X._ a maintenu son opposition. A.d Pour les périodes fiscales 2005 et 2006, l'Office d'impôt a établi, le 2 avril 2009, un décompte final d'ICC 2005 comportant un solde de 30'616,15 fr. à la charge des contribuables et un décompte final d'IFD 2005 comportant un solde de 3'222,50 fr. à la charge des contribuables. Le 3 avril 2009, l'Office d'impôt a établi le décompte final d'ICC 2006 indiquant un solde de 11'702,50 fr. à la charge des contribuables et le décompte final d'IFD 2006 indiquant un solde de 2'638,25 fr. à la charge des contribuables. Le 21 avril 2009, B.X._ a formé réclamation contre les décomptes précités. Le 18 mai 2009, l'Office d'impôt a établi un décompte final complémentaire d'ICC 2006 comportant un solde de 11'208,10 fr. à la charge des contribuables et un décompte final complémentaire d'IFD 2006 comportant un solde de 318,35 fr. en faveur des contribuables. Par lettre du 27 mai 2009, les époux X._ ont maintenu leur réclamation. Ils contestaient essentiellement l'imputation de leurs paiements à d'autres années que celles pour lesquelles ils les avaient effectués et le transfert du solde en leur faveur sur les impôts des années suivantes. B. Par décision du 2 juin 2009 sur réclamation, l'Administration cantonale a statué comme suit: "1. Le décompte ICC 2003 du 16 avril 2008 est modifié en ce sens que l'intérêt compensatoire en faveur de l'Etat, d'un montant de 0 fr. 65, n'est pas perçu; 2. Le décompte ICC 2006 du 18 mai 2009 est modifié en ce sens que le solde dû s'élève à 1'521.65; 3. Pour les périodes fiscales 2003 à 2006, les contribuables restent à ce jour débiteurs des montants suivants, intérêts moratoires sur décomptes non compris: - 6'292 fr. 75 pour l'ICC 2003 - 12'005 fr. 15 pour l'IFD 2003 - 1'726 fr. 25 pour l'IFD 2004 - 1'521 fr. 65 pour l'ICC 2006 4. Les contribuables bénéficient d'un solde en leur faveur de 318 fr. 35 pour l'IFD 2006; 5. Les réclamations sont rejetées pour le surplus." C. Par arrêt du 14 avril 2010, la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal) - qui a succédé au Tribunal administratif du canton de Vaud - a partiellement admis le recours des époux X._ contre la décision de l'Administration cantonale du 2 juin 2009. Le Tribunal cantonal a en effet réformé cette décision en ce sens que le montant de l'ICC 2003 (intérêts moratoires sur décomptes non compris) devait être fixé à 7'304,95 fr. et celui de l'IFD 2003 (intérêts moratoires sur décomptes non compris) à 7'458,80 fr. Pour le surplus, il a confirmé ladite décision. D. Le 17 mai 2010, A.X._ et B.X._ ont déposé un recours au Tribunal fédéral à l'encontre de l'arrêt du Tribunal cantonal du 14 avril 2010. Ils demandent à l'Autorité de céans, sous suite de frais et dépens, de constater que les impôts des années fiscales 1995 à 1998 sont liquidés et, éventuellement, qu'un intérêt n'est pas dû sur les impôts 1995 à 1998. Ils lui demandent également de constater qu'il reste les soldes suivants d'impôt 1999 à 2006 "(sauf intérêts)": - solde en faveur des contribuables de 7,65 fr. pour les ICC 1999 à 2004 et pour les IFD 2003 et 2004, - solde en faveur des contribuables de 62,20 fr. pour l'ICC et l'IFD 2005, - solde à la charge des contribuables de 0,85 fr. pour l'ICC et l'IFD 2006. En outre, les recourants concluent au renvoi de la cause à l'autorité précédente pour le calcul des intérêts. Le Tribunal cantonal a renoncé à répondre au recours. L'Administration cantonale conclut au rejet du recours dans la mesure de sa recevabilité. L'Administration fédérale des contributions propose le rejet du recours avec suite de frais.