Citation: 2C_974/2019 E. D

Agissant par la voie du recours en matière de droit public, A.A.________ (ci-après: le contribuable 1 ou le recourant 1) et B.A.________ (ci-après: la contribuable 2 ou la recourante 2) demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal cantonal du 18 octobre 2019 et, principalement, d'annuler la décision sur réclamation de l'Administration cantonale vaudoise du 21 septembre 2018, ainsi que les décisions de taxation des 29 mai 2007 et 26 juillet 2011 et, subsidiairement, de renvoyer la cause au Tribunal cantonal pour nouvelle décision. Plus subsidiairement, ils concluent à l'annulation des décisions de taxation rendues par le Service des contributions du canton de Fribourg les 17 octobre 2002, 23 avril 2004 et 20 janvier 2005 concernant les périodes fiscales 2001, 2002 et 2003. Le Tribunal cantonal a renoncé à se déterminer. L'Administration cantonale vaudoise a conclu au rejet du recours. L'Administration fédérale des contributions a conclu, sous suite de frais, au rejet du recours dans la mesure de sa recevabilité. Les contribuables ont répliqué, en maintenant leurs conclusions. Le 17 juillet 2020, la IIe Cour de droit public du Tribunal fédéral, par ordonnance de la Juge en charge de l'instruction, a ordonné un échange d'écritures concernant la conclusion tendant à l'annulation des décisions de taxation fribourgeoises relatives aux périodes fiscales 2001 à 2003. Le Service des contributions du canton de Fribourg a conclu, sous suite de frais, au maintien de ses taxations et au rejet du recours pour ce qui avait trait aux conclusions subsidiaires. Les contribuables ont maintenu leurs conclusions. L'Administration fédérale des contributions s'est référée à ses précédentes déterminations et a maintenu ses conclusions. L'Administration cantonale vaudoise n'a pas formulé d'observations. Les contribuables ont déposé d'ultimes observations dans lesquelles ils ont intégralement maintenu leurs conclusions.