Faits : A. D'origine roumaine, A.X._ est domicilié à C._, dans le canton de Vaud, avec son épouse, B.X._. A.a. Le 15 février 1990, A.X._ a créé la société D._ SA, qui est inscrite au registre du commerce du canton de Vaud et dont le siège se situe à C._ (à l'adresse des époux X._). Son capital-actions, entièrement libéré, s'élève à 300'000 fr. Les époux X._ détiennent la totalité des actions de D._ SA. Son but, depuis le 22 juin 2006, porte sur les services informatiques dans le domaine de la finance, notamment l'installation de systèmes et la location d'espaces informatiques, services de bureau, conseils, gestion de projets, support et assistance, formation des utilisateurs. Jusqu'au mois de janvier 2013, le conseil d'administration de TI était composé de A.X._, administrateur président, et de B.X._, administratrice et secrétaire. Au début de son activité, D._ SA n'avait ni employé ni locaux, puis a été installée, en 1995, dans la propriété des époux X._ et a encaissé son premier chiffre d'affaires. Elle n'a eu des employés qu'à partir de 1998. A.b. Le 12 mars 1991, A.X._ a constitué E._ SA, dont le siège est en Roumanie et dont il détient entre 98 et 99 % du capital-actions. Selon un contrat du 10 février 1993 liant E._ SA et D._ SA, les deux sociétés ont convenu de développer des programmes informatiques pour les milieux financiers et bancaires. Il découle notamment de ce document que D._ SA détient tous les droits de propriété intellectuelle y afférents et est l'unique propriétaire de ceux-ci. A.c. A.X._ a obtenu une licence de pilote en novembre 1997. Le 19 juin 1998, D._ SA a acquis un avion Piper Dakota qui n'a jamais été porté à l'actif du bilan de la société. Le prix a été réglé au moyen de 50'000 fr. prélevés sur un compte bancaire de D._ SA, mais qui trouve sa contre-partie au débit du compte-courant de l'actionnaire. Selon A.X._, le prix de 67'000 fr. mentionné sur le contrat de vente était faux, celui-ci étant en réalité de 40'000 ou 50'000 fr. L'actionnaire a admis qu'à cette période, il n'y avait pas de séparation stricte entre son patrimoine et celui de D._ SA, son unique but étant de faire fonctionner cette dernière. A.d. A partir de 1999, A.X._ a créé de nouvelles sociétés. Le 8 mars 1999, F._ AG, dont le siège est à G._, au Liechtenstein, a été constituée et est représentée par H._, à G._. A.X._ a versé l'intégralité du capital-actions de 50'000 fr. de F._ AG et est membre de son conseil d'administration avec signature individuelle. En sont aussi membres Q._ et I._, domiciliés à G._, avec signature collective à deux. Le but social de F._ AG est d'effectuer toutes activités en relation avec des produits informatiques. Selon A.X._, cette société a été créée dans le but de vendre les produits de E._ SA à des clients étrangers. Sur le plan fiscal, F._ AG est soumise à un impôt forfaitaire de 1'000 fr. par an, plus 4 % sur les dividendes distribués. Si A.X._ a nié que, depuis sa création, la gestion de F._ AG se soit effectuée à partir des locaux de D._ SA à C._, il n'en a pas moins confirmé la présence des fichiers de gestion de F._ AG dans les disques durs de D._ SA, précisant qu'il ne s'agissait que de copies. Le 8 mars 1999 également, il a constitué J._ AG, dont le siège est à G._, au Liechtenstein et qui est active dans le domaine de l'aéronautique. A.X._ ne siège pas au Conseil d'administration, contrairement à Q._ et I._. Cette société a acquis l'appareil Piper Dakota qui appartenait à D._ SA, cette dernière en demeurant toutefois l'exploitante. Si A.X._ a nié que, depuis sa création, la gestion de J._ AG se soit effectuée à partir des locaux de D._ SA à C._, il n'en a pas moins confirmé la présence des fichiers de gestion de J._ AG dans les disques durs de D._ SA, précisant qu'il ne s'agissait que de copies. Il ressort d'un fax de l'ancien conseil de A.X._ du 15 février 1999 adressé à un tiers censé constituer F._ AG et J._ AG que le travail administratif concernant ces sociétés serait effectué depuis C._. Le 12 mai 1999, la Fondation K._, qui a aussi son siège au Liechtenstein, a été créée pour gérer la fortune de A.X._ et octroyer des prestations aux bénéficiaires désignés par le conseil de fondation, composé notamment de Q._ et I._. La fondation est représentée par H._ et A.X._ en est l'ayant droit économique. Le 31 mai 1999, l'Établissement L._, dont le siège est à M._, a été constitué. Son but est le placement et l'administration de sa fortune. A.X._ en est l'ayant droit économique. Depuis le 9 juin 1999, l'Établissement L._ détient l'entier du capital-actions de F._ AG grâce à un prêt consenti par la Fondation K._. Dans le courant de l'année 2001, A.X._ a entrepris des démarches tendant à transférer les droits de propriété intellectuelle sur les produits détenus par F._ AG selon le contrat du 10 février 1993 à l'Établissement L._, mais ces projets n'ont pas abouti. Le 25 juin 1999, la société genevoise N._ SA, dont le but est d'exercer des activités en relation avec l'aéronautique, a été créée. Elle a été dissoute par suite de faillite prononcée le 8 janvier 2014. Selon les déclarations de A.X._, elle devait acquérir et exploiter l'avion qui appartenait auparavant à D._ SA et en acquérir un nouveau. Elle a acheté en 1999 un avion de type Pilatus pour un montant de 2'953'315 US$, au moyen d'un prêt de 3'400'000 fr. octroyé par une société de financement et d'un prêt de 1'560'000 fr. consenti par l'Établissement L._ par le biais de fonds prêtés par la Fondation K._. Le 15 janvier 2000, N._ SA a cédé l'exploitation de l'avion à J._ AG pour le prix de 600'000 fr. par an (720'000 fr. dès 2001). A une date indéterminée, l'Établissement L._ a acquis l'entier du capital-actions des sociétés J._ AG et N._ SA au moyen de fonds prêtés par la Fondation K._. B. Entre 1995 et 2002, A.X._ et B.X._ ont régulièrement déposé leurs déclarations d'impôts. Les périodes fiscales 1995-2000 ont fait l'objet de taxations définitives, alors que la période 2001-2002 est demeurée provisoire. Le 26 juillet 2003, à la suite d'un contrôle périodique de l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) et de l'Administration fédérale des contributions (ci-après: l'AFC), une enquête a été autorisée à l'encontre de D._ SA, A.X._ et B.X._, en raison de soupçon fondé de graves infractions fiscales. La Division d'enquêtes fiscales spéciales de l'AFC (ci-après: la Division d'enquêtes fiscales) a rendu un rapport le 21 septembre 2006 concluant à l'existence de soustractions d'impôts réalisées par le biais notamment de trois procédés. Le premier consistait à intercaler entre D._ SA et ses clients une société écran, en l'occurrence F._ AG, afin de traiter les affaires commerciales en-dehors du territoire suisse, alors que l'activité effective de F._ AG se déployait non pas au Liechtenstein, mais en Suisse auprès de D._ SA. Le deuxième procédé était lié à des frais de sous-traitance facturés par E._ SA à D._ SA et à F._ AG, alors que les montants facturés n'avaient jamais été encaissés par la société roumaine. Le troisième procédé était lié à l'utilisation d'un aéronef Pilatus, dont les frais, considérés comme commerciaux, étaient facturés par J._ AG à D._ SA et à F._ AG, alors que la plupart de ces frais relevaient d'un usage strictement privé. Les fonds dégagés par les deux premiers procédés ont été versés sur des comptes numériques et sur des comptes dont le titulaire est la Fondation K._, ce qui a permis à cette dernière de détenir et de financer l'Établissement L._, qui a financé à son tour F._ AG, J._ AG et N._ SA. Ces entités, au bénéfice d'un statut fiscal privilégié, ont acquitté un impôt dérisoire sur le revenu et la fortune, alors même que A.X._, qui apparaît comme le seul et unique bénéficiaire économique, n'a jamais acquitté d'impôt sur ces éléments. C. Le 11 octobre 2007, l'Administration cantonale a adressé à A.X._ et à B.X._ une décision de rappel d'impôts et de taxation définitive, ainsi qu'un prononcé d'amendes concernant l'impôt cantonal et communal (ci-après: ICC) pour les périodes fiscales 1999 à 2002 et l'impôt fédéral direct (ci-après: IFD) pour les périodes fiscales 1995 à 2002. Au total, le complément d'impôts pour l'ICC se rapportant aux périodes 1999 à 2002 s'élevait à 1'886'880 fr., alors que les amendes relatives à l'ICC se montaient au total à 2'034'700 fr. En matière d'IFD, le complément d'impôt à payer pour les périodes 1995-2002 totalisait 1'268'300 fr. 65 et les amendes 1'443'500 fr. Le 15 novembre 2007, A.X._ et son épouse ont interjeté une réclamation à l'encontre de la décision du 11 octobre 2007. Des pourparlers transactionnels ont été entrepris, mais ont échoué le 1er avril 2008. Le 4 décembre 2008, l'Administration cantonale a rejeté la réclamation. D. Le 5 juillet 2009, les époux X._ ont recouru à l'encontre de la décision du 4 décembre 2008 auprès du Tribunal cantonal du canton de Vaud, Cour de droit administratif et public (ci-après: le Tribunal cantonal). Par arrêt du 21 janvier 2015, ce dernier a partiellement admis le recours et réformé la décision sur réclamation attaquée en ce sens que le rappel d'impôt et l'amende en matière d'IFD, relatifs aux périodes fiscales 1995-1996 et 1997-1998 sont supprimés, de même que le rappel d'impôt et l'amende en matière d'ICC, relatifs à la période fiscale 1999-2000, en raison de la prescription. La décision sur réclamation a été confirmée pour le surplus. E. A l'encontre de l'arrêt du 21 janvier 2015, A.X._ et B.X._ forment un recours en matière de droit public au Tribunal fédéral. Ils concluent à l'admission du recours et à la réforme de l'arrêt attaqué en ce sens que les rappels d'impôts et les amendes prononcés à leur encontre sont supprimés. A titre subsidiaire, ils demandent l'annulation de l'arrêt attaqué et le renvoi de la cause à l'autorité cantonale pour complément d'instruction et nouvelle décision. Sans inclure formellement la requête dans leurs conclusions, les recourants sollicitent l'octroi de l'effet suspensif. Le Tribunal cantonal a renoncé à répondre, se référant aux considérants de son arrêt. Dans leurs déterminations respectives, l'Administration cantonale et l'AFC proposent le rejet du recours. Les recourants ont demandé à être dispensés de verser l'avance de frais. Afin de clarifier leur situation financière, une audience de débats préparatoires s'est tenue devant le Tribunal fédéral le 2 juin 2015, et, après la fourniture de documents complémentaires par les recourants, le Président de la IIe Cour de droit public du Tribunal fédéral a renoncé à percevoir l'avance de frais. F. F.a. Parallèlement à la présente procédure dirigée à l'encontre des époux X._, une procédure similaire a été menée à l'encontre de D._ SA. Celle-ci portait sur les mêmes périodes fiscales et concernait les trois mêmes procédés. Devant l'Administration cantonale, les procédures concernant les époux X._ d'une part et D._ SA d'autre part se sont déroulées en parallèle et de manière synchronisée (décision initiale du 11 octobre 2007; réclamation rejetée le 4 décembre 2008). Le Tribunal cantonal s'est toutefois prononcé sur le recours formé par D._ SA le 4 août/14 septembre 2010, soit plusieurs années avant la cause des époux X._. Statuant sur recours de D._ SA, le Tribunal fédéral, par arrêt du 27 juillet 2011 (causes jointes 2C_724/2010 et 2C_796/2010 publiées in RDAF 2012 II 37), a partiellement admis celui-ci et supprimé le rappel d'impôt et l'amende relatifs à la période fiscale 1995 en raison de la prescription. Pour les périodes fiscales non atteintes par la prescription, il a confirmé l'arrêt attaqué, considérant, à l'instar du Tribunal cantonal, que les trois procédés en cause avaient permis la réalisation de prestations appréciables en argent, ce qui justifiait les reprises et les taxations prononcées, ainsi que des amendes pour soustraction et tentative de soustraction fiscale. F.b. D._ SA a également fait l'objet d'une procédure de rappel d'impôt anticipé, initiée par l'Administration fédérale des contributions et portant sur les années 2000 à 2002, en lien avec les trois mêmes procédés. La société a recouru en vain devant le Tribunal administratif fédéral qui l'a déboutée le 29 août 2011, considérant que les trois procédés utilisés étaient constitutifs de prestations appréciables en argent justifiant le prélèvement d'un impôt anticipé. Le Tribunal fédéral a rejeté le recours de D._ SA par arrêt du 22 mars 2012 (cause 2C_802/2011), confirmant l'approche du Tribunal administratif fédéral.