Faits :
A.
A.X._ a été employé par Y._ SA (ci-après : Y._) de 1990 à février 2001 en tant que responsable informatique. En novembre 1995, il a fondé l'entreprise individuelle Z._. Dès 1996, Z._ a été mandatée par Y._ pour la réalisation de projets informatiques. Par arrêt du 11 novembre 2003, A.X._ a été acquitté de l'accusation de gestion déloyale au détriment de Y._. Puis, par jugement du 6 novembre 2006, l'action en paiement d'un montant de 1'826'267 fr. déposée par Y._ contre ce dernier a été rejetée.
A.X._ et B.X._ont déposé leurs déclarations d'impôt fédéral direct dans le canton de Vaud pour les périodes 1999 à 2003 sans annoncer les revenus provenant de la raison individuelle.
Le 23 mai 2012, l'Administration cantonale des impôts du canton de Vaud a rendu une décision de rappel d'impôt fédéral direct pour un montant de 229'881 fr. pour l'ensemble des périodes fiscales en cause, ainsi qu'une amende pour soustraction fiscale s'élevant à 229'700 fr., soit une fois le montant d'impôt soustrait.
Par décision sur réclamation du 12 novembre 2013, l'Administration cantonale des impôts a annulé le rappel d'impôt et l'amende relatifs à la période fiscale 1999/2000 et rejeté les autres conclusions des contribuables. Le 12 décembre 2013, ces derniers ont recouru contre cette décision auprès du Tribunal cantonal du canton de Vaud.
B.
Par arrêt du 9 juin 2015, le Tribunal cantonal a rejeté le recours. Il a considéré en substance que le chiffre d'affaires de la raison individuelle, admis par les contribuables, s'élevait à 4'108'750 fr. et que les revenus imposables correspondaient à 45% de ce chiffre selon les déclarations de A.X._ en procédure pénale, qui avait indiqué à plusieurs reprises une marge bénéficiaire se situant entre 45% et 55%. Ils n'avait pas apporté la preuve d'un revenu inférieur, les attestations des personnes que la raison individuelle avait mandatées n'étaient pas probantes et surtout ne permettaient pas d'établir les montants que la raison individuelle leur avait versés sans tenir de comptabilité. Les reprises devaient être confirmées. La fixation de l'amende avait tenu dûment compte de la collaboration des contribuables, sans qu'il faille pour autant admettre un repentir sincère, au titre de circonstance atténuante, ainsi que du nombre d'années (1997 à 2000) et du montant des revenus soustraits, de plus d'un million de francs, au titre de circonstances aggravantes. Le fait que la procédure avait été initiée par Y._ ne réduisait pas la gravité de la faute commise par les contribuables eux-mêmes.
C.
Agissant par la voie du recours en matière de droit public et celle subsidiaire du recours constitutionnel, A.X._ et B.X._ demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt rendu le 9 juin 2015 et de les libérer tout rappel d'impôt, subsidiairement de réformer la quotité de l'amende en ce qu'elle passe d'un coefficient de 1 à 0,3. Ils se plaignent de la violation de leur droit d'être entendus, de l'interdiction de l'arbitraire ainsi que de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11).
Par ordonnance du 6 août 2015, le Président de la IIe Cour de droit public a accordé l'effet suspensif au recours.
Le Tribunal cantonal a renoncé à déposer des observations. L'Administration fédérale des contributions et l'Administration cantonale des impôts ont conclu au rejet du recours. Les contribuables ont déposé des contre-observations.
Considérant en droit :
1.
Déposé en temps utile (art. 100 al. 1 LTF) et dans les formes prescrites par la loi (art. 42 et 106 al. 2 LTF) contre une décision finale (art. 90 LTF) rendue dans une cause de droit public par un tribunal supérieur de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF), sans qu'une des exceptions prévues à l'art. 83 LTF ne soit réalisée, le présent recours, interjeté par deux personnes physiques qui ont pris part à la procédure devant l'autorité précédente, sont particulièrement atteintes par la décision attaquée et ont un intérêt digne de protection à son annulation ou à sa modification, est en principe recevable comme recours en matière de droit public en vertu des art. 82 ss LTF et 146 LIFD. il s'ensuit que le recours constitutionnel subsidiaire est irrecevable.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'art. 106 al. 2 LTF. Il y procède en se fondant sur les faits constatés par l'autorité précédente (cf. art. 105 al. 1 LTF), à moins que ceux-ci n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire de l'art. 9 Cst. (ATF 134 V 53 consid. 4.3 p. 62) - ou en violation du droit au sens de l'art. 95 LTF et si la correction du vice est susceptible d'influer sur le sort de la cause (cf. art. 97 al. 1 LTF), deux conditions qu'il appartient à la partie recourante d'exposer et de démontrer de manière claire et circonstanciée (cf. ATF 136 II 101 consid. 3 p. 104 s.; 332 consid. 2.1 p. 334).
Lorsque les recourants - comme c'est le cas en l'espèce - s'en prennent à l'appréciation des preuves et à l'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (ATF 129 I 8 consid. 2.1 p. 9). Toutefois, aux termes de l'art. 106 al. 2 LTF, le Tribunal fédéral n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant.
2.2. En l'espèce, l'instance précédente a procédé à l'appréciation des preuves, notamment des déclarations en procédure pénale du recourant, et de celles contenues dans les témoignages écrits. Elle a exposé dans l'arrêt attaqué les motifs pour lesquels elle s'en est tenu aux affirmations du recourant lui-même et les deux motifs pour lesquels elle a écarté le contenu des témoignages. Pour obtenir gain de cause en l'espèce, les recourants devaient invoquer l'interdiction de l'arbitraire ancrée à l'art. 9 Cst. et démontrer concrètement en quoi l'instance précédente aurait procédé à des déductions insoutenables. Au lieu de cela, ils se bornent pour une grande partie à substituer leur appréciation des faits à celle de l'instance précédente, ce qui ne répond pas aux exigences accrues de motivation de l'art. 106 al. 2 LTF. A cela s'ajoute qu'ils ne démontrent pas que l'instance précédente a procédé à une appréciation insoutenable des preuves en constatant que les trois attestations ne permettaient pas d'établir les montants que la raison individuelle avait versés à des tiers. Il n'est par conséquent pas possible de s'écarter des faits tels qu'ils ont été retenus par l'instance précédente (art. 105 al. 1 LTF).
3.
Invoquant l'art. 29 al. 2 Cst., les recourants se plaignent de la violation de leur droit d'être entendus.
3.1. Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (ATF 135 I 279 consid. 2.3 p. 282).
3.2. Les recourants se plaignent de ce que leur audition lors de la seule et unique audience du 18 septembre 2014 a été interrompue et l'audience suspendue, afin de permettre une éventuelle issue transactionnelle au litige en particulier sur la détermination du bénéfice imposable et qu'ensuite, l'arrêt attaqué a été rendu sans autre forme de procès après que les témoignages de trois personnes n'ayant pas été entendues en raison de difficultés d'agenda, ont été déposés par écrit.
Le grief, pour le moins téméraire, doit être rejeté. Assistés par un mandataire professionnel durant toute la procédure, en particulier, lors de l'audience du 18 septembre 2014 et lors de l'échange de courriers qui s'en est suivi, les recourants sont malvenus de réclamer un droit d'être entendu voire un droit de réplique sur les trois témoignages qu'ils ont adressés eux-même à l'instance précédente par courrier du 5 février 2015. S'ils souhaitaient commenter le contenu de ces derniers avant que l'arrêt attaqué ne soit rendu le 9 juin 2015, il leur appartenait de le faire dans leur courrier du 5 février 2015. De même, s'ils considéraient nécessaire la poursuite de leur audition interrompue aux fins de pourparlers ayant échoué, ils pouvaient et devaient en faire la requête formelle dans ce même courrier du 5 février 2015 ou dans un courrier ultérieur à bref délai.
4.
4.1. Sont imposables tous les revenus provenant de l'exploitation d'une entreprise commerciale, industrielle, artisanale, agricole ou sylvicole, de l'exercice d'une profession libérale ou de toute autre activité lucrative indépendante (art. 18 LIFD). En vertu de l'art. 123 LIFD, les autorités de taxation établissent les éléments de fait et de droit permettant une taxation complète et exacte, en collaboration avec le contribuable; en contre-partie, en vertu de l'art.125 al. 2 LIFD, les personnes physiques dont le revenu provient d'une activité lucrative indépendante et les personnes morales doivent joindre à leur déclaration les extraits de comptes signés (bilan, compte de résultats) de la période fiscale ou, à défaut d'une comptabilité tenue conformément à l'usage commercial, un état des actifs et des passifs, un relevé des recettes et des dépenses ainsi que des prélèvements et apports privés. Si ces principes ne sont pas respectés et que le compte de résultats ne reflète pas le bénéfice réel, le résultat doit être corrigé en faveur comme au détriment du contribuable (arrêt 2A.561/2005 du 22 février 2006 consid. 2).
En vertu de l'art. 130 al. 1 LIFD, l'autorité de taxation contrôle la déclaration d'impôt et procède aux investigations nécessaires. Elle effectue la taxation d'office sur la base d'une appréciation consciencieuse si, malgré sommation, le contribuable n'a pas satisfait à ses obligations de procédure ou que les éléments imposables ne peuvent être déterminés avec toute la précision voulue en l'absence de données suffisantes. Elle peut prendre en considération les coefficients expérimentaux, l'évolution de fortune et le train de vie du contribuable (art. 130 al. 2 LIFD).
Selon un principe généralement admis en matière fiscale, il incombe à celui qui fait valoir l'existence d'un fait de nature à éteindre ou à diminuer sa dette fiscale d'en apporter la preuve et de supporter les conséquences de l'échec de cette preuve (arrêt 2C_87/2015 du 23 octobre 2015 consid. 7.1 et les références citées).
4.2. En l'espèce, il est établi que la raison individuelle appartenait au recourant, qu'elle n'a jamais tenu de comptabilité ou encore d'état des actifs et passifs. L'autorité intimée aurait par conséquent été autorisée à procéder à une taxation au sens de l'art. 130 al. 2 LIFD; elle y a renoncé au profit d'une procédure ordinaire. La procédure de taxation d'office est en effet soumise à des exigences de procédures strictes, qui n'ont au demeurant pas été respectées en l'espèce. En particulier, l'autorité doit procéder à la sommation du contribuable avant d'établir une pareille taxation (art. 130 al. 2 LIFD), tandis que ce dernier doit motiver sa réclamation sous peine d'irrecevabilité (art. 132 al. 3 LIFD; cf. notamment ATF 123 II 552). Le choix de la procédure ordinaire de taxation ne porte pas préjudice aux recourants. En effet, en l'absence de sommation, l'art. 132 al. 3 LIFD ne s'applique pas. Cela n'empêche toutefois pas que l'autorité fiscale établisse les éléments imposables par appréciation, dans le respect des règles relatives au fardeau de la preuve. Par conséquent, pour arrêter le montant des revenus de l'activité lucrative indépendante qui n'étaient pas comptabilisés, il incombait à l'autorité intimée d'établir les faits qui l'autorisaient à augmenter la charge fiscale des recourants. A cet effet, elle s'est notamment fondée sur les déclarations du recourant en procédure pénale qui estimait alors que ses bénéfices oscillaient entre 45% et 55%. Avec prudence, l'autorité intimée a retenu un pourcentage de bénéfices de 45%.
L'instance précédente a derechef examiné, sans restreindre son pouvoir d'examen au caractère manifestement erroné de la taxation, le bien-fondé de la démarche de l'autorité intimée ainsi que la valeur probante de l'ensemble des pièces de sources diverses figurant dans le dossier de la procédure de recours. Elle a constaté à bon droit que l'estimation de l'autorité intimée n'excédait pas le pouvoir d'appréciation dont celle-ci jouit en la matière et que les recourants avaient échoué dans la preuve qu'il leur incombait d'apporter tendant à établir un revenu d'activité lucrative indépendante inférieure aux estimations prudentes de l'autorité intimée. Pour le surplus, lors de son audition du 18 septembre 2014 en procédure de recours par l'instance précédente, le recourant a admis que la raison individuelle avait obtenu un chiffre d'affaires de 4'108'750 fr.
Au vu de ces circonstances, c'est en vain que les recourants reprochent à l'instance précédente une taxation manifestement inexacte, l'absence de toute investigation sérieuse ainsi que la violation des exigences posées par l'art. 123 LIFD. Par conséquent, en confirmant le bien-fondé des reprises de revenus imposables, l'instance précédente n'a pas violé le droit fédéral.
5.
Les recourants se plaignent de leur condamnation au paiement d'une amende et de sa quotité.
5.1. L'instance précédente a fait application de l'art. 175 al. 1 LIFD, selon lequel le contribuable qui, intentionnellement ou par négligence, fait en sorte qu'une taxation ne soit pas effectuée alors qu'elle devait l'être, est puni d'une amende. Elle a rappelé à bon droit qu'en règle générale, l'amende est fixée au montant de l'impôt soustrait. Si la faute est légère, l'amende peut être réduite jusqu'au tiers de ce montant; si la faute est grave, elle peut être triplée (art. 175 al. 3 LIFD) et que les dispositions générales du Code pénal suisse du 21 décembre 1937 sont applicables à la soustraction fiscale. A cet égard l'instance précédente a correctement exposé le droit fédéral applicable. Elle en a fait de même de la jurisprudence y relative de sorte qu'il peut être renvoyé à son arrêt sur ces points.
5.2. En l'espèce, eu égard aux faits retenus dans l'arrêt attaqué, dont il n'y a pas lieu de s'écarter (cf. consid. 2 ci-dessus), les conditions objectives et subjectives de la soustraction fiscale sont réunies : l'instance précédente a dûment constaté que les recourants avaient agi intentionnellement en ne déclarant pas les revenus de l'activité indépendante. Les peines prononcées s'élèvent à une fois les montants d'impôts soustraits. Le Tribunal cantonal, faisant sienne la position de l'autorité fiscale, a considéré sans violer le droit fédéral ces peines comme justifiées, eu égard à la longue période pendant laquelle les recourants ont omis de déclarer l'intégralité de leurs revenus provenant de la raison individuelle et aux montants soustraits. Sur la base de ces éléments, on ne voit pas que l'appréciation des juges cantonaux quant à la quotité des amendes prononcées soit critiquable.
6.
Les considérants qui précèdent conduisent au rejet du recours en matière de droit public dans la mesure où il est recevable et à l'irrecevabilité du recours constitutionnel subsidiaire. Succombant, les recourants doivent supporter les frais judiciaires solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est irrecevable.
2.
Le recours en matière de droit public est rejeté, dans la mesure où il est recevable.
3.
Les frais judiciaires, arrêtés à 8'500 fr., sont mis à la charge des recourants solidairement entre eux.
4.
Le présent arrêt est communiqué au mandataire des recourants, à l'Administration cantonale des impôts et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 29 février 2016
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
Le Greffier : Dubey