Faits :
A.
Le 23 août 2007, A.X._ et B.X._ ont déposé leur déclaration d'impôt pour la période fiscale 2006. Ils ont indiqué un revenu imposable de 76'100 fr. et une fortune imposable de 1'231'000 fr.
Le 14 juillet 2008, l'Office d'impôt des districts de Lausanne et Ouest lausannois (ci-après: l'office d'impôt de district) a notifié aux contribuables une décision de taxation définitive concernant l'impôt cantonal, communal et l'impôt fédéral direct de la période fiscale 2006. Pour l'impôt cantonal et communal, le revenu imposable a été fixé à 425'900 fr. au taux de 194'700 fr. et la fortune imposable à 1'242'000 fr. au taux de 1'242'000 fr. En ce qui concerne l'impôt fédéral direct, le revenu imposable a été arrêté à 423'000 fr. au taux de 423'000 fr. (barème personnes mariées). L'office d'impôt de district a précisé qu'un montant de 328'200 fr. avait été ajouté au revenu. Les contribuables avaient en effet acquis 1'094 parts supplémentaires de la société coopérative de construction et d'habitation C._. La valeur nominale desdites parts s'élevait à 300 fr. La valeur totale de cette acquisition avait donc été arrêtée à 328'200 fr. Les nouvelles parts avaient été déclarées en fortune par les contribuables mais ceux-ci n'avaient pas justifié économiquement cette acquisition, ne donnant aucune explication plausible sur la question de l'évolution de leur fortune.
La décision de taxation du 14 juillet 2008 a fait l'objet d'une réclamation le 21 juillet 2008. Le 29 août 2011, un entretien a eu lieu dans les locaux de l'office d'impôt de district. Les parties n'ont pas été en mesure de régler leur différend et la réclamation formée le 21 juillet 2008 a été maintenue. Le procès-verbal de cet entretien mentionnait que l'office d'impôt de district aurait été prêt à renoncer à la reprise de 328'200 fr. Le dossier fiscal des contribuables a été, par la suite, transmis à l'Administration cantonale des impôts, comme objet de sa compétence. Par courrier du 15 juillet 2015, l'Administration cantonale des impôts a réclamé des informations sur les dettes hypothécaires qui grevaient l'immeuble situé à la rue D._, à Lausanne soit:
- le détail de toutes les cédules hypothécaires qui grevaient l'immeuble situé à la rue D._, à Lausanne, pour les années 2003 à 2010;
- une copie des contrats hypothécaires (y compris les avenants) concernant l'immeuble susmentionné, pour les années 2003 à 2010;
- une copie des attestations bancaires relatives aux intérêts passifs des dettes hypothécaires qui grevaient l'immeuble situé à la rue D._, à Lausanne, pour les années 2003 à 2010;
- des informations sur la prise en charge des intérêts passifs relatifs aux dettes hypothécaires de l'immeuble situé à la rue D._, à Lausanne.
Le 26 août 2015, elle a adressé un courrier aux contribuables leur impartissant un dernier délai au 25 septembre 2015 pour produire les pièces précitées et leur indiquant que, sans réponse dans le délai imparti, une décision sur réclamation basée sur les pièces à sa disposition serait rendue. Le 15 octobre 2015, les contribuables ont informé l'Administration cantonale des impôts que les documents requis étaient déjà en possession de l'office d'impôt de district. Ils ont indiqué qu'ils transmettaient néanmoins à nouveau diverses attestations hypothécaires de la banque I._. Aucune information relative à l'utilisation des fonds versés par la banque n'a été fournie.
Par décision du 8 juin 2016, l'Administration cantonale des impôts du canton de Vaud a rejeté la réclamation. Les contribuables ont déposé un recours auprès du Tribunal cantonal du canton de Vaud contre la décision sur réclamation du 8 juin 2016.
B.
Par arrêt du 22 juin 2018, le Tribunal cantonal du canton de Vaud a rejeté le recours que les contribuables avaient déposé contre la décision sur réclamation rendue le 8 juin 2016 par l'Administration cantonale des impôts du canton de Vaud. Ces derniers n'avaient pas démontré d'où provenaient les ressources financières ayant servi à acquérir 1'094 parts supplémentaires de la société coopérative.
C.
Agissant par la voie du recours en matière de droit public, les contribuables demandent au Tribunal fédéral, sous suite de frais et dépens, de réformer l'arrêt rendu le 22 juin 2018 par le Tribunal cantonal du canton de Vaud dans le sens des considérants. Ils se plaignent de la violation des règles sur la récusation et de la violation du droit fédéral, notamment des règles relatives à la répartition du fardeau de la preuve, ainsi que de l'appréciation arbitraire des preuves.
L'Administration cantonale des impôts et l'Administration fédérale des contributions concluent au rejet du recours.
Les contribuables ont été invités à répliquer. Le 14 février 2019, ils ont déposé une requête d'effet suspensif.
Considérant en droit :
1.
La Commission de recours a rendu une seule décision valant tant pour l'impôt fédéral direct que pour les impôts cantonaux et communaux des contribuables, ce qui est en principe admissible, dès lors qu'il ressort clairement de ladite décision que le litige porte sur les deux catégories d'impôts (cf. ATF 135 II 260 consid. 1.3.1 p. 262). Dans ces circonstances, on ne peut reprocher aux contribuables d'avoir formé un seul recours au Tribunal fédéral (cf. ATF 135 II 260 consid. 1.3.2 p. 263 s.). Il faut cependant qu'il ressorte de la motivation du recours que la partie recourante s'en prend tant à l'impôt fédéral direct qu'à l'impôt cantonal et communal pour que ces deux catégories d'impôts puissent être revues par le Tribunal fédéral (ATF 135 II 260 consid. 1.3.2 p. 263 s.; arrêt 2C_445/2015 du 26 août 2016 consid. 2.1).
En l'occurrence, les recourants ne précisent pas que leur recours concerne les deux catégories d'impôt. Ils ne mentionnent du reste aucune norme légale qui relèverait de la législation sur l'impôt fédéral ou de la législation sur l'harmonisation fiscale des impôts directs des cantons et des communes. Dans la mesure où leur motivation est néanmoins compréhensible (cf. art. 42 al. 2 LTF) et que leur recours doit être rejeté, la question peut rester ouverte.
2.
D'après l'art. 106 al. 1 LTF, le Tribunal fédéral applique le droit d'office. Il statue sur la base des faits constatés par l'autorité précédente (art. 105 al. 1 LTF). Selon l'art. 97 al. 1 LTF, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'art. 95 LTF et si la correction du vice est susceptible d'influer sur le sort de la cause (ATF 142 II 355 consid. 6 p. 358; 139 II 373 consid. 1.6 p. 377). La partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées (cf. art. 106 al. 2 LTF). A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (ATF 137 II 353 consid. 5.1 p. 356).
Lorsque les recourants - comme c'est le cas en l'espèce - s'en prennent à l'appréciation des preuves et à l'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (ATF 129 I 8 consid. 2.1 p. 9). Toutefois, aux termes de l'art. 106 al. 2 LTF, le Tribunal fédéral n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant.
En vertu de l'art. 99 al. 1 LTF, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente. Les recourants produisent à l'appui de leur recours devant le Tribunal fédéral parmi d'autres pièces et moyens de preuve plusieurs contrats de crédit hypothécaire. Ces moyens de preuve sont nouveaux. Ils sont par conséquent irrecevables.
3.
Les recourants soutiennent qu'un des juges de l'instance précédente aurait dû se récuser, car il avait fait partie de l'autorité intimée et connaissait le fonctionnaire en charge de leur dossier fiscal, ce qui, à leur avis, conduisait inévitablement à un conflit d'intérêt.
3.1. En vertu de l'art. 109 al. 1 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD, RS 642.11), toute personne appelée à prendre une décision ou à participer de manière déterminante à l'élaboration d'une décision ou d'un prononcé, en application de la présente loi, est tenue de se récuser :
a. si elle a un intérêt personnel dans l'affaire;
b. si elle est le conjoint ou le partenaire enregistré d'une partie ou mène de fait une vie de couple avec elle;
b bis si elle est parente ou alliée d'une partie en ligne directe ou en ligne collatérale jusqu'au troisième degré;
c. si elle représente une partie ou a agi pour une partie dans la même affaire;
d. si, pour d'autres raisons, elle pourrait avoir une opinion préconçue dans l'affaire.
Conformément au principe de la bonne foi et de l'interdiction de l'abus de droit, si un justiciable entend faire valoir un motif de récusation en relation avec la composition irrégulière d'une autorité judiciaire, il doit invoquer ce motif dès qu'il en a connaissance, sous peine d'être déchu du droit de s'en prévaloir ultérieurement. Il est, en effet, contraire aux règles de la bonne foi de garder en réserve le moyen tiré de la composition irrégulière du tribunal pour ne l'invoquer qu'en cas d'issue défavorable de la procédure (arrêt 2C_991/2011 du 18 juillet 2012 consid. 2.1 in RF 67 2012 703; ATF 132 II 485 consid. 4.3 p. 496 et les références citées).
3.2. En l'espèce, il ressort du dossier que, par courrier du 22 décembre 2017, l'instance précédente a communiqué aux recourants la composition de la Cour appelée à statuer sur leurs griefs. Les recourants n'ont fait valoir aucun motif de récusation à ce moment-là. Ils sont par conséquent déchus du droit de demander la récusation du juge en cause. Le grief est rejeté.
4.
Le litige porte sur le calcul d'évolution de fortune et du train de vie effectué par l'autorité intimée pour reprendre un montant de 328'200 fr. au titre de revenu imposable non déclaré pour la période fiscale 2006.
5.
Les recourants soutiennent en premier lieu que l'office d'impôt de district et l'Administration cantonale des impôts ont adopté une attitude contradictoire, contraire au droit fédéral et au droit constitutionnel. Le premier s'était déclaré d'accord de supprimer la reprise de revenu lors de l'entretien du 29 août 2011 tandis que la seconde a décidé de maintenir la reprise en cause.
Le grief est insuffisamment motivé eu égard aux exigences accrues en la matière prévues par l'art. 106 al. 2 LTF s'agissant de la violation des droits constitutionnels. S'il pouvait être examiné, il devrait être rejeté. Les recourants perdent de vue qu'ils ont expressément refusé l'offre transactionnelle faite par l'office d'impôt de district en apposant leur signature sur le procès-verbal de l'entretien du 29 août 2011.
I. Impôt fédéral direct
6.
6.1. Sont imposables tous les revenus provenant de l'exploitation d'une entreprise commerciale, industrielle, artisanale, agricole ou sylvicole, de l'exercice d'une profession libérale ou de toute autre activité lucrative indépendante (art. 18 al. 1 LIFD).
6.2. Selon l'art. 130 LIFD, l'autorité de taxation contrôle la déclaration d'impôt et procède aux investigations nécessaires (al. 1). Elle effectue la taxation d'office sur la base d'une appréciation consciencieuse si, malgré sommation, le contribuable n'a pas satisfait à ses obligations de procédure ou que les éléments imposables ne peuvent être déterminés avec toute la précision voulue en l'absence de données suffisantes. Elle peut prendre en considération les coefficients expérimentaux, l'évolution de fortune et le train de vie du contribuable (al. 2).
6.3. Le contribuable taxé d'office peut, par la voie de la réclamation, contester la réalisation des conditions qui ouvrent à l'autorité fiscale le droit de taxer d'office, ainsi que le montant des éléments imposables, pour autant qu'il prouve le caractère manifestement inexact de la taxation (art. 132 al. 3 LIFD). En l'absence de sommation préalable à la taxation d'office, comme en l'espèce, l'art. 132 al. 3 LIFD ne s'applique pas (cf. arrêts 2C_618/2015 du 29 février 2016 consid. 4.2; 2A.561/2005 du 22 février 2006 consid. 3).
6.4. L'absence de sommation préalable n'empêche pas l'autorité fiscale d'établir les éléments imposables par appréciation (cf. arrêts 2C_618/2015 du 29 février 2016 consid. 4.2; 2A.561/2005 du 22 février 2006 consid. 3), lorsqu'il subsiste une incertitude sur ces éléments (cf. arrêt 2C_679/2016 du 11 juillet 2017 consid. 4.1, in StE 2017 B 93.5.33). Le contribuable doit être taxé d'après sa capacité économique réelle (cf. arrêt 2C_679/2016 du 11 juillet 2017 consid. 4.2). L'autorité de taxation appelée à évaluer d'office le revenu imposable d'un contribuable doit tenir compte, selon sa propre appréciation, de toutes les données disponibles au moment de prendre sa décision. On ne peut toutefois exiger de l'autorité de taxation qu'elle effectue des enquêtes et qu'elle procède à des éclaircissements par trop détaillés, en particulier lorsqu'elle ne dispose pas d'éléments probants (cf. arrêts 2C_679/2016 du 11 juillet 2017 consid. 4.2.3; 2A.384/2003 du 29 janvier 2004 consid. 2.2; 2A.442/2001 du 19 juin 2002 consid. 2.1; 2A.387/1997 du 6 mars 1999 consid. 2d, in RDAF 2000 II 41). Ainsi, lorsque les seules indications vérifiables ont trait à l'évolution de la situation de fortune, l'autorité fiscale peut se baser sur la différence entre l'état de fortune au début et à la fin de la période fiscale, puis ajouter au montant ainsi obtenu les dépenses privées et le train de vie estimés pour déterminer le revenu imposable (arrêts 2P.306/2004 du 24 juin 2005 consid. 7.1; 2A.442/2001 du 19 juin 2002 consid. 2.1; 2A.403/1999 du 20 mars 2000 consid. 2d; 2A.387/1997 du 16 mars 1999 consid. 2d).
6.5. En l'espèce, l'autorité intimée a constaté que les recourants avaient déclaré dans leur fortune imposable sur le plan cantonal au 31 décembre 2006 1'094 parts supplémentaires de la société coopérative de construction et d'habitation C._ par rapport à l'état de fortune déclaré au 31 décembre 2005. Devant ce constat, elle a dûment procédé à un calcul de l'évolution de la fortune des recourants entre le 31 décembre 2005 et le 31 décembre 2006, qui a révélé un solde négatif. Se fondant sur la valeur nominative des parts de la société coopérative, elle a procédé à la reprise d'un montant de 328'200 fr. (1094 x 300) au titre de revenu imposable pour la période fiscale 2006. Quoi qu'en pensent les recourants, la manière dont l'autorité intimée a établi l'existence d'un revenu de 328'200 fr. non déclaré est conforme au droit fédéral. Les griefs des recourants sur le contenu juridique de la notion de train de vie doivent être écartés et l'arrêt attaqué confirmé sur ce point.
7.
Les recourants soutiennent encore que l'instance précédente a violé les règles relatives à la répartition du fardeau de la preuve en matière fiscale et qu'elle a procédé à une appréciation arbitraire des preuves qu'ils ont fournies.
7.1. Selon l'art. 123 al. 1 LIFD, les autorités de taxation établissent les éléments de fait et de droit permettant une taxation complète et exacte, en collaboration avec le contribuable. Le contribuable est tenu de faire tout ce qui est nécessaire pour assurer une taxation complète et exacte (art. 126 al. 1 LIFD). A la demande de l'autorité de taxation, il est tenu de fournir des renseignements oraux ou écrits, de présenter ses livres comptables, les pièces justificatives et autres attestations ainsi que les pièces concernant ses relations d'affaires (art. 126 al. 2 LIFD). L'art. 126 LIFD exprime une obligation de collaboration générale de la part du contribuable, dont la limite découle avant tout du caractère nécessaire à une taxation complète et exacte et du principe de proportionnalité (arrêt 2C_594/2015 du 1er mars 2016 consid. 5.1.1 et références).
Il peut arriver que, même après l'instruction menée par l'autorité, un fait déterminant pour la taxation reste incertain. Ce sont alors les règles générales du fardeau de la preuve qui s'appliquent pour déterminer qui doit supporter les conséquences de l'échec de la preuve ou de l'absence de preuve d'un tel fait. En matière fiscale, ce principe veut que l'autorité fiscale établisse les faits qui justifient l'assujettissement et qui augmentent la taxation, tandis que le contribuable doit prouver les faits qui diminuent la dette ou la suppriment (cf. ATF 140 II 248 consid. 3.5 p. 252; 2C_66/2014 du 5 novembre 2014 consid. 3.1).
7.2. En l'espèce, il ressort du considérant 5 ci-dessus que l'autorité intimée a dûment établi aux moyens des déclarations des recourants (1094 parts supplémentaires déclarées comme fortune au 31 décembre 2006) et d'un calcul d'évolution de fortune entre le 31 décembre 2005 et le 31 décembre 2006, l'existence d'un revenu non déclaré qui augmente la dette fiscale des recourants pour la période 2006. Conformément aux règles sur le fardeau de la preuve rappelées ci-dessus, il appartenait donc aux recourants de démontrer les faits qui permettaient de supprimer cette reprise et donc de diminuer leur dette fiscale. Ces derniers ont été invités à cet effet à produire les documents et les moyens de preuve tant par l'autorité intimée que par l'instance précédente (arrêt attaqué, consid. 7b cc p. 23 s.).
En annexe à leur réclamation, ils ont produit
- une attestation de la banque I._ du 16 janvier 2004 concernant le prêt hypothécaire xxxxxxxxxxxxxxx1 sur Avenue D._, à Lausanne, dettes de 300'000 fr., intérêts de 6'843 fr. 35,
- une attestation de la banque I._ du 18 janvier 2005 concernant le prêt hypothécaire xxxxxxxxxxxxxxx2 Avenue D._, à Lausanne, dettes de 292'200 fr., intérêts de 4'217 fr. 50,
- une attestation de la banque de la banque I._ du 18 janvier 2006 concernant le prêt hypothécaire xxxxxxxxxxxxxxx3 sur Avenue D._, à Lausanne, dettes de 959'500 fr., intérêts de 13'580 fr. 45,
- une attestation (en espagnol) de l'architecte E._, à Lima, Pérou, versement de USD 290'000,
- un jugement (en espagnol) du Tribunal de première instance de Alicante (Espagne),
- une attestation de Mme F._ à Bogota (vente d'un bien immobilier), versement d'un montant de USD 39'000 à Madame B.X._,
cherchant ainsi à établir que les montants en cause provenaient de trois héritages entre 2003 et 2005 ainsi que de l'augmentation de l'endettement personnel du recourant.
7.3. L'instance précédente a jugé que les affirmations des recourants s'agissant des héritages n'avaient été confirmées par aucune pièce (bancaire) attestant d'un versement concret et que les attestations en espagnol du frère du recourant étaient insuffisantes parce qu'elles n'étaient pas non plus accompagnées de pièces (bancaires) justificatives.
S'agissant de l'augmentation de l'endettement personnel du recourant sur son immeuble, l'instance précédente a jugé que les pièces produites en rapport avec l'immeuble personnel du recourant ne permettaient pas d'avoir une vision d'ensemble claire de la situation hypothécaire de cet immeuble, notamment en raison du fait que les attestations bancaires relatives à ces prêts hypothécaires qui figuraient au dossier n'étaient pas accompagnées par les contrats hypothécaires y relatifs de sorte que l'évolution des engagements hypothécaires entre 2003 et 2005 n'était pas du tout expliquée. Pour le surplus, dans leur réplique du 17 février 2017, les recourants avaient certes détaillé diverses opérations relatives, d'une part, à la création de la société coopérative C._ et, d'autre part, à des projets de construction réalisés par cette société (rue G._ à Lausanne et rue H._ à Yverdon), mais que ces diverses démarches, en particulier les crédits de construction relatifs aux immeubles précités contractés par la société coopérative C._, n'expliquaient pas quelle était l'origine des fonds avec lesquels les recourants avaient acquis 1'094 parts supplémentaires de la société précitée.
7.4. Invoquant une appréciation arbitraire des preuves, les recourants reprochent à l'instance précédente et à l'autorité intimée de n'avoir manifestement pas compris le contenu des pièces qu'ils ont produites. Ils exposent en substance que "les attestations de la banque I._ sur l'évolution de l'hypothèque personnelle produites prouvent que la recourante a augmenté sa dette hypothécaire en 2003 et 2005, puis que cette dette a été réduite en 2005 et 2007 par le versement de la somme reçue de l'héritage reçu notamment du Pérou". Ils affirment que l'origine de ce montant versé à la banque I._ ne peut provenir que d'une source extérieure, notamment d'un héritage de la mère de la recourante (décédée au Pérou) avant 2005 et après 2006, puisqu'autrement les revenus constants de la recourante n'auraient pas permis de réduire la dette.
Les recourants se bornent à répéter que les pièces qu'ils ont produites sont suffisantes pour expliquer la provenance des fonds ayant permis l'acquisition de 1'094 parts sociales supplémentaires. A leur avis, affirmer le contraire est arbitraire et de mauvaise foi. Ce faisant, ils ne démontrent pas en quoi concrètement l'appréciation des preuves par l'instance précédente serait insoutenable. Ils se limitent en effet à substituer leur appréciation des preuves à celle de l'instance précédente, ce qui ne suffit pas pour en démontrer le caractère arbitraire (cf. consid. 2 ci-dessus). Il s'ensuit que les recourants, qui supportent le fardeau de la preuve des faits qui diminuent leur dette fiscale, ne parviennent pas à expliquer la provenance des fonds en cause. Ces derniers constituent par conséquent des revenus non déclarés qui doivent être repris au titre de revenu imposable.
7.5. En confirmant la reprise en matière d'impôt fédéral direct d'un revenu de 328'200 fr. dans le chapitre des recourants pour la période fiscale 2006, l'instance précédente n'a pas violé le droit fédéral. Le recours est rejeté en tant qu'il concerne l'impôt fédéral direct.
II. Impôt cantonal et communal
8.
8.1. La loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; loi sur l'harmonisation fiscale; RS 642.14) ne contient pas de disposition sur la récusation des autorités fiscales. Les recourants n'indiquent pas de base légale cantonale qui aurait pour objet la récusation des autorités fiscales. Dépourvue de motivation (art. 42 al. 2 et 106 al. 2 LTF), leur conclusion tendant à la récusation d'un juge de l'instance précédente en matière d'impôt cantonal et communal est par conséquent irrecevable.
8.2. Conformément à l'art. 7 LHID, l'art. 19 al. 1 et 2 de la loi vaudoise du 4 juillet 2000 sur les impôts cantonaux directs (LI/VD; RSVD 642.11) prévoit que sont imposables tous les revenus provenant de l'exploitation d'une entreprise commerciale, industrielle, artisanale, agricole ou sylvicole, de l'exercice d'une profession libérale ou de toute autre activité lucrative indépendante. Les art. 172 ss LI/VD ont un contenu similaire à celui des art. 123 ss LIFD. Enfin, l'art. 180 al. 2 LI/VD prévoit que l'autorité de taxation effectue la taxation d'office sur la base d'une appréciation consciencieuse si, malgré sommation, le contribuable n'a pas satisfait à ses obligations de procédure ou que les éléments imposables ne peuvent être déterminés avec toute la précision voulue en l'absence de données suffisantes. Elle peut prendre en considération les coefficients expérimentaux, l'évolution de fortune et le train de vie du contribuable. Cette disposition, conforme à l'art. 46 al. 3 LHID, a une teneur semblable à l'art. 130 LIFD (cf. arrêts 2C_467/2017 du 5 juillet 2018 consid. 6.1; 2A.561/2005 du 22 février 2006 consid. 5). En conséquence, les considérations développées ci-dessus pour l'impôt fédéral direct s'appliquent également à l'impôt cantonal et communal de la période fiscale 2006.
8.3. Le recours est rejeté dans la mesure où il est recevable en tant qu'il concerne l'impôt cantonal et communal.
9.
La requête d'effet suspensif est devenue sans objet. Succombant, les recourants doivent supporter les frais de la procédure fédérale solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté en tant qu'il concerne l'impôt fédéral direct de la période fiscale 2006.
2.
Le recours est rejeté dans la mesure où il est recevable en tant qu'il concerne l'impôt cantonal et communal de la période fiscale 2006.
3.
Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge des recourants solidairement entre eux.
4.
Le présent arrêt est communiqué aux recourants, à l'Administration cantonale des impôts du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Administration fédérale des contributions.
Lausanne, le 28 février 2019
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Dubey