Faits :
A.
A.A._ et son épouse B.A._ étaient domiciliés dans le canton du Valais jusqu'à la fin de l'année 2003. Ils étaient assujettis de manière limitée dans le canton de Vaud en raison de la détention d'un immeuble par B.A._ à V._.
Par décision du 13 mars 2006, l'Administration cantonale des impôts du canton de Vaud a fixé le domicile fiscal des époux sur cette dernière commune pour la période fiscale 2004. Cette décision n'a fait l'objet d'aucun recours. Dans une correspondance du 12 avril 2012, les autorités fiscales valaisannes ont confirmé à l'Administration cantonale des impôts du canton de Vaud que A.A._ n'était plus assujetti à l'impôt en Valais depuis le 1er janvier 2004 et qu'au vu des éléments en sa possession, il n'apparaissait pas qu'il devait l'être à nouveau.
A.A._ exploite une fiduciaire en raison individuelle, dont l'adresse, selon l'inscription au Registre du commerce, est à la rue du W._ à X._. Il est l'administrateur de la société C._ SA, anciennement dénommée D._ SA, qui a pour but le conseil et les services à d'autres entreprises. Cette société, dont le siège est à Y._, dispose d'une succursale à X._. A.A._ était également l'administrateur au moment des périodes fiscales litigieuses de la société E._ AG, dénommée jusqu'en 1999 F._ AG. Déclarée en faillite le 3 janvier 2007, cette société a été radiée le 27 novembre 2012. Enfin, l'intéressé était aussi l'administrateur de la société G._ SA, à Z._, qui avait pour but la maintenance de lignes électriques et téléphoniques. Cette société a été radiée en 2008, à la suite de sa fusion avec la société C._ SA.
G._ SA était détenue entièrement par H._, qui en a vendu l'intégralité du capital-actions à A.A._ le 3 octobre 1997 pour le prix de 2'000'000 fr. La Banque I._ a financé l'achat de A.A._ en accordant à la société F._ AG (devenue E._ AG en 1999) un crédit garanti par un cautionnement personnel et la remise en nantissement des actions de G._ SA auprès de la banque. Un premier acompte de 500'000 fr. a été versé au vendeur. A.A._ ne s'est pas acquitté de l'acompte suivant d'un montant de 300'000 fr. et a succombé aux procédures de recouvrement introduites à son égard par H._. Sur les comptes 2001 à 2003 de E._ AG, la participation G._ SA est activée pour 2'000'000 fr. et une provision de 1'500'000 fr. a été constituée à charge de l'exercice 2002. A partir de 2004, A.A._ a comptabilisé dans les comptes de sa raison individuelle une provision de 500'000 fr. (mention " litige H._ "). Ni la participation dans G._ SA ni celle dans E._ AG ne figurent au bilan de la raison individuelle.
A.A._ a augmenté de 500'000 fr. la provision figurant à son bilan au cours des exercices 2005 à 2007, portant son montant total à 2'000'000 fr. au 31 décembre 2007.
Le 16 septembre 2005, les époux A._ ont déposé leur déclaration d'impôt pour la période fiscale 2004 dans le canton du Valais. Ils ont annoncé un revenu et une fortune imposables nuls. A la suite de la décision de l'Administration cantonale des impôts du 13 mars 2006 fixant le domicile fiscal des époux A.A._ à V._ (cf. ch. 1 ci-dessus), ces derniers ont reçu une déclaration d'impôt vaudoise pour la période fiscale 2004. Ils l'ont retournée en février 2006, en y joignant la déclaration d'impôt déposée dans le canton du Valais. Les époux A._ ont rempli pour la période fiscale 2005 une déclaration d'impôt en Valais qu'ils ont signée le 17 novembre 2006. Cette déclaration a été remise par les autorités valaisannes aux autorités fiscales vaudoises en janvier 2007.
B.
Par décision de taxation du 19 octobre 2009, l'Administration cantonale des impôts a fixé le revenu imposable 2004 des époux A._ à 136'000 fr. au taux de 66'400 fr. (quotient familial: 2.8) et la fortune imposable à 662'000 fr. au taux de 667'000 francs. L'Administration cantonale des impôts a refusé de tenir compte de la provision de 500'000 fr. dans les comptes de la raison individuelle.
Par décision de taxation du même jour, l'Administration cantonale des impôts a fixé le revenu imposable 2005 à 136'600 fr. au taux de 59'300 fr. (quotient familial: 2.3) et la fortune imposable à 0 franc. La même reprise que sur la période 2004 a été effectuée.
En raison d'une erreur de maniement de logiciel, les décisions du 19 octobre 2009 ont généré l'envoi de décisions ultérieures, le 23 octobre 2009, pour les mêmes périodes de taxation (2004 et 2005). Lors de son envoi du 19 octobre 2009, l'Administration cantonale des impôts a expressément invité les contribuables à ne pas tenir compte des nouvelles décisions qu'ils devraient recevoir quelques jours plus tard et portant la date du 23 octobre 2009.
Le 20 novembre 2009, A.A._ a formé réclamation contre les décisions de taxation 2004 et 2005 concernant le couple. Il a produit une photocopie d'une enveloppe postée en recommandé le 19 octobre 2009 et reçue le 21 octobre 2009 et précisé que sa réclamation portait sur les décisions de taxation des 19 et 23 octobre 2009, soit au total quatre décisions, en ces termes:
" Concerne: décisions de taxation 2004 et 2005 Monsieur et Madame A.A._ et B.A._
Madame, Monsieur,
La présente réclamation est dirigée contre les décisions de taxation en matière d'ICC et d'IFD datées des 19 et 23 octobre 2009, soit au total 4 décisions.
La présente intervient dans les 30 jours dès la notification des décisions litigieuses (preuve: annexe 1), elle est donc recevable quant à sa forme.
... "
Le divorce des époux A._ a été prononcé en octobre 2006.
A.A._ n'a pas déposé de déclaration d'impôt dans le canton de Vaud pour la période fiscale 2006, arguant du fait qu'il n'y était pas assujetti à l'impôt. Une copie de sa déclaration d'impôt déposée en Valais pour la période fiscale 2006 a été remise aux autorités fiscales vaudoises. Le 23 octobre 2009, l'autorité fiscale vaudoise a rendu une décision de taxation pour la période fiscale 2006 à l'encontre de A.A._, fixant son revenu et sa fortune imposables à zéro. La provision de 500'000 fr. a été refusée. Toutefois, dans la mesure où la perte de l'exercice était supérieure à cette reprise, le revenu imposable était nul.
A.A._ n'a pas non plus déposé de déclaration d'impôt dans le canton de Vaud pour la période fiscale 2007. Par décision de taxation du 23 octobre 2009, l'autorité fiscale a fixé son revenu imposable 2007 à 108'100 fr. et sa fortune imposable 2007 à zéro franc. Elle a refusé la provision de 500'000 francs.
Par lettre du 26 janvier 2010, A.A._ a indiqué à l'Administration cantonale des impôts que sa réclamation du 20 novembre 2009 concernait également les décisions de taxation relatives aux périodes fiscales 2006 et 2007.
Le 12 mars 2010, l'Administration cantonale des impôts lui a répondu que, considéré comme une réclamation concernant les périodes fiscales 2006 et 2007, son courrier du 26 janvier 2010 était hors délai et que les conditions d'une restitution du délai n'étaient pas réunies.
Par décision sur réclamation du 18 juin 2013, l'Administration cantonale des impôts a modifié la décision de taxation du 19 octobre 2009 en ce qu'elle concernait la période fiscale 2004 uniquement pour la fortune en ce sens que le bénéfice imposable était arrêté à 186'100 fr. au taux de 66'400 fr., la fortune imposable étant nulle. Elle a rejeté la réclamation du 19 octobre 2009 en ce qu'elle concernait la période fiscale 2005 et l'a déclarée irrecevable en ce qu'elle portait sur les périodes fiscales 2006 et 2007.
C.
Le 12 juillet 2013, A.A._ a recouru contre la décision du 18 juin 2013 auprès du Tribunal cantonal du canton de Vaud. Il a contesté avoir un domicile fiscal dans le canton de Vaud pour les périodes fiscales 2004 à 2007. Il a fait valoir que le droit de taxer du Canton de Vaud était prescrit. Il a demandé que la provision pour litige soit considérée comme charge justifiée par l'usage commercial. Il a requis l'audition de deux témoins.
D.
Par arrêt du 12 décembre 2013, le Tribunal cantonal du canton de Vaud a rejeté le recours. Il a jugé qu'il n'était pas nécessaire d'entendre les deux témoins proposés. Il a confirmé que la réclamation du 20 novembre 2009 ne concernait que les décisions de taxation des périodes fiscales 2004 et 2005 et que la réclamation du 26 janvier 2010 interjetée contre les décisions de taxation pour les périodes fiscales 2006 et 2007 était tardive et irrecevable. Il a établi que le domicile fiscal de l'intéressé se trouvait dans le canton de Vaud durant l'année 2005. Il a jugé que la provision pour litige ne revêtait pas de justification commerciale parce que l'intéressé n'était pas titulaire de la participation dans la société G._ SA et cette participation ne pouvait par conséquent pas appartenir à la fortune commerciale de la raison individuelle.
E.
Par courrier du 13 janvier 2014, A.A._ demande au moins implicitement au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt rendu le 12 décembre 2013 par le Tribunal cantonal du canton de Vaud. Il se plaint de la constatation inexacte des faits, de la violation de son droit d'être entendu, de la violation des règles relatives à la " péremption " du droit de taxer et de celles relatives aux provisions pour litiges.
Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, le Tribunal fédéral a enregistré le recours sous les numéros d'ordre 2C_34/2014 pour l'impôt cantonal et communal et 2C_35/2014 pour l'impôt fédéral direct.
Le Tribunal cantonal se réfère à son arrêt. L'Administration fédérale des contributions précise qu'il n'existe aucun litige de souveraineté fiscale entre le canton de Vaud et celui du Valais à propos de A.A._ et conclut au rejet du recours.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (<ref-law>) rendu dans une cause de droit public (<ref-law>) par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF) sans qu'aucune des exceptions prévues à l'<ref-law> ne soit réalisée (cf. <ref-ruling> consid. 2.3 p. 312 à propos des recours en matière de double imposition depuis l'entrée en vigueur de la LTF).
Sur le fond, la décision attaquée concerne une provision pour litige à la fois en matière d'impôt fédéral direct pour les périodes fiscales 2004 à 2007 et en matière d'impôt cantonal harmonisé pour les périodes fiscales 2004 à 2007, ce qui est admissible puisque ce problème juridiques est identiques pour les deux catégories d'impôts (cf. <ref-ruling> consid. 1.3.1 p. 262 s.).
Déposé en temps utile (<ref-law>), par le destinataire de la décision attaquée qui a un intérêt digne de protection à l'annulation ou à la modification de celle-ci (<ref-law>), le présent recours est recevable comme recours en matière de droit public.
Comme l'état de fait est identique et que les questions juridiques se recoupent, les causes sont jointes et font l'objet d'un seul arrêt (cf. <ref-law> et 24 al. 1 de la loi de procédure civile fédérale du 4 décembre 1947 [PCF; RS 273]).
2.
2.1. En vertu de l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause. Cela signifie que la partie recourante doit exposer en quoi l'état de fait retenu par l'instance précédente est arbitraire ou contraire au droit et préciser en quoi la correction du vice aurait une influence sur l'issue de la cause, faute de quoi il n'est pas possible de s'écarter des faits arrêtés dans l'arrêt attaqué. La notion de " manifestement inexacte " figurant à l'<ref-law> correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.2 p. 234). Selon la jurisprudence, une décision est arbitraire lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 4.3 p. 319; <ref-ruling> consid. 6.1 p. 379; <ref-ruling> consid. 2.4 p. 5).
Lorsque la partie recourante - comme c'est le cas en l'espèce - s'en prend à l'appréciation des preuves et à l'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a procédé à des déductions insoutenables (cf. <ref-ruling> consid. 4.2 p. 560; <ref-ruling> consid. 4.3 p. 62; <ref-ruling> consid. 2.1 p. 9).
A cela s'ajoute qu'aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
2.2. Sous chiffres 1.1, 1.3, 1.4, 1.5 intitulés " quand au (sic) constatations des faits " de son mémoire de recours, le recourant reproche à l'instance précédente d'avoir mal constaté les faits et de s'être mise en contradiction avec les pièces figurant au dossier. Il se borne toutefois à exposer un état de fait différent de celui qui résulte de l'arrêt attaqué sans préciser concrètement en quoi ces faits auraient été établis de manière arbitraire ni motiver en quoi la correction des vices dont il allègue l'existence aurait une influence sur le sort de la cause.
Dans ces conditions, il n'est pas possible de s'écarter des faits retenus dans l'arrêt attaqué.
2.3. Le recourant se plaint de la contradiction entre la correspondance des autorités fiscales valaisannes du 12 avril 2012 confirmant à l'Administration vaudoise des impôts que celui-ci n'était plus assujetti à l'impôt en Valais depuis le 1er janvier 2004 et qu'au vu des éléments en sa possession, il n'apparaissait pas qu'il devait l'être à nouveau et les pièces 1 à 3 qu'il avait produites devant l'instance précédente puis une nouvelle fois en annexe de son mémoire de recours. Ce faisant, le recourant se plaint de l'appréciation arbitraire des preuves, sans exposer en quoi les pièces 1 à 3, qui ne comportent du reste aucun élément chiffré ni sur le revenu ni sur la fortune du recourant, devraient avoir une force probante plus importante que le contenu du courrier du 12 avril 2012, ce que l'instance précédente a au demeurant expressément nié (arrêt attaqué, consid. 4.d).
2.4. Sous chiffres 2.1, 2.3 et 2.4 de son mémoire, le recourant expose des faits et moyens de preuve nouveaux qui sont par conséquent irrecevables. Il en va de même des griefs qui reposent sur ces faits nouveaux, en particulier ceux qui tendent à démontrer que le recourant n'avait pas son domicile fiscal dans le canton de Vaud pour les périodes fiscales 2004 à 2005 en se fondant sur les circonstances judiciaires du divorce.
2.5. Le recourant se plaint de ce que l'instance précédente a jugé qu'il n'avait pas déposé de réclamation contre les décisions de taxation des périodes fiscales 2006 et 2007. A cet égard, l'arrêt attaqué expose les motifs qui ont conduit l'instance précédente à apprécier la portée du courrier du 20 novembre 2009 dans la procédure de réclamation. En particulier, elle a tenu compte des connaissances professionnelles du recourant, du contenu du courrier du 20 novembre 2009 et de l'annexe au dit courrier qui consistait en la photocopie du seul courrier de l'Administration fiscale vaudoise du 19 octobre 2009. L'ensemble de ces éléments permettait, selon elle, de considérer que le recourant ne voulait déposer de réclamation qu'à l'encontre des décisions de taxation des périodes fiscales 2004 et 2005.
Pour obtenir gain de cause, le recourant devait exposer en quoi cette appréciation des preuves figurant au dossier serait insoutenable, ce qu'il n'a fait ni de manière suffisante ni de manière convaincante. Le grief est par conséquent rejeté. Au demeurant, à supposer qu'il faille admettre qu'une réclamation a bien été formellement interjetée pour ces deux périodes, elle aurait dû être écartée pour les motifs qui résultent des considérants ci-dessous.
3.
Invoquant la violation de son droit d'être entendu, le recourant se plaint de ce que l'instance précédente a renoncé à entendre le témoignage de son ancienne employée J._. Il expose qu'il aurait permis d'établir que son bureau ne s'était jamais trouvé à V._ et que son activité consistait à s'occuper de l'administration de G._ SA dans les bureaux de Z._.
3.1. De jurisprudence constante rendue en relation avec l'art. 29 al. 2 Cst., le droit d'être entendu comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 2.3 p. 282). L'autorité peut cependant renoncer à procéder à des mesures d'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 2.2 p. 210; <ref-ruling> consid. 5.2 p. 147 s.; <ref-ruling> consid. 2.1 p. 429).
3.2. Pour démontrer la violation de son droit d'être entendu, le recourant devait expliquer en quoi l'appréciation anticipée du témoignage proposé comme moyen de preuve constituait une appréciation arbitraire. Il devait par conséquent exposer concrètement en quoi était insoutenable le raisonnement de l'instance précédente, qui a considéré que le lieu de travail du témoin n'était pas déterminant pour fixer le domicile fiscal du recourant et qui a affirmé qu'elle disposait de nombreux autres indices pour déterminer le domicile fiscal de ce dernier, ce qu'il n'a pas fait. Ne répondant aux exigences accrues de motivation de l'<ref-law>, le grief est irrecevable.
I. Interdiction de la double imposition intercantonale
4.
4.1. S'appuyant sur la jurisprudence rendue en matière d'interdiction de la double imposition intercantonale, le recourant soutient que le canton de Vaud est déchu du droit d'exercer sa prétention fiscale pour les périodes fiscales 2004 à 2006.
L'exception tirée du fait qu'un canton est déchu de son droit d'imposition parce qu'il l'a fait valoir trop tard, ne peut être soulevée que par les cantons intéressés au litige né de la double imposition, et non par le contribuable lui-même (cf. <ref-ruling> consid. 3.1 p. 32; <ref-ruling> consid. 2c p. 267 et la jurisprudence citée). L'exception soulevée par le recourant est par conséquent irrecevable.
4.2. Le recourant se plaint de ce que son domicile fiscal a été fixé dans le canton de Vaud pour les périodes fiscales 2004 à 2007. Ce faisant, il plaint de l'interdiction constitutionnelle de la double imposition intercantonale ancrée à l'art. 127 al. 3 Cst. sans exposer de motivation conforme aux exigences accrues de l'<ref-law>. Son grief est par conséquent irrecevable. Au demeurant, il est établi que les autorités fiscales valaisannes n'ont pas imposé le recourant et n'entendent pas non plus le faire pour les périodes fiscales en cause (cf. consid. 2.3 ci-dessus).
II. Impôt fédéral direct
5.
Le recourant reproche à l'instance précédente d'avoir confirmé la reprise dans son revenu imposable des périodes fiscales 2004 et 2005 des provisions pour litiges qu'il a mises à charge des comptes de sa raison individuelle.
5.1. Selon l'art. 18 al. 1 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11), sont imposables tous les revenus provenant de l'exploitation d'une entreprise commerciale, industrielle, artisanale, agricole ou sylvicole, de l'exercice d'une profession libérale ou de toute autre activité lucrative indépendante. La fortune commerciale comprend tous les éléments de fortune qui servent, entièrement ou de manière prépondérante, à l'exercice de l'activité lucrative indépendante; il en va de même pour les participations d'au moins 20 % au capital-actions ou au capital social d'une société de capitaux ou d'une société coopérative, dans la mesure où le détenteur les déclare comme fortune commerciale au moment de leur acquisition.
Les droits de participation entrent dans la fortune commerciale lorsqu'il existe un rapport économique étroit entre la participation à la société et les autres affaires menées par le contribuable. Ce rapport doit en particulier être admis si la participation a été acquise dans un but commercial ou si l'acquéreur exerce une influence prépondérante sur la société en cause, qui correspond à ses propres activités commerciales ou les complète judicieusement, lui permettant ainsi d'étendre ses propres activités commerciales (cf. arrêt 2A.431/2000 du 9 avril 2001 consid. 4, in ASA 71, 288). Une étroite relation économique entre l'entreprise du contribuable et la société anonyme dont il détient des actions n'est encore pas suffisante pour admettre que ces dernières font partie de sa fortune commerciale. L'élément déterminant est la volonté de l'intéressé de mettre concrètement à profit ses droits de participation pour améliorer le résultat commercial de sa propre entreprise (arrêts 2A.431/2000 du 9 avril 2001 consid. 4c in RDAF 2001 II 16; 2C_802/2012 du 8 janvier 2013 consid. 2.4.2 et les références citées; 2C_361/2011 du 8 novembre 2011 consid. 2.4.2). Le Tribunal fédéral a jugé en particulier que des droits de participation qu'un architecte exerçant une activité accessoire de commerçant d'immeubles détenait dans une société anonyme qui devait réaliser un important projet immobilier appartenait à sa fortune commerciale. L'aliénation de ces participations constituait par conséquent un bénéfice en capital imposable (arrêt 2A.547/2004 du 22 avril 2005 in StE 2006 B 23.2 n° 31).
Aux termes de l'art. 27 al. 1 et 2 let. a LIFD, les contribuables exerçant une activité lucrative indépendante peuvent déduire les frais qui sont justifiés par l'usage commercial ou professionnel, dont font notamment partie les provisions au sens de l'<ref-law>.
5.2. En l'espèce, le recourant exploite une fiduciaire en raison individuelle. Il était également au moment des périodes fiscales litigieuses l'administrateur de la société E._ AG, dénommée jusqu'en 1999 F._ AG ainsi que de la société G._ SA, à Z._, qui avait pour but la maintenance de lignes électriques et téléphoniques. Par contrat du 3 octobre 1997, H._ a vendu l'intégralité du capital-actions de G._ SA à A.A._ pour le prix de 2'000'000 fr.
Force est d'abord de constater que le recourant n'a jamais comptabilisé ces actions dans le bilan de la raison individuelle de sorte qu'elles ne sauraient être considérées comme un actif commercial de la raison individuelle en application de l'art. 18 al. 2 in fine LIFD.
Au surplus, contrairement à ce que le recourant se contente d'ailleurs d'affirmer, il n'y a pas de lien étroit au sens de la jurisprudence entre les activités de conseil fiduciaire de la raison individuelle du recourant et les activités de maintenance de lignes électriques et téléphoniques de la société G._ SA. Le simple fait que la raison individuelle peut offrir à la société anonyme des services d'ordre fiduciaire, notamment au titre d'administrateur, comme à n'importe quel autre client d'une fiduciaire et que le recourant offrait du reste déjà, ne suffit pas à établir des liens étroits au sens de la jurisprudence qui auraient justifié que, même en l'absence de comptabilisation dans le bilan de la raison individuelle, les actions de G._ SA auraient dû être considérées comme un actif commercial de cette dernière. Dans ces conditions, l'achat des actions de G._ SA par le recourant relève de la gestion de ses affaires privées et le litige qui a surgi à propos de cette vente n'autorisait pas la comptabilisation de provisions à charge du compte de résultat de sa raison individuelle.
En confirmant la reprise des provisions pour litiges comptabilisés dans les comptes de la raison individuelle du recourant, l'instance précédente a correctement appliqué le droit fédéral. Le recours est rejeté sur ce point.
III. Impôt cantonal et communal
6.
Les art. 8 al. 2 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14) et 21 al. 2 de la loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux (LI/VD; RSVD 642.11) prévoient à l'instar de l'<ref-law> que la fortune commerciale comprend tous les éléments de la fortune qui servent, entièrement ou de manière prépondérante, à l'exercice de l'activité lucrative indépendante et qu'il en va de même pour les participations d'au moins 20 % au capital-actions ou au capital social d'une société de capitaux ou d'une société coopérative, dans la mesure où le détenteur les déclare comme fortune commerciale, au moment de leur acquisition.
Par conséquent, les considérations développées pour l'impôt fédéral direct s'appliquent également à l'impôt cantonal et communal relatifs aux périodes fiscales sous examen. Il s'ensuit que le recours doit être rejeté sur ce point pour les mêmes raisons.
7.
Les considérants qui précèdent conduisent au rejet du recours en matière d'impôt fédéral direct dans la mesure où il est recevable ainsi qu'au rejet du recours en matière d'impôt direct cantonal et communal dans la mesure où il est recevable.
Succombant, le recourant est condamné à payer un émolument de justice (<ref-law>). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 2C_34/2014 et 2C_35/2014 sont jointes.
2.
Le recours en matière d'impôt fédéral direct est rejeté dans la mesure où il est recevable.
3.
Le recours en matière d'impôt cantonal et communal est rejeté dans la mesure où il est recevable.
4.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
5.
Le présent arrêt est communiqué au recourant, à l'Administration cantonale des impôts, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Administration fédérale des contributions, Division juridique impôt fédéral direct.
Lausanne, le 15 août 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Le Greffier :
Zünd Dubey