Faits :
A.
A.a. X._ a exercé son activité dans le commerce de montres, d'abord par l'intermédiaire de la raison individuelle X._ International, dont le siège était à A._, jusqu'au 31 décembre 2002, puis dans le cadre de la société B._ Sàrl, sise à C._ (devenue la raison sociale B._ International Sàrl en 2007), dont il est l'associé gérant et le salarié. X._ est également le gérant de la société à responsabilité limitée X._ International, inscrite au registre du commerce français, dont le siège est à Gaillard (France).
A.b. Dans sa déclaration d'impôt 2001-2002, X._ a déclaré un revenu provenant d'une activité lucrative indépendante de 125'172 fr. en 1999 et 101'446 fr. en 2000.
Dans sa déclaration d'impôt 2001-2002bis, remise le 28 novembre 2003, X._ a annoncé un revenu provenant d'une activité lucrative indépendante de 430'589 fr. en 2001 et 430'589 fr. en 2002. Il a indiqué n'avoir réalisé aucun revenu extraordinaire en 2001 et 2002. Une première décision de taxation, du 9 août 2006, de l'Office d'impôt du district de Lavaux (ci-après: l'Office d'impôt), arrêtant à 2'938'500 fr. le montant des revenus extraordinaires réalisés par X._ en 2002, a été contestée par le contribuable. L'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) a, le 22 octobre 2010, informé celui-ci qu'elle établissait à 361'000 fr. son revenu imposable pour la période fiscale 2001-2002bis et l'a invité à se déterminer sur le maintien de sa réclamation. X._ a maintenu sa réclamation.
A.c. Dans sa déclaration d'impôt 2009, déposée le 4 novembre 2010, X._ a déclaré un revenu imposable de 84'600 fr. et une fortune de zéro franc. Il a indiqué au titre du "revenu en Suisse et à l'étranger 2009" un montant de 130'000 fr., correspondant à des prestations à Dubaï. Par décision de taxation du 7 mars 2011, l'Office d'impôt a arrêté le revenu imposable de X._ à 1'585'900 fr. pour l'impôt cantonal et communal (ci-après: ICC) et à 1'590'500 fr. pour l'impôt fédéral direct (ci-après: IFD). X._ a formé une réclamation contre cette décision, qu'il a maintenue le 8 juin 2011.
B.
Par décision sur réclamation du 29 avril 2015, l'Administration cantonale a arrêté à 361'000 fr. le revenu imposable de X._ pour la période fiscale 2001-2002bis, tant pour l'ICC que pour l'IFD.
Dans cette même décision, l'Administration cantonale s'est prononcée sur la fixation du revenu imposable de X._ pour les périodes fiscales 2003, 2004 et 2009. Pour les périodes fiscales 2003 et 2004, l'Administration cantonale a retenu un revenu imposable de 142'300 fr. (ICC) et 143'400 fr. (IFD) et une fortune imposable de zéro franc; respectivement un revenu imposable de 130'600 fr. (ICC) et 135'800 fr. (IFD) et une fortune imposable de zéro franc (cf. <ref-law>). Pour la période fiscale 2009, l'Administration cantonale a retenu un revenu imposable de 85'900 fr. (ICC) et 90'500 fr. (IFD) et une fortune imposable de zéro franc.
La Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après : le Tribunal cantonal) a rejeté, par arrêt du 29 mars 2016, le recours interjeté par le contribuable contre cette décision.
C.
A l'encontre de l'arrêt du 29 mars 2016, X._ forme un recours en matière de droit public au Tribunal fédéral. Il conclut, sous suite de frais et dépens, principalement à la réforme de l'arrêt entrepris en ce sens que la décision de l'Administration cantonale du 29 avril 2015 est modifiée, ses conclusions prises dans ses réclamations sont admises, et ses revenus et sa fortune imposables sont arrêtés de la manière suivante: pour la période fiscale 2001-2002bis, revenu imposable ICC et IFD de zéro franc; pour la période fiscale 2003, revenu imposable de 142'300 fr. (ICC) et de 143'400 fr. (IFD) et fortune de zéro franc; pour la période fiscale 2004, revenu imposable de 130'600 fr. (ICC) et de 135'800 fr. (IFD) et fortune de zéro franc; pour la période fiscale 2009, revenu et fortune imposables de zéro franc. Subsidiairement, X._ conclut à l'annulation de l'arrêt du 29 mars 2016 et au renvoi de la cause au Tribunal cantonal pour nouvelle décision.
Au terme de ses observations, l'Administration cantonale conclut au rejet du recours. Le Tribunal cantonal se réfère à son arrêt. L'Administration fédérale des contributions (ci-après: l'AFC), qui se rallie au dispositif et aux considérants de l'arrêt du 29 mars 2016, ainsi qu'aux observations de l'Administration cantonale, conclut au rejet du recours. X._ a déposé des observations finales.

Considérant en droit :
I. Recevabilité, droit d'être entendu et faits
1.
Le Tribunal cantonal a rendu un seul arrêt valant pour l'impôt cantonal et communal, d'une part, et pour l'impôt fédéral direct, d'autre part, ce qui est admissible, dès lors que les questions juridiques à trancher sont réglées de la même façon pour ces deux catégories d'impôts (cf. <ref-ruling> consid. 1.3.1 p. 262). Le recourant a formé un seul recours, qui contient les mêmes griefs et des conclusions similaires pour ces deux impôts, ce qui est conforme à la jurisprudence (cf. <ref-ruling> consid. 1.3.3 p. 264). Par souci d'unification par rapport à d'autres cantons dans lesquels deux arrêts sont rendus, la Cour de céans a ouvert deux dossiers, l'un concernant l'impôt cantonal et communal (2C_396/2016) et l'autre l'impôt fédéral direct (2C_397/2016). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront néanmoins jointes et il sera statué dans un seul arrêt (<ref-law> et 24 PCF [RS 273]).
2.
2.1. La décision attaquée est finale (<ref-law>) et a été rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF), dans une cause de droit public (<ref-law>) ne tombant sous le coup d'aucune des exceptions prévues à l'<ref-law>. La voie du recours en matière de droit public est donc ouverte (cf. également l'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct [LIFD; RS 642.11] et l'art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14] pour ce qui concerne l'impôt cantonal et communal sur le revenu).
2.2. Les conclusions réformatoires prises par le recourant à titre principal sont recevables également en ce qui concerne le droit cantonal harmonisé tel que l'impôt sur le revenu, car l'<ref-law> doit céder le pas devant l'<ref-law> (cf. <ref-ruling> consid. 1 p. 209).
2.3. S'agissant des périodes fiscales 2003 et 2004, les conclusions du recourant coïncident avec le dispositif de la décision de l'Administration cantonale du 29 avril 2015 en ce qui concerne ces deux périodes fiscales, lequel n'a pas été modifié par le Tribunal cantonal. Le recourant n'a donc aucun intérêt digne de protection à l'annulation ou à la modification de l'arrêt attaqué sur ce point (cf. <ref-law>; cf. FLORENCE AUBRY GIRARDIN, in Commentaire de la LTF, 2e éd. 2014, no 26 ad <ref-law>). Ses conclusions sont partant irrecevables en tant qu'elles portent sur les périodes fiscales 2003 et 2004.
Pour les mêmes motifs, les conclusions du recourant relatives à sa fortune imposable pour l'année 2009 sont irrecevables, l'Administration cantonale ayant déjà établi celle-ci à zéro franc comme le requiert l'intéressé.
2.4. Au surplus, le recours a été déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>). Le recourant, destinataire de l'arrêt attaqué, a, sous réserve de l'imposition des périodes fiscales de 2003 et 2004 et l'imposition de sa fortune pour l'année 2009 (cf. supra consid. 2.3), un intérêt digne de protection à l'annulation ou à la modification de celui-ci et a, de ce fait, qualité pour recourir (<ref-law>). Il convient donc d'entrer en matière.
3.
Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), alors qu'il n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant, conformément au principe d'allégation (<ref-law>). Par ailleurs, le Tribunal fédéral conduit son raisonnement en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>), sous réserve des cas prévus à l'<ref-law>. Le recours ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire (<ref-ruling> consid. 2.3 p. 266), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 4.2 p. 234). Aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté (<ref-law>).
4.
Invoquant l'art. 29 al. 2 Cst., le recourant considère que le refus du Tribunal cantonal de procéder à son audition et à celle d'un témoin viole son droit d'être entendu et procède d'une appréciation anticipée des preuves erronée.
4.1. La jurisprudence a déduit du droit d'être entendu (art. 29 al. 2 Cst.), en particulier, le droit pour le justiciable de s'expliquer avant qu'une décision ne soit prise à son détriment, celui de fournir des preuves quant aux faits de nature à influer sur le sort de la décision, celui d'avoir accès au dossier, celui de participer à l'administration des preuves, d'en prendre connaissance et de se déterminer à leur propos (<ref-ruling> consid. 4.1.1 p. 52 s.; <ref-ruling> consid. 3.1 p. 564; <ref-ruling> consid. 2.3 p. 282; arrêt 2C_289/2015 du 5 avril 2016 consid. 2.3 destiné à la publication). Sous réserve des procédures fiscales ayant un caractère pénal (cf. arrêt 2C_180/2013 du 5 novembre 2013 consid. 6.1), le droit d'être entendu ne comprend en revanche pas le droit d'être entendu oralement (<ref-ruling> consid. 9.6.1 p. 76). L'autorité peut par ailleurs renoncer à procéder à des mesures d'instruction lorsque les preuves administrées lui ont permis de forger sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 6.3.1 p. 299 et les arrêts cités; arrêt 2C_998/2015 du 20 septembre 2016 consid. 3.1). En particulier, l'autorité de jugement peut renoncer à faire citer des témoins si, dans le cadre d'une appréciation anticipée des preuves dénuée d'arbitraire, elle peut dénier à ces témoignages une valeur probante décisive pour le jugement (arrêt 2C_850/2014 du 10 juin 2016 consid. 6.1 et les références citées).
4.2. Le Tribunal cantonal a refusé l'audition du recourant au motif qu'il disposait déjà des explications écrites de celui-ci. En relevant que son audition lui aurait permis d'apporter des explications "encore" supplémentaires à celles déjà fournies, le recourant admet qu'il a pu se déterminer par écrit, à plusieurs reprises du reste, au cours de la procédure cantonale. Il ne démontre au surplus pas ce que son audition aurait pu apporter de plus. Au vu des éléments à leur disposition, les juges cantonaux pouvaient, sans procéder à une appréciation anticipée des preuves arbitraire, refuser l'audition du recourant.
Le recourant estime en outre qu'il avait le droit de s'exprimer de vive-voix sur le résultat de l'administration des preuves. Cette interprétation toute personnelle du droit d'être entendu, nullement motivée, est en porte-à-faux avec la jurisprudence claire en la matière.
4.3. Au sujet de l'audition du témoin D._, les juges cantonaux ont relevé que celle-ci aurait été destinée à établir les rapports financiers entre la raison individuelle du recourant et sa société à responsabilité limitée ayant son siège en France. Dès lors que ces faits n'étaient pas remis en cause par l'Administration cantonale, l'audition du témoin n'était pas nécessaire, étant précisé qu'elle n'était pas sollicitée en lien avec les dernières déterminations du recourant.
Le recourant ne démontre pas l'arbitraire de ces constatations et de l'appréciation anticipée du moyen de preuve effectuée par les juges cantonaux. Il se contente en effet de prétendre, de manière appellatoire et sans étayer ses allégations, qu'il a sollicité l'audition du témoin pour le faire entendre "sur chacun des points" qui font l'objet de l'arrêt attaqué et que ledit témoin aurait pu fournir des explications complémentaires "importantes". Il n'est pas certain que la critique formulée ainsi satisfasse aux exigences de motivation applicables (cf. supra consid. 3). Ce point peut demeurer indécis, l'appréciation anticipée des moyens de preuve effectuée par les juges cantonaux, dûment motivée, n'étant pas insoutenable.
Le grief relatif à la violation du droit d'être entendu est en conséquence mal fondé et doit être écarté.
5.
Sous l'angle de l'établissement des faits, le recourant considère que le Tribunal cantonal a retenu à tort qu'il n'avait pas prouvé l'existence d'un établissement stable à Dubaï.
5.1. La partie recourante qui soutient que les faits ont été constatés d'une manière manifestement inexacte (cf. <ref-law>), c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.3 p. 266), doit satisfaire au principe d'allégation (<ref-law>; <ref-ruling> consid. 3.3 p. 310 s.). Elle doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui retenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 10.1 p. 445; <ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 3 p. 104 s.).
S'agissant de l'appréciation des preuves et de l'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a procédé à des déductions insoutenables (cf. <ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 4.2 p., 234; <ref-ruling> consid. 4.2 p. 560; <ref-ruling> consid. 4.3 p. 62).
5.2. En l'espèce, le Tribunal cantonal a estimé que les documents produits par le recourant pour démontrer la présence d'un établissement stable à Dubaï, à savoir une copie de la carte de "Broker" du recourant, avec l'indication "E._", ainsi qu'une carte dénommée "UAE - Gate", délivrées par le gouvernement de Dubaï et par le Ministre de l'intérieur des Emirats Arabes Unis, prouvaient uniquement que le recourant était autorisé à séjourner dans ces Emirats et probablement à y exercer une activité lucrative.
Le recourant conteste cette appréciation, estimant qu'une carte de "Broker" indiquant nommément "E._" ne lui aurait pas été délivrée par le gouvernement de Dubaï si cet "établissement" n'avait pas existé, de manière stable, dans cette ville. Il n'explique toutefois pas pourquoi cette déduction, qui n'est étayée par aucun élément, aurait dû s'imposer aux juges précédents à la seule lecture de la carte de "Broker", étant précisé que la relation entre le recourant et l'entité "E._", dont on ignore la nature et l'activité, n'a été ni explicitée, ni prouvée. Le recourant, qui ne fait valoir aucun autre argument, n'allègue du reste pas véritablement l'arbitraire de l'appréciation cantonale, puisqu'il se contente de la qualifier d'"erronée". Au demeurant, on ne voit pas que la position des juges cantonaux, niant l'existence d'un établissement stable, serait arbitraire, le recourant ne produisant que des éléments propres à démontrer un droit de séjour aux Emirats Arabes Unis, mais aucun indice concret de l'activité qu'il aurait exercée à Dubaï au travers d'un établissement stable ou d'une entreprise.
En conséquence, la Cour de céans se fondera exclusivement sur les faits retenus par le Tribunal cantonal.
II. Impôt fédéral direct
6.
Le litige porte sur la période fiscale 2001/2002bis, ainsi que sur la période fiscale 2009. Aucune réglementation expresse ne prévoyant en l'espèce le contraire, le cas doit être examiné à la lumière des dispositions du droit de fond dans leur teneur en vigueur pendant les périodes fiscales en cause (cf. arrêts 2C_660/2014 du 6 juillet 2015 consid. 5, in RF 70/2015 p. 806; 2C_620/2012 du 14 février 2013 consid. 3.1), notamment des anciens art. 41 et 218 LIFD (dans leur version en vigueur jusqu'au 31 décembre 2013 [cf. RO 2013 2397]) pour ce qui concerne la période fiscale 2001-2002bis.
7.
S'agissant de la période fiscale 2001-2002bis, le recourant conteste que le montant de 466'651 fr., correspondant à un revenu imposable de 361'000 fr. une fois les charges déductibles prises en compte, soit constitutif d'un revenu extraordinaire au sens de l'ancien art. 218 al. 2 et 3 LIFD (cf. RO 1999 1308).
7.1. Dans son arrêt du 29 mars 2016, le Tribunal cantonal a considéré, en substance, que l'écriture comptable "abandon de créance des fournisseurs - 466'651" (cf. tableau des reprises), portée en déduction des charges de la raison individuelle de X._, constituait un revenu pour le contribuable. Ce revenu devait être qualifié d'extraordinaire, et donc être imposé en vertu de l'ancien art. 218 al. 2 et 3 LIFD, compte tenu de son caractère unique.
7.2. A teneur de l'ancien <ref-law> (cf. RO 1991 1184), les cantons sont libres, en dérogation à l'<ref-law>, de fixer pour l'imposition dans le temps une période fiscale annuelle correspondant à une année civile. Sont alors valables les dispositions prévues au chapitre 3 (anciens art. 208 à 220 LIFD) des dispositions transitoires. La loi fiscale vaudoise a introduit le système de taxation postnumerando annuelle, en remplacement du système de taxation praenumerando bisannuelle, pour les personnes physiques, dès la période fiscale 2003 (art. 271 et 272 de la loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux [LI/VD; RSV 642.11] dans leur version en vigueur depuis le 1er janvier 2003). Il s'ensuit que les deux années précédant ledit changement, soit 2001 et 2002, tombent dans la brèche de calcul pour l'imposition du revenu (arrêt 2C_900/2008 du 28 avril 2009 consid. 4.1). Les modalités de ce changement sont notamment réglées par l'ancien <ref-law> (arrêt 2C_468/2009 du 18 janvier 2010 consid. 2.1).
7.3. Selon l'ancien <ref-law>, pour la première période fiscale suivant la modification mentionnée à l'ancien <ref-law>, soit le passage au système annuel postnumerando, la taxation relative à l'impôt sur le revenu des personnes physiques est régie par le nouveau droit. L'ancien <ref-law> prévoit que les revenus extraordinaires réalisés durant les deux années précédant cette modification ou lors d'un exercice clos au cours de ces années et qui tombent ainsi dans la brèche de calcul sont soumis à un impôt annuel entier pour l'année fiscale où ils ont été acquis, au taux correspondant à ces seuls revenus. Sont en particulier considérés comme des revenus extraordinaires les prestations en capital, les revenus de fortune non périodiques, les gains de loterie et, par analogie avec l'<ref-law>, les revenus extraordinaires provenant d'une activité lucrative indépendante (ancien <ref-law>; cf. arrêt 2C_468/2009 du 18 janvier 2010 consid. 2.1.1). Cette énumération est uniquement exemplative (arrêts 2C_387/2009 du 17 décembre 2009 consid. 3.2; 2A.736/2006 du 18 septembre 2007 consid. 4.2, in RF 63/2008 p. 51).
7.4. L'AFC a décrit les situations visées à l'ancien <ref-law> dans une circulaire du 20 août 1999 (circulaire n° 6 du 20 août 1999 de l'Administration fédérale des contributions concernant le passage pour les personnes physiques de la taxation bisannuelle praenumerando à la taxation annuelle postnumerando; Archives 68 p. 384 ss). Il en découle que le caractère extraordinaire d'un revenu peut résulter:
- soit du caractère unique d'une prestation; en principe tout revenu unique est un revenu extraordinaire au sens de l'ancien <ref-law>. Il peut remplacer, ou non, des prestations périodiques (exemples: gain de loterie, indemnité obtenue lors de la renonciation ou de la cessation d'une activité, revenu de fortune non périodique, bénéfice de liquidation);
- soit du caractère extraordinaire d'un revenu par nature périodique. L'attribution de ce revenu au cours des années n-2 et n-1 est exceptionnelle, sort de l'ordinaire (exemples: dividende nettement supérieur aux dividendes des exercices précédents, indemnité pour prestations spéciales, gratification d'un montant exceptionnel);
- soit d'un changement dans l'aménagement de la source du revenu (exemples: provision dissoute ensuite du changement de méthode de comptabilisation, omission d'amortissements et de provisions justifiés par l'usage commercial, modification des conditions de rémunération d'une activité salariée).
Ces divers critères peuvent être combinés (arrêt 2C_387/2009 du 17 décembre 2009 consid. 3.3).
7.5. En l'espèce, le revenu contesté consiste en une écriture comptable intitulée "abandon de créance des fournisseurs - 466'651" et inscrite en diminution des charges dans les comptes 2001-2002 de la raison individuelle du recourant. Cette écriture résulte des comptes établis par KPMG, l'ancienne fiduciaire mandatée par le recourant (cf. <ref-law>).
Le Tribunal cantonal a, à juste titre, retenu que cette écriture comptable se rapportait à un revenu, un abandon de créance diminuant le passif du débiteur (cf. <ref-ruling> consid. 5 au sujet de l'abandon de créance par une banque).
Concernant le caractère extraordinaire de ce revenu, le Tribunal cantonal a relevé que l'opération était unique dans les comptes du recourant. Le recourant ne conteste pas ce caractère unique, qu'il a même confirmé. Il a en effet expliqué dans ses déterminations complémentaires devant le Tribunal cantonal que cette écriture comptable se rapportait à une "ristourne" accordée par un fournisseur lors de l'arrêt de leur collaboration. Cette dernière indication démontre qu'il ne s'agissait pas d'une opération périodique entre des partenaires d'affaires, mais d'une remise de dette exceptionnelle liée aux circonstances spécifiques de la cessation des rapports commerciaux. Comme l'a relevé le Tribunal cantonal, les comptes de la raison individuelle du recourant confirment du reste le caractère unique de la remise de dette, un tel ajustement ne se retrouvant pas dans la comptabilité de la raison individuelle du recourant relative aux précédents exercices comptables. Le terme "ristourne", du reste peu approprié au vu du montant auquel a renoncé le fournisseur, ne modifie en rien ce constat. L'abandon de créance dont le recourant a bénéficié ayant un caractère unique, c'est à bon droit que le Tribunal cantonal a qualifié ce revenu d'extraordinaire.
7.6. Le recourant ne remet pas directement en cause le caractère unique de l'abandon de créance litigieux, mais soulève trois éléments qui s'opposent, selon lui, à ce que ce revenu soit qualifié d'extraordinaire.
7.6.1. Il considère tout d'abord que le fait que les administrations fiscales aient beaucoup varié dans le traitement de son imposition pour la période fiscale 2001/2002bis démontrerait le caractère erroné de la décision prise par l'Administration cantonale telle que confirmée par le Tribunal cantonal et, à l'inverse, la crédibilité de ses propres déclarations. Le recourant est toutefois malvenu d'opposer ses explications aux décisions prises. Ni l'Administration cantonale, ni le Tribunal cantonal n'ont en effet jugé les déclarations du recourant peu crédibles. L'Administration cantonale a au contraire tenu compte des explications fournies par le recourant au sujet des liens entre sa raison individuelle et la société à responsabilité limitée ayant son siège en France, de la dette de la seconde à l'égard de la première et des provisions déduites de ce montant, ce qui l'a amenée à ne pas comptabiliser un montant de 1'500'000 fr. initialement retenu comme revenu extraordinaire. C'est ainsi la prise en considération des explications du recourant qui a conduit à des modifications substantielles de la première décision en faveur du contribuable. Ainsi qu'il est relevé à juste titre dans l'arrêt attaqué, les explications du recourant, qui se rapportent en définitive uniquement à la dette de la société à responsabilité limitée française à l'égard de la raison individuelle suisse, ne permettent en revanche pas d'établir les raisons ayant justifié la comptabilisation d'un abandon de créance en faveur de la société suisse dans les comptes de profits et pertes de l'exercice 2001/2002. En d'autres termes, le Tribunal cantonal n'a pas écarté les explications du recourant au motif qu'elles n'étaient pas crédibles, mais parce qu'elles n'étaient pas pertinentes pour le montant litigieux. Le recourant l'a du reste implicitement admis, puisqu'il a présenté, dans des déterminations complémentaires, une explication nouvelle au sujet de l'écriture litigieuse.
7.6.2. Dans une deuxième critique, le recourant estime surprenant et inacceptable que le Tribunal cantonal ait soutenu qu'il avait l'intention de mettre à profit la brèche fiscale. Le recourant déforme le sens des considérations des juges précédents. Ceux-ci ont souligné, à juste titre, que l'imposition d'un revenu par principe extraordinaire n'impliquait pas d'établir la volonté du contribuable de profiter de la brèche fiscale (cf. arrêt 2C_900/2008 du 28 avril 2009 consid. 5.3). Les juges cantonaux ont ensuite seulement relevé, à titre superfétatoire, qu'ils estimaient surprenant que le bénéfice réalisé par le recourant ait connu un accroissement considérable au cours des années concernées par la brèche fiscale (p. 9 de l'arrêt attaqué). Les explications du recourant relatives à l'arrêt imprévisible de sa collaboration avec l'entreprise créancière à l'origine de l'abandon de créance litigieux, qui ne figurent pas dans l'arrêt attaqué (cf. <ref-law>), ne font au surplus que confirmer le caractère extraordinaire dudit abandon.
7.6.3. Enfin, le recourant conteste la valeur probante des pièces comptables sur lesquelles s'est fondée l'Administration cantonale au motif qu'il n'avait pas connaissance et n'avait pas signé ces documents, établis par KPMG, fiduciaire. Ce faisant, le recourant perd de vue que les actes de son mandataire, en l'occurrence de la fiduciaire chargée d'établir les documents comptables, lui sont directement imputables (cf. arrêt 2C_908/2011 du 23 avril 2012 consid. 3.5). C'est en conséquence en vain que le recourant, qui ne conteste du reste pas en tant que tel l'abandon de créance et son montant, se prévaut de sa prétendue méconnaissance des documents comptables relatifs à sa raison individuelle.
7.7. En définitive, aucun argument avancé par le recourant n'est propre à remettre en cause le fait que sa raison individuelle a bénéficié d'un abandon de créance unique durant l'année 2002. La conclusion du Tribunal cantonal selon laquelle ce caractère unique fonde la qualification de revenu extraordinaire imposable est conforme au droit fédéral. Les déductions appliquées par l'Administration cantonale sur le montant repris ne sont enfin pas litigieuses.
8.
Le recourant conteste aussi l'imposition de la période fiscale 2009. Il estime que le montant de 130'000 fr. correspondant à des commissions perçues de l'étranger ne constitue pas un revenu imposable.
8.1. Le Tribunal cantonal a constaté que le recourant, assujetti de manière illimitée en Suisse, n'avait pas établi l'existence à l'étranger d'un établissement stable ou d'une entreprise. En conséquence, le montant de 130'000 fr. annoncé dans la déclaration d'impôt 2009 du recourant devait être imposé en Suisse en vertu de l'<ref-law>, aucune convention de double imposition ne s'opposant par ailleurs à ce résultat.
8.2. D'après l'art. 3 al. 1 et 2 LIFD, les personnes physiques sont assujetties à l'impôt à raison du rattachement personnel lorsque, au regard du droit fiscal, elles sont domiciliées ou séjournent en Suisse. A teneur de l'<ref-law>, l'assujettissement fondé sur un rattachement personnel est illimité; il ne s'étend toutefois pas aux entreprises, aux établissements stables et aux immeubles situés à l'étranger.
8.3. La notion d'établissement stable de l'<ref-law> recouvre, selon la définition qu'en donne l'<ref-law>, toute installation fixe dans laquelle s'exerce tout ou partie de l'activité d'une entreprise ou d'une personne exerçant une profession libérale. Un établissement stable suppose qu'une activité commerciale y soit exercée. Si une entreprise sise en Suisse n'apporte pas la preuve que son établissement stable à l'étranger exerce une activité commerciale suffisamment substantielle, celui-ci ne sera pas reconnu (cf., en relation avec l'<ref-law>, <ref-ruling> consid. 3.2 p. 88 ss; cf. arrêt 2C_123/2014 du 30 septembre 2015 consid. 11.2, in RDAF 2015 II p. 563). En cas de doute sur l'existence d'un établissement stable à l'étranger, l'on tend à soumettre les activités exercées à l'étranger à l'impôt en Suisse, en raison de l'assujettissement illimité dans ce pays, l'éventuelle convention de double imposition applicable étant à même de limiter, le cas échéant, la compétence d'imposer prévue par la Suisse selon son droit interne (<ref-ruling> consid. 3.1.2 p. 87; arrêt 2C_123/2014 du 30 septembre 2015 consid. 11.2).
Constitue une entreprise au sens de l'<ref-law> toute activité entrepreneuriale effectuée par une personne à ses propres risques, avec la mise en oeuvre de travail et de capital, dans un organisation librement choisie et reconnaissable de l'extérieur (cf. <ref-ruling> consid. 5a p. 120; arrêts 2C_123/2014 du 30 septembre 2015 consid. 11.3; 2C_664/2013 du 28 avril 2014 consid. 6.3). Si le contribuable n'apporte pas la preuve de l'existence d'une entreprise à l'étranger ou en cas de doute sur ce point, il convient de soumettre le revenu y afférent à l'impôt en Suisse, en raison de l'assujettissement illimité dans ce pays de l'entrepreneur, respectivement de l'associé. Pareille solution se justifie pour des question de cohérence avec la jurisprudence rendue en matière d'établissement stable à l'étranger, rappelée ci-dessus (cf. arrêt 2C_123/2014 du 30 septembre 2015 consid. 11.3).
8.4. Savoir si un fait est ou non prouvé relève des faits - que le Tribunal fédéral ne revoit que sous l'angle de l'arbitraire et dont la violation doit être motivée conformément aux exigences accrues de l'<ref-law> -, alors que la répartition du fardeau de la preuve est une question de droit - que le Tribunal fédéral examine avec une pleine cognition (cf. <ref-ruling> consid. 5 p. 327; arrêt 2C_511/2013 du 27 août 2013 consid. 3.2 non publié in <ref-ruling>). En l'espèce, le Tribunal cantonal a retenu, sans arbitraire (cf. supra consid. 5), que le recourant, domicilié en Suisse et donc assujetti à l'impôt de manière illimitée, n'avait pas prouvé, alors que la charge lui en incombait, avoir un établissement stable ou une entreprise à Dubaï. Il s'ensuit que, sous réserve d'une convention internationale relative à la double imposition (cf. <ref-law>), le montant de 130'000 fr. correspondant à des commissions versées au recourant par l'entité "E._" pour des prestations effectuées à Dubaï, est un revenu imposable en Suisse.
La Convention du 6 octobre 2011 entre la Confédération suisse et les Emirats Arabes Unis en vue d'éviter les doubles impositions en matière d'impôts sur le revenu (RS 0.672.932.51) étant entrée en vigueur le 21 octobre 2012, soit postérieurement à la période fiscale en cause, elle ne s'oppose pas à l'imposition litigieuse.
Quant au montant retenu une fois les déductions opérées (90'500 fr. pour l'IFD), il n'est pas contesté.
Le recours est donc aussi infondé en ce qui concerne l'IFD 2009.
III. Impôt cantonal et communal
9.
L'art. 273 LI/VD, qui a pour objet les revenus extraordinaires réalisés durant les années 2001 et 2002, a pratiquement la même teneur quant au traitement fiscal et à la définition des revenus extraordinaires que l'ancien art. 218 al. 2 et 3 LIFD, dont le contenu correspond également à celui de l'ancien art. 69 al. 2 et 3 LHID (cf. RO 1999 1310; arrêts 2C_387/2009 du 17 décembre 2009 consid. 5; 2P.181/2005 du 8 février 2006, consid. 4.1, in Archives 77, p. 169).
Il s'ensuit que les considérations développées ci-dessus relatives au revenu extraordinaire réalisé par le recourant durant la période fiscale 2001/2002bis s'appliquent aux impôts cantonal et communal. Par conséquent, le recours doit également être rejeté en ce qui concerne les impôts cantonal et communal pour la période fiscale 2001/2002bis.
10.
Selon l'art. 3 al. 1 LI/VD, les personnes physiques sont assujetties à l'impôt à raison de leur rattachement personnel lorsque, au regard du droit fiscal, elles sont domiciliées ou séjournent dans le canton. A l'instar de l'<ref-law>, l'art. 6 LI/VD prévoit que l'assujettissement fondé sur un rattachement personnel est illimité, mais ne s'étend pas aux entreprises, aux établissements stables et aux immeubles situés hors du canton.
La réglementation cantonale relative à l'exception de l'assujettissement illimité est ainsi similaire à la disposition en matière d'impôt fédéral (cf. arrêt 2C_1201/2013 du 15 janvier 2015 consid. 10). En conséquence, il peut être renvoyé, pour l'impôt cantonal et communal sur le revenu relatif à la période fiscale 2009, aux considérants développés ci-dessus en matière d'impôt fédéral direct et de rejeter le recours pour les mêmes motifs, sans qu'il ne soit nécessaire de trancher définitivement la question de savoir si les cantons ont une certaine autonomie en matière d'assujettissement compte tenu du silence de la LHID sur l'étendue de celui-ci (cf. <ref-law>; cf. <ref-ruling> consid. 8 p. 155 ss; arrêt 2C_1201/2013 du 15 janvier 2015 consid. 10).
IV. Violation du principe de célérité
11.
Le recourant estime en dernier lieu que le Tribunal cantonal aurait dû constater une violation du principe de célérité (art. 29 al. 1 Cst.). En raison de cette violation, le recourant considère qu'il devrait être libéré des intérêts moratoires sur ses dettes d'impôt si celles-ci venaient à être confirmées.
11.1. D'après la jurisprudence, l'objet de la contestation porté devant le Tribunal fédéral est déterminé par l'arrêt attaqué (<ref-ruling> consid. 4.4.2 p. 156; <ref-ruling> consid. 4.2 p. 462 s.). L'objet du litige, délimité par les conclusions des parties (<ref-law>), ne saurait s'étendre au-delà de l'objet de la contestation (<ref-ruling> consid. 4.4.2 p. 156; <ref-ruling> consid. 2a p. 415 s.; arrêt 2C_941/2012 du 9 novembre 2013 consid. 1.8.3, in RF 69/2014 p. 207). Par conséquent, devant le Tribunal fédéral, le litige peut être réduit, mais ne saurait être ni élargi, ni transformé par rapport à ce qu'il était devant l'autorité précédente, qui l'a fixé dans le dispositif de l'arrêt entrepris (et qui est devenu l'objet de la contestation devant le Tribunal fédéral; <ref-ruling> consid. 4.4.2 p. 156 et les références citées).
11.2. En l'espèce, le litige porte exclusivement sur la détermination de l'imposition du recourant pour les périodes fiscales 2001/2002bis et 2009 (limité au revenu, cf. supra consid. 2.3). Ni les autorités fiscales, ni le Tribunal cantonal ne se sont prononcés sur les éventuels intérêts moratoires dont devra s'acquitter le recourant et sur l'éventuelle prise en compte d'une violation du principe de célérité, si celle-ci était avérée, dans ce contexte. Le dispositif de l'arrêt cantonal ne contient d'ailleurs aucune indication à cet égard. Les demandes du recourant sortent ainsi du cadre du présent litige.
VI. Conséquence, frais et dépens
12.
Les considérants qui précèdent conduisent au rejet des recours, dans la mesure de leur recevabilité. Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 2C_396/2016 et 2C_397/2016 sont jointes.
2.
Le recours est rejeté, dans la mesure de sa recevabilité, en tant qu'il concerne l'impôt fédéral direct.
3.
Le recours est rejeté, dans la mesure de sa recevabilité, en tant qu'il concerne l'impôt cantonal et communal.
4.
Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge du recourant.
5.
Le présent arrêt est communiqué au mandataire du recourant, à l'Administration cantonale des impôts du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 14 novembre 2016
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Kleber