Faits : A. A.a. X._ a exercé son activité dans le commerce de montres, d'abord par l'intermédiaire de la raison individuelle X._ International, dont le siège était à A._, jusqu'au 31 décembre 2002, puis dans le cadre de la société B._ Sàrl, sise à C._ (devenue la raison sociale B._ International Sàrl en 2007), dont il est l'associé gérant et le salarié. X._ est également le gérant de la société à responsabilité limitée X._ International, inscrite au registre du commerce français, dont le siège est à Gaillard (France). A.b. Dans sa déclaration d'impôt 2001-2002, X._ a déclaré un revenu provenant d'une activité lucrative indépendante de 125'172 fr. en 1999 et 101'446 fr. en 2000. Dans sa déclaration d'impôt 2001-2002bis, remise le 28 novembre 2003, X._ a annoncé un revenu provenant d'une activité lucrative indépendante de 430'589 fr. en 2001 et 430'589 fr. en 2002. Il a indiqué n'avoir réalisé aucun revenu extraordinaire en 2001 et 2002. Une première décision de taxation, du 9 août 2006, de l'Office d'impôt du district de Lavaux (ci-après: l'Office d'impôt), arrêtant à 2'938'500 fr. le montant des revenus extraordinaires réalisés par X._ en 2002, a été contestée par le contribuable. L'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) a, le 22 octobre 2010, informé celui-ci qu'elle établissait à 361'000 fr. son revenu imposable pour la période fiscale 2001-2002bis et l'a invité à se déterminer sur le maintien de sa réclamation. X._ a maintenu sa réclamation. A.c. Dans sa déclaration d'impôt 2009, déposée le 4 novembre 2010, X._ a déclaré un revenu imposable de 84'600 fr. et une fortune de zéro franc. Il a indiqué au titre du "revenu en Suisse et à l'étranger 2009" un montant de 130'000 fr., correspondant à des prestations à Dubaï. Par décision de taxation du 7 mars 2011, l'Office d'impôt a arrêté le revenu imposable de X._ à 1'585'900 fr. pour l'impôt cantonal et communal (ci-après: ICC) et à 1'590'500 fr. pour l'impôt fédéral direct (ci-après: IFD). X._ a formé une réclamation contre cette décision, qu'il a maintenue le 8 juin 2011. B. Par décision sur réclamation du 29 avril 2015, l'Administration cantonale a arrêté à 361'000 fr. le revenu imposable de X._ pour la période fiscale 2001-2002bis, tant pour l'ICC que pour l'IFD. Dans cette même décision, l'Administration cantonale s'est prononcée sur la fixation du revenu imposable de X._ pour les périodes fiscales 2003, 2004 et 2009. Pour les périodes fiscales 2003 et 2004, l'Administration cantonale a retenu un revenu imposable de 142'300 fr. (ICC) et 143'400 fr. (IFD) et une fortune imposable de zéro franc; respectivement un revenu imposable de 130'600 fr. (ICC) et 135'800 fr. (IFD) et une fortune imposable de zéro franc (cf. art. 105 al. 2 LTF). Pour la période fiscale 2009, l'Administration cantonale a retenu un revenu imposable de 85'900 fr. (ICC) et 90'500 fr. (IFD) et une fortune imposable de zéro franc. La Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après : le Tribunal cantonal) a rejeté, par arrêt du 29 mars 2016, le recours interjeté par le contribuable contre cette décision. C. A l'encontre de l'arrêt du 29 mars 2016, X._ forme un recours en matière de droit public au Tribunal fédéral. Il conclut, sous suite de frais et dépens, principalement à la réforme de l'arrêt entrepris en ce sens que la décision de l'Administration cantonale du 29 avril 2015 est modifiée, ses conclusions prises dans ses réclamations sont admises, et ses revenus et sa fortune imposables sont arrêtés de la manière suivante: pour la période fiscale 2001-2002bis, revenu imposable ICC et IFD de zéro franc; pour la période fiscale 2003, revenu imposable de 142'300 fr. (ICC) et de 143'400 fr. (IFD) et fortune de zéro franc; pour la période fiscale 2004, revenu imposable de 130'600 fr. (ICC) et de 135'800 fr. (IFD) et fortune de zéro franc; pour la période fiscale 2009, revenu et fortune imposables de zéro franc. Subsidiairement, X._ conclut à l'annulation de l'arrêt du 29 mars 2016 et au renvoi de la cause au Tribunal cantonal pour nouvelle décision. Au terme de ses observations, l'Administration cantonale conclut au rejet du recours. Le Tribunal cantonal se réfère à son arrêt. L'Administration fédérale des contributions (ci-après: l'AFC), qui se rallie au dispositif et aux considérants de l'arrêt du 29 mars 2016, ainsi qu'aux observations de l'Administration cantonale, conclut au rejet du recours. X._ a déposé des observations finales.