Faits : A. A.a. X._, dont le domicile se trouvait à Genève, a constitué le 13 février 2006 la société H._ Capital Ltd (ci-après: H._), dont il a souscrit l'entier du capital-actions de 50'000 dollars, ayant son siège aux Iles Marshall. Le 30 juin 2006, H._ a fait l'acquisition des parcelles n°***, *** et *** du cadastre de J._, pour le prix de 18'000'000 fr. La société a financé cette acquisition en souscrivant un prêt du même montant auprès de la banque C._. A.b. Par convention de vente d'actions (" Share Purchase Agreement ", ci-après: SPA) du 26 octobre 2006, X._ a vendu aux sociétés E._ Limited, avec siège à Chypre, et F._ Ltd, avec siège en Israël, l'entier du capital-actions de H._ Capital Ltd. L'acte de vente prévoyait un prix d'achat de 2'350'000 fr. (" Purchase Price "), moins les déductions prévues dans le contrat. Ce prix devait être payé par l'acheteur au moyen d'un virement sur le compte bancaire détenu par l'Etude d'avocats Y._ auprès de la banque Banque D._ à Zurich (ch. 1 SPA). Les modalités d'exécution des engagements pris par les acheteurs et le vendeur figuraient au ch. 2 de l'acte de vente. Le vendeur s'était notamment engagé à garantir aux acheteurs un rendement locatif annuel minimal. En garantie de la bonne exécution de cette obligation, il était prévu que le vendeur effectue un dépôt de 300'000 fr. à titre fiduciaire sur le compte de dépôt de l'étude d'avocats Z._ & Co pour cinq ans au minimum. Le montant fiduciaire de 300'000 fr. devait être déduit du prix d'achat à la date d'exécution (ch. 2.3.1 let. j SPA). Quant aux acheteurs, ils s'étaient notamment engagés à payer la commission de courtage de 300'000 fr. au nom et pour le compte du vendeur à la société I._. Ce paiement devait être déduit du prix d'achat à la date d'exécution (ch. 2.3.2 let. b SPA). Les acheteurs s'étaient également engagés à conclure un contrat de consultant avec le vendeur. Il était prévu que ce contrat de consultant dure quatre ans et le vendeur devait recevoir une compensation de 300'000 fr. pour ses services. L'indemnité était due au 31 décembre 2010 et devait être déduite du prix d'achat à la date d'exécution (ch. 2.3.2 let. c SPA). A.c. Les avocats Y._, à Zurich, et A._, en Israël, ont conclu un contrat de compte joint le 5 décembre 2006, en lien avec l'ouverture d'un compte joint auprès de la banque Banque D._, à Zurich, dans le but de régler la libération du prix d'achat convenu en faveur du vendeur. Au mois de janvier 2007, G._ Ltd, E._, X._, H._, I._ ainsi que la banque C._ SA ont signé un contrat intitulé " Escrow Agreement ". Il est précisé que les acheteurs ont effectué un versement d'un montant de 1'420'000 fr. sur le compte joint au nom de Y._ et A._ auprès de la banque Banque D._, ainsi qu'un montant de 30'000 fr. pour le paiement des frais légaux. B. B.a. Le 25 juin 2008, X._ a adressé à l'Administration cantonale des impôts du canton de Vaud (ci-après: Administration cantonale des impôts) une déclaration pour l'imposition des gains immobiliers, en lien avec l'aliénation du 26 octobre 2006. Il a indiqué que les actions de H._ faisaient partie de sa fortune privée et a déclaré un résultat négatif de 1'321'924 fr. Le 9 juillet 2009, l'Administration cantonale des impôts a fixé à 2'250'076 fr. le bénéfice réalisé par le recourant sur la vente de ses participations. Ce montant tenait compte d'un prix de vente net de 2'350'000 fr., dont étaient déduits les frais de vente (34'924 fr. correspondant à deux factures de Me Y._) et la valeur nominale des actions (65'000 fr.). Le 12 janvier 2010, l'Administration cantonale des impôts a requis de X._ la production des justificatifs permettant d'établir les déductions sollicitées du prix de vente. S'agissant de la garantie de loyer, l'autorité fiscale a demandé la production du justificatif d'ouverture du compte auprès de l'Etude d'avocats Z._ & Co à Tel Aviv, le relevé complet du compte précité depuis son ouverture jusqu'à sa clôture, accompagné de tous ses avis de débit et de crédit ainsi qu'une attestation de l'acquéreur mentionnant la réduction du montant de 300'000 fr. du prix d'achat total des actions. En ce qui concerne la commission de courtage, l'Administration cantonale des impôts a requis le justificatif du versement de 300'000 fr. par l'acquéreur à I._, ainsi qu'une attestation confirmant la réception dudit versement. Le 26 janvier 2011, l'Administration cantonale des impôts a rendu une décision de taxation par laquelle il a fixé le revenu imposable de X._ dans le canton de Vaud à 2'250'076 fr. Par décision du 5 février 2015, l'autorité fiscale a rejeté la réclamation formée par l'intéressé contre cette décision. B.b. Le 5 septembre 2016, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours interjeté par le contribuable contre la décision sur réclamation du 5 février 2015. Les juges cantonaux ont retenu, en substance, que le recourant n'était pas parvenu à apporter les preuves suffisantes quant aux déductions sollicitées. C. X._ recourt contre cette décision auprès du Tribunal fédéral. Il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt du Tribunal cantonal du 5 septembre 2015 et de la décision du 5 février 2015 de l'Administration cantonale des impôts. Il demande au Tribunal fédéral de fixer le bénéfice sur participation imposable à 1'320'076 fr. et d'ordonner à l'Administration cantonale des impôts de rendre une nouvelle décision de taxation pour la période fiscale 2007, subsidiairement pour la période fiscale 2006, ainsi qu'une nouvelle décision de répartition cantonale y relative, sur la base du bénéfice de participation rectifié. L'intéressé requiert également le bénéfice de l'assistance judiciaire. Le 25 octobre 2016, le Tribunal fédéral a renoncé provisoirement à demander une avance de frais et informé le recourant qu'il serait statué ultérieurement sur sa demande d'assistance judiciaire. L'Administration cantonale des impôts dépose des observations et conclut au rejet du recours. L'Administration fédérale des contributions renonce à se déterminer. Le Tribunal cantonal conclut au rejet du recours.