Faits :
A.
A.a. X._, dont le domicile se trouvait à Genève, a constitué le 13 février 2006 la société H._ Capital Ltd (ci-après: H._), dont il a souscrit l'entier du capital-actions de 50'000 dollars, ayant son siège aux Iles Marshall. Le 30 juin 2006, H._ a fait l'acquisition des parcelles n°***, *** et *** du cadastre de J._, pour le prix de 18'000'000 fr. La société a financé cette acquisition en souscrivant un prêt du même montant auprès de la banque C._.
A.b. Par convention de vente d'actions (" Share Purchase Agreement ", ci-après: SPA) du 26 octobre 2006, X._ a vendu aux sociétés E._ Limited, avec siège à Chypre, et F._ Ltd, avec siège en Israël, l'entier du capital-actions de H._ Capital Ltd. L'acte de vente prévoyait un prix d'achat de 2'350'000 fr. (" Purchase Price "), moins les déductions prévues dans le contrat. Ce prix devait être payé par l'acheteur au moyen d'un virement sur le compte bancaire détenu par l'Etude d'avocats Y._ auprès de la banque Banque D._ à Zurich (ch. 1 SPA). Les modalités d'exécution des engagements pris par les acheteurs et le vendeur figuraient au ch. 2 de l'acte de vente. Le vendeur s'était notamment engagé à garantir aux acheteurs un rendement locatif annuel minimal. En garantie de la bonne exécution de cette obligation, il était prévu que le vendeur effectue un dépôt de 300'000 fr. à titre fiduciaire sur le compte de dépôt de l'étude d'avocats Z._ & Co pour cinq ans au minimum. Le montant fiduciaire de 300'000 fr. devait être déduit du prix d'achat à la date d'exécution (ch. 2.3.1 let. j SPA). Quant aux acheteurs, ils s'étaient notamment engagés à payer la commission de courtage de 300'000 fr. au nom et pour le compte du vendeur à la société I._. Ce paiement devait être déduit du prix d'achat à la date d'exécution (ch. 2.3.2 let. b SPA). Les acheteurs s'étaient également engagés à conclure un contrat de consultant avec le vendeur. Il était prévu que ce contrat de consultant dure quatre ans et le vendeur devait recevoir une compensation de 300'000 fr. pour ses services. L'indemnité était due au 31 décembre 2010 et devait être déduite du prix d'achat à la date d'exécution (ch. 2.3.2 let. c SPA).
A.c. Les avocats Y._, à Zurich, et A._, en Israël, ont conclu un contrat de compte joint le 5 décembre 2006, en lien avec l'ouverture d'un compte joint auprès de la banque Banque D._, à Zurich, dans le but de régler la libération du prix d'achat convenu en faveur du vendeur. Au mois de janvier 2007, G._ Ltd, E._, X._, H._, I._ ainsi que la banque C._ SA ont signé un contrat intitulé " Escrow Agreement ". Il est précisé que les acheteurs ont effectué un versement d'un montant de 1'420'000 fr. sur le compte joint au nom de Y._ et A._ auprès de la banque Banque D._, ainsi qu'un montant de 30'000 fr. pour le paiement des frais légaux.
B.
B.a. Le 25 juin 2008, X._ a adressé à l'Administration cantonale des impôts du canton de Vaud (ci-après: Administration cantonale des impôts) une déclaration pour l'imposition des gains immobiliers, en lien avec l'aliénation du 26 octobre 2006. Il a indiqué que les actions de H._ faisaient partie de sa fortune privée et a déclaré un résultat négatif de 1'321'924 fr.
Le 9 juillet 2009, l'Administration cantonale des impôts a fixé à 2'250'076 fr. le bénéfice réalisé par le recourant sur la vente de ses participations. Ce montant tenait compte d'un prix de vente net de 2'350'000 fr., dont étaient déduits les frais de vente (34'924 fr. correspondant à deux factures de Me Y._) et la valeur nominale des actions (65'000 fr.).
Le 12 janvier 2010, l'Administration cantonale des impôts a requis de X._ la production des justificatifs permettant d'établir les déductions sollicitées du prix de vente. S'agissant de la garantie de loyer, l'autorité fiscale a demandé la production du justificatif d'ouverture du compte auprès de l'Etude d'avocats Z._ & Co à Tel Aviv, le relevé complet du compte précité depuis son ouverture jusqu'à sa clôture, accompagné de tous ses avis de débit et de crédit ainsi qu'une attestation de l'acquéreur mentionnant la réduction du montant de 300'000 fr. du prix d'achat total des actions. En ce qui concerne la commission de courtage, l'Administration cantonale des impôts a requis le justificatif du versement de 300'000 fr. par l'acquéreur à I._, ainsi qu'une attestation confirmant la réception dudit versement.
Le 26 janvier 2011, l'Administration cantonale des impôts a rendu une décision de taxation par laquelle il a fixé le revenu imposable de X._ dans le canton de Vaud à 2'250'076 fr. Par décision du 5 février 2015, l'autorité fiscale a rejeté la réclamation formée par l'intéressé contre cette décision.
B.b. Le 5 septembre 2016, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours interjeté par le contribuable contre la décision sur réclamation du 5 février 2015. Les juges cantonaux ont retenu, en substance, que le recourant n'était pas parvenu à apporter les preuves suffisantes quant aux déductions sollicitées.
C.
X._ recourt contre cette décision auprès du Tribunal fédéral. Il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt du Tribunal cantonal du 5 septembre 2015 et de la décision du 5 février 2015 de l'Administration cantonale des impôts. Il demande au Tribunal fédéral de fixer le bénéfice sur participation imposable à 1'320'076 fr. et d'ordonner à l'Administration cantonale des impôts de rendre une nouvelle décision de taxation pour la période fiscale 2007, subsidiairement pour la période fiscale 2006, ainsi qu'une nouvelle décision de répartition cantonale y relative, sur la base du bénéfice de participation rectifié. L'intéressé requiert également le bénéfice de l'assistance judiciaire.
Le 25 octobre 2016, le Tribunal fédéral a renoncé provisoirement à demander une avance de frais et informé le recourant qu'il serait statué ultérieurement sur sa demande d'assistance judiciaire.
L'Administration cantonale des impôts dépose des observations et conclut au rejet du recours. L'Administration fédérale des contributions renonce à se déterminer. Le Tribunal cantonal conclut au rejet du recours.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle donc librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2.1 p. 397).
1.1. Le recourant n'a pas précisé quel recours il entendait déposer. L'absence d'intitulé ne porte pas à conséquence si les conditions de recevabilité du recours dont la voie est ouverte sont remplies (cf. <ref-ruling> consid. 1.1 p. 370). En l'occurrence, la décision porte sur le montant du revenu imposable du contribuable dans le canton de Vaud pour la période de taxation 2006 en matière d'impôt cantonal et communal. Comme ce domaine relève du droit public et qu'aucune des exceptions prévues à l'<ref-law> n'est réalisée, la voie du recours en matière de droit public est en principe ouverte sur la base de l'<ref-law>. L'art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14) confirme du reste cette voie de droit, l'imposition du bénéfice en capital réalisé sur des éléments de la fortune commerciale étant une matière harmonisée à l'<ref-law>.
Déposé en temps utile (<ref-law>), et dans les formes prescrites (<ref-law>), le recours est dirigé contre une décision finale (<ref-law>) rendue en dernière instance cantonale par une autorité judiciaire supérieure (art. 86 al. 1 let. d et al. 2 LTF). Par ailleurs, le recourant a participé à la procédure devant l'instance précédente, est particulièrement atteint par la décision entreprise et a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). Le présent recours est donc recevable.
1.2. La conclusion en annulation de la décision du 5 février 2015 de l'Administration cantonale des impôts est, en revanche, irrecevable en raison de l'effet dévolutif complet du recours auprès du Tribunal cantonal (cf. <ref-ruling> consid. 1.2 p. 543; arrêt 2C_520/2015 du 28 décembre 2015 consid. 2.3).
2.
L'arrêt attaqué porte sur la période fiscale 2006. Dans ses conclusions, le recourant demande à ce qu'il soit ordonné à l'Administration cantonal des impôts de rendre une nouvelle décision "pour la période fiscale 2007, soit subsidiairement pour la période fiscale 2006". Le recourant ne fournit cependant aucune explication, même succincte, sur les motifs pour lesquels le Tribunal cantonal aurait violé le principe fiscal de la périodicité. Quoi qu'il en soit, ce grief doit de toute façon être rejeté. En règle générale, le revenu est imposable au moment où naît un droit ferme sur une prestation (cf. arrêt 2C_152/2015 du 31 juillet 2015 consid. 5.2). Or, il ressort des constatations de l'arrêt attaqué, non contestées par le recourant, qu'à la signature du procès-verbal d'exécution du contrat de vente, le 19 décembre 2006, les actions de la société étaient déposées à titre fiduciaire auprès de la banque. A ce moment-là, il ne restait plus qu'à payer le prix de vente convenu de sorte que l'exécution du contrat ne pouvait plus être considérée comme incertaine. Partant, en application de la jurisprudence constante du Tribunal fédéral selon laquelle la conclusion du contrat de vente donne en principe naissance à un droit ferme générateur d'un revenu imposable dans la mesure où son exécution ne paraît pas incertaine (cf. <ref-ruling> consid. 2e p. 26; <ref-ruling> consid. 4b et 4c p. 242 ss; arrêts 2C_52/2017 du 25 janvier 2017 consid. 7.2; 2C_445/2015 du 26 août 2016 consid. 6.3.3; 2C_683/2013 du 13 février 2014 consid. 6.4.1), le bénéfice en capital généré par la vente des actions était devenu imposable dès le 19 décembre 2006, au plus tard. Le Tribunal cantonal n'a partant pas violé le droit fédéral en confirmant l'imposition du gain provenant de la vente des actions pour la période fiscale 2006.
3.
Le litige porte sur le montant du bénéfice réalisé par le contribuable à la suite de la vente, le 26 octobre 2006, de l'entier du capital-actions de la société immobilière H._. En sa qualité de professionnel de l'immobilier, le recourant a été imposé dans le canton de Vaud s'agissant du gain réalisé dans le cadre de cette vente. Compte tenu de la nature dualiste du système vaudois d'imposition des gains immobiliers (cf. arrêt 2C_228/2015 du 7 juin 2016 consid. 6.1), le bénéfice a été soumis à l'impôt ordinaire sur le revenu (cf. art. 21 al. 1 de la loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux [LI/VD; RS/VD 642.11]) de la période fiscale 2006. Devant le Tribunal fédéral, le recourant conteste uniquement le montant du bénéfice retenu par l'instance précédente et lui reproche d'avoir refusé certaines déductions.
4.
Le recourant se plaint d'arbitraire dans l'appréciation des preuves et l'établissement des faits.
4.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. En vertu de l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 6 p. 358; <ref-ruling> consid. 4.2 p. 234; <ref-ruling> consid. 1.5 p. 129 s.). Selon la jurisprudence, une décision est arbitraire lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 2.1 p. 18 s.; <ref-ruling> consid. 7.1 p. 51; <ref-ruling> consid. 4.3 p. 319).
Lorsque la partie recourante s'en prend à l'appréciation des preuves et à l'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a procédé à des déductions insoutenables (<ref-ruling> consid. 6 p. 358; <ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 4.2 p. 234; <ref-ruling> consid. 4.2 p. 560). Il appartient à la partie recourante de démontrer l'arbitraire par une argumentation répondant aux exigences de l'<ref-law>. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (ATF <ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 10.1 p. 445; <ref-ruling> consid. 5.1 p. 356).
4.2. En l'espèce, le recourant reproche à l'autorité précédente d'avoir constaté que le montant de 300'000 fr. devait être consigné par l'intéressé. Il expose que ce montant avait été directement déduit du prix de vente, de sorte qu'il ne lui avait jamais été versé. Cet argument implique d'interpréter le ch. 2.3.1 let. j SPA, dont le contenu n'est pas contesté par le recourant, et qui prescrit l'obligation pour le vendeur de déposer un montant de 300'000 fr. à titre de fiduciaire pour cinq ans au minimum, en garantie d'un rendement locatif minimal. En présence d'un litige sur l'interprétation d'une clause contractuelle, le juge doit s'efforcer de déterminer la commune et réelle intention des parties (<ref-law>). Cette interprétation subjective relève de l'appréciation des preuves et constitue une question de fait. Le Tribunal fédéral est donc lié par la constatation cantonale (<ref-law>), sauf si celle-ci relève d'une appréciation arbitraire (cf. supra consid. 4.1). Dans le cas particulier, l'instance précédente a interprété le ch. 2.3.1 let. j SPA en ce sens que le devoir de consigner le montant de 300'000 fr. incombait au recourant, de sorte qu'il aurait dû être en mesure de produire des pièces attestant de l'ouverture d'un compte. Cette appréciation des preuves échappe au grief d'arbitraire. Le fait que, s'agissant des modalités d'exécution de l'obligation de garantie, il était prévu que ce montant soit directement déduit du prix de vente (ch. 2.3.1 let. j SPA), n'y change rien. D'après les termes clairs du SPA, il appartenait au vendeur de s'assurer que ce montant avait bien été consigné sur le compte détenu par l'étude d'avocats Z._ & Co pour un minimum de cinq ans. S'agissant d'un montant aussi important, qui devait lui être restitué après avoir servi de garantie de loyer, il n'est pas insoutenable de retenir, comme l'a fait l'autorité précédente, que le recourant devait disposer de pièces comptables justifiant le versement des 300'000 fr. sur un compte de dépôt.
Le recourant reproche également à l'instance précédente de n'avoir pas retenu qu'il avait versé 30'000 fr. à titre de coûts d'acquisition en faveur des acquéreurs. Il fait grief à la Cour de justice d'avoir assimilé ces coûts aux frais d'avocat de 34'924.70 déjà portés en déduction du bénéfice par le fisc. D'après l'intéressé, le montant de 30'000 fr. constitue des frais supplémentaires qu'il lui étaient imposés "comme condition sine qua non de l'exécution du SPA" (cf. mémoire de recours, p. 4). Il se fonde en cela sur le contrat intitulé " Escrow Agreement " ainsi que sur une lettre datée du 22 décembre 2006 qui se réfèrent tout deux à un montant de 30'000 fr. Il ressort cependant de l' Escrow Agreement que le montant de 30'000 fr. se rapporte à "des frais légaux". Quant au courrier du 22 décembre 2006, par lequel le recourant s'était engagé à payer les frais d'avocat supplémentaires à concurrence de 30'000 fr., il ne permet pas de retenir que l'intéressé aurait versé des honoraires supérieurs à ceux qui ressortaient des factures établies par l'Etude Y._ (34'924.70 fr). L'intéressé n'a produit aucun justificatif allant dans ce sens. Dans ces conditions, il n'est pas arbitraire de considérer que les frais d'avocat mentionnés dans l' Escrow Agreement avaient déjà été déduits du bénéfice réalisé par l'intéressé et que le recourant n'avait pas réussi à démontrer l'existence de frais supplémentaires à hauteur de 30'000 fr.
Enfin, le recourant fait grief à l'autorité précédente de n'avoir pas retenu qu'il avait apporté la preuve du versement de la commission de courtage à la société I._. D'après l'intéressé, cette preuve ressortait de l'annexe 2 de l'" Escrow Agreement " datée du 8 janvier 2007, dans laquelle la société I._ confirmait avoir reçu la commission de courtage d'un montant de 300'000 fr. telle que mentionnée au ch. 2.3.2 let. b SPA. En l'occurrence, le Tribunal cantonal a tenu compte de cette pièce mais a retenu qu'elle était contredite par une déclaration ultérieure de B._, agissant pour le compte de la société I._, selon laquelle celle-ci n'aurait jamais reçu un quelconque montant de Suisse ou en Suisse. L'interprétation que fait le recourant de cette déclaration repose sur des faits qui ne ressortent pas de l'arrêt entrepris, sans que le recourant n'invoque l'arbitraire dans l'établissement des faits, de sorte que son argumentation n'est pas admissible. Il appartenait ainsi à l'autorité précédente d'apprécier les preuves avec soin et conscience et de choisir entre les pièces contradictoires. Dans le cadre de cette appréciation, l'autorité précédente a relevé que l'annexe 2 de l'" Escrow Agreement ", dont se prévalait le recourant, contenait une inexactitude quant à la date de signature du SPA, de sorte que la pertinence de cette pièce devait être nuancée. Le recourant n'a, de son côté, fourni aucune explication sur l'origine de cette erreur. Dans ces conditions, il n'était pas insoutenable de s'en tenir à la déclaration de B._ qui excluait le paiement d'une commission de courtage. C'est donc sans arbitraire que l'instance précédente a considéré que les pièces produites par le recourant ne suffisaient pas à démontrer le paiement d'une commission de courtage.
Pour le surplus, en tant que le recourant reproche à l'instance précédente de n'avoir pas tenu compte du fait qu'il avait introduit une action en recouvrement contre les acquéreurs, sa critique est irrecevable. En effet, l'intéressé ne motive pas en quoi l'omission de cet élément aurait abouti à une décision insoutenable (cf. <ref-law>).
4.3. Il s'ensuit que les critiques concernant l'arbitraire dans l'établissement des faits et l'appréciation des preuves sont sans fondement. Dans la suite du raisonnement, la Cour de céans se fondera donc exclusivement sur les constatations de l'arrêt attaqué (<ref-law>).
5.
Le recourant reproche à l'autorité précédente d'exiger de lui la fourniture de la preuve d'un fait négatif.
5.1. Ce grief a trait à la répartition du fardeau de la preuve, ce qui constitue une question de droit que le Tribunal fédéral examine avec une pleine cognition (<ref-ruling> consid. 5 p. 327; arrêt 2C_307/2015 du 13 octobre 2015 consid. 4.2). En matière fiscale, les règles générales du fardeau de la preuve ancrées à l'<ref-law>, destinées à déterminer qui doit supporter les conséquences de l'échec de la preuve ou de l'absence de preuve d'un fait, impliquent que l'autorité fiscale doit établir les faits qui justifient l'assujettissement et qui augmentent la taxation, tandis que le contribuable doit prouver les faits qui diminuent la dette fiscale ou la suppriment (cf. <ref-ruling> consid. 3.5 p. 252). Par ailleurs, le contribuable doit prouver l'exactitude de sa déclaration d'impôt et de ses explications ultérieures; on ne peut pas en revanche demander au contribuable de prouver un fait négatif, c'est-à-dire qu'il n'a pas d'autres revenus que ceux annoncés (arrêts 2C_63/2014 du 5 novembre 2014 consid. 3.1; 2C_89/2014 du 28 novembre 2014 consid. 7.2; 2C_1201/2012 du 16 mai 2013 consid. 4.6).
5.2. En l'occurrence, les déductions sollicitées par le recourant constituent des faits de nature à diminuer sa dette fiscale, de sorte que l'instance précédente a jugé à bon droit que le fardeau de la preuve incombait au contribuable. D'après l'intéressé, lui demander de prouver qu'il n'avait pas reçu les déductions litigieuses équivalait à lui mettre à la charge de prouver un fait négatif impossible à démontrer. Cet argument tombe à faux. Il n'est pas contesté qu'à la suite de la vente des actions, le recourant a reçu des acheteurs un montant de 1'420'000 fr, alors que l'acte de vente prévoyait un prix d'achat de 2'350'000 fr. Le litige porte ainsi sur les montants qui ont été portés en déduction de ce prix d'achat. Contrairement à ce que soutient le recourant, le Tribunal cantonal n'a pas requis de l'intéressé la preuve que ce dernier n'avait pas perçu les déductions sollicitées, mais uniquement qu'il démontre à quoi ces montants avaient été affectés ou à qui ils avaient été versés (compte de dépôt fiduciaire ou compte du courtier), ce qui consiste à n'en pas douter à apporter la preuve d'un fait positif. Il est à cet égard indifférent que le recourant ait cherché en vain à obtenir ces justificatifs auprès de ses cocontractants. Comme le retient à juste titre l'arrêt attaqué, le recourant ne pouvait pas ignorer qu'il lui appartiendrait de justifier les montants requis en déduction du prix de vente. L'intéressé devait donc s'assurer de l'obtention des justificatifs nécessaires. Par conséquent, en refusant la déduction de ces montants au motif que le recourant n'avait pas suffisamment prouvé en avoir supporté le coût, le Tribunal cantonal n'a pas violé le droit fédéral.
6.
Le recourant invoque enfin, de manière sommaire et sans citer de dispositions constitutionnelles, une violation du principe de la proportionnalité. Tel qu'il est formulé, le grief ne répond pas aux exigences de motivation accrues découlant de l'<ref-law> (cf. supra consid. 4.1), de sorte que le Tribunal fédéral ne peut pas l'examiner.
7.
Les considérants qui précèdent conduisent au rejet du recours, dans la mesure où il est recevable. Le recours étant d'emblée dénué de chances de succès, la requête d'assistance judiciaire est rejetée (<ref-law>). Succombant, le recourant supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, à l'Administration cantonale des impôts du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Administration fédérale des contributions.
Lausanne, le 15 juin 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : McGregor