Faits :
A.
A._ était domicilié dans le canton de Vaud durant la période fiscale 2011. Au 31 décembre 2010, il détenait l'intégralité du capital-actions des sociétés B._ SA et C._ SA, qui avaient alors toutes deux leur siège à Martigny (VS). B._ SA, dotée d'un capital-actions de 100'000 fr., disposait, selon son bilan au 31 décembre 2010, d'actifs pour un total de 6'063'523 fr. et de passifs pour un total de 7'570'380 fr. (fonds propres négatifs de 1'506'857 fr.). Quant à C._ SA, elle disposait, au 31 décembre 2010, de fonds propres pour un montant total de 2'230'667 francs.
Au début de l'année 2011, A._ a vendu les actions de B._ SA à C._ SA pour le prix de 100'000 francs. Par contrat de fusion du 29 juin 2011, C._ SA a absorbé B._ SA avec effet au 1 er janvier 2011. Les fonds propres négatifs de B._ SA au 31 décembre 2010 ont ainsi été compensés avec les fonds propres (en particulier le bénéfice reporté) de C._ SA.
Par décision de taxation 2011 du 10 juin 2015, l'Office d'impôt du district de Nyon (ci-après: l'Office d'impôt) a imposé A._ sur la base d'un revenu de 141'100 fr. et d'une fortune de 379'000 fr. pour l'impôt cantonal et communal (ICC), et d'un revenu de 175'500 fr. pour l'impôt fédéral direct (IFD). Cette décision de taxation ne tenait pas compte des opérations survenues en relation avec la vente de B._ SA et de l'absorption de cette dernière par C._ SA.
Le 29 septembre 2016, l'Administration fédérale des contributions (ci-après: l'Administration fédérale) a porté à la connaissance de l'Administration cantonale des impôts du canton de Vaud (ci-après: l'A dministration cantonale) le prix de vente auquel B._ SA avait été vendu à C._ SA, ainsi que le contrat de fusion du 29 juin 2011.
B.
Le 9 avril 2018, l'Office d'impôt a notifié à A._ une décision de taxation 2011 rectifiant la taxation du 10 juin 2015, au motif que le contribuable avait perçu deux prestations appréciables en argent en lien avec B._ SA. En premier lieu, le prix de vente de 100'000 fr. ne pouvait pas correspondre à la valeur vénale de la société, dès lors que celle-ci était alors largement déficitaire. Ce prix de vente représentait partant une prestation appréciable en argent imposable. D'autre part, l'absorption de B._ SA par C._ SA devait être traitée comme une fusion d'assainissement entre sociétés soeurs, qui avait donné lieu à une seconde prestation appréciable en argent qui s'élevait à 1'606'857 francs. Ce montant correspondait à la compensation du bénéfice reporté de C._ SA avec la perte de B._ SA.
Selon cette nouvelle décision de taxation, le revenu imposable 2011 de A._ s'élevait désormais à 1'300'000 fr. pour l'ICC et à 1'199'600 fr. pour l'IFD.
Le 3 mai 2018, A._ a formé une réclamation à l'encontre de la décision du 9 avril 2018 de l'Office d'impôt, qui a été transmise à l'Administration cantonale comme objet de sa compétence. Par décision sur réclamation du 29 mai 2019, l'Administration cantonale l'a rejetée.
A._ a recouru contre la décision du 29 mai 2019 de l'Administration cantonale auprès du Tribunal cantonal, Cour de droit administratif et de droit public du canton de Vaud (ci-après: le Tribunal cantonal), pour demander son annulation. Il a contesté que les conditions pour procéder à un rappel d'impôt aient été réalisées, dès lors que l'Office d'impôt avait été en mesure d 'avoir connaissance des opérations qui étaient à l'origine des reprises effectuées. Il n'y avait donc pas de fait nouveau. Au demeurant, le prix de vente de 100'000 fr. pour les actions de B._ SA était justifié par le fait que cette société présentait un goodwill; quant à l'absorption de B._ SA par C._ SA, elle n'avait pas représenté un procédé abusif justifiant une reprise.
Le Tribunal cantonal a statué par arrêt du 28 mai 2021. En substance, il a d'abord constaté que, contrairement aux dispositions légales applicables, A._ s'était directement vu notifier une taxation rectificative le 9 avril 2018, sans avoir été au préalable avisé de l'ouverture d'une procédure de rappel d'impôt à son encontre. L'intéressé ne s'en était toutefois jamais plaint, notamment sous l'angle de son droit d'être entendu, et il avait pu faire valoir ses arguments contre les reprises effectuées. Le vice initial dont était entachée la procédure avait partant été guéri. Le Tribunal cantonal a ensuite estimé que les conditions pour procéder à un rappel d'impôt étaient réunies. S'agissant des prestations appréciables en argent, il a confirmé que le prix de 100'000 fr. payé par C._ SA pour acquérir B._ SA était surfait, eu égard à la mauvaise situation financière de cette dernière, et il a partant confirmé que ce montant représentait une première prestation appréciable en argent imposable. Il a également confirmé que la compensation de la perte au bilan de B._ SA par le bénéfice au bilan de C._ SA aboutissait aussi à une prestation appréciable en argent. Le procédé utilisé par le recourant était insolite et remplissait les conditions de l'évasion fiscale, la fusion ayant fait disparaître par compensation des réserves de C._ SA. Cela étant, c'était à tort que l'Administration cantonale s'était fondée sur la perte au bilan de B._ SA (soit 1'606'857 fr.), pour calculer le montant de la seconde prestation appréciable en argent, car une partie de cette perte avait été absorbée par le capital-actions de 100'000 fr. de B._ SA, qui faisait déjà l'objet d'une reprise au titre de prix de vente surfait. Le montant de la seconde prestation appréciable en argent correspondait au montant de la perte de fusion, soit à 1'506'857 francs.
Par conséquent, le Tribunal cantonal a très partiellement admis le recours et réformé la décision sur réclamation du 29 mai 2019 en fixant le montant total des prestations appréciables en argent à 1'606'857 francs (au lieu de 1'706'857 fr.).
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, principalement, de constater que les conditions de l'ouverture d'une procédure de rappel d'impôt n'étaient pas remplies le 9 avril 2018, de constater la nullité de la décision de rappel d'impôt et des bordereaux de taxation du 9 avril 2018, tant pour l'ICC que pour l'IFD, de constater que la décision de taxation du 16 juin 2015 est définitive et entrée en force et de débouter l'Administration cantonale de toute autre conclusion; subsidiairement, d'inviter l'Administration cantonale à émettre de nouveaux bordereaux d'impôt ICC et IFD 2011 dans le sens de ses conclusions; plus subsidiairement, d'inviter l'Administration cantonale à émettre de nouveaux bordereaux d'impôt ICC et IFD 2011 en imposant partiellement les revenus au titre de revenus de participation, conformément à ses conclusions.
Le Tribunal cantonal a renoncé à se déterminer et se réfère à son arrêt. L'Administration cantonale conclut au rejet du recours. L'Administration fédérale se rallie à l'Administration cantonale et conclut au rejet du recours.

Considérant en droit :
1.
1.1. En tant qu'il s'en prend à l'arrêt du Tribunal cantonal du 28 mai 2021, le présent recours est dirigé contre une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) ne tombant pas sous le coup de l'une des exceptions de l'<ref-law>. La voie du recours en matière de droit public est partant ouverte (cf. aussi l'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct [LIFD; RS 642.11] pour l'IFD et l'art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14] pour l'ICC).
1.2. L'instance précédente a traité dans un seul arrêt de l'IFD et de l'ICC, ce qui est admissible (<ref-ruling> consid. 1.3.1). Partant, le dépôt d'un seul acte de recours est aussi autorisé, dans la mesure où le recourant s'en prend clairement aux deux catégories d'impôts (cf. <ref-ruling> consid. 1.3.2), ce qui est le cas en l'espèce.
1.3. Le recours a par ailleurs été déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>) par le recourant, qui a qualité pour recourir (cf. <ref-law>).
2.
Conformément à l'<ref-law> et sous réserve des situations visées à l'<ref-law>, le Tribunal fédéral applique le droit d'office. En vertu de l'<ref-law> toutefois, les motifs doivent exposer succinctement en quoi l'acte attaqué viole le droit. Compte tenu de cette exigence de motivation, le Tribunal fédéral n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une autorité de première instance, toutes les questions juridiques qui peuvent se poser, lorsqu'elles ne sont plus discutées devant lui, sauf en présence d'une violation du droit évidente (<ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2; <ref-ruling> consid. 1.6; cf. aussi arrêts 2C_677/2020 du 9 juin 2021 consid. 2.1; 2C_206/2019 du 25 mars 2021 consid. 5.1; 2C_530/2020 du 19 août 2021 consid. 2.1). Par conséquent, le recourant doit exposer en quoi l'arrêt attaqué viole le droit. Il doit en discuter les motifs, en indiquant en quoi il estime que l'autorité précédente a méconnu le droit (cf. <ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2; cf. aussi notamment les arrêts 5A_446/2021 du 29 novembre 2021 consid. 2.1; 2C_738/2018 du 2 novembre 2021 consid. 2.2; 2C_746/2021 du 4 novembre 2021 consid. 3.1; 2C_860/2019 du 22 mars 2021 consid. 1.5.1).
3.
Pour statuer, le Tribunal fédéral se fonde sur les faits établis par l'autorité précédente (cf. <ref-law>), sous réserve des situations visées à l'<ref-law>. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 6; <ref-ruling> consid. 1.6). Il appartient au recourant de le démontrer de manière claire et précise (<ref-law>; <ref-ruling> consid. 1.3). Les faits invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 1.3; <ref-ruling> consid. 3.6.2)
4.
En l'espèce, le recourant fait valoir plusieurs violations de dispositions de droit fédéral, singulièrement de la LIFD, ainsi que des dispositions correspondantes du droit cantonal. Il reproche aussi au Tribunal cantonal d'avoir retenu que B._ SA était économiquement liquidée et soutient que l'instance précédente a violé les règles de répartition du fardeau de la preuve sur ce point.
4.1. Il ressort du mémoire de recours que les griefs de violations du droit fédéral et des dispositions correspondantes du droit cantonal sont exclusivement dirigés contre l'Administration cantonale, sans aucun lien avec le raisonnement juridique conduit par les juges précédents. Le recourant ne discute en effet pas les motifs de l'arrêt attaqué pour expliquer, même succinctement, en quoi ceux-ci seraient contraires au droit. Ces griefs sont partant irrecevables (cf. supra consid. 2). En outre, le raisonnement détaillé figurant dans l'arrêt attaqué ne fait nullement apparaître l'existence d'une violation manifeste du droit fédéral par l'instance précédente.
4.2. Quant au grief par lequel le recourant reproche au Tribunal cantonal d'avoir retenu que B._ SA était une société économiquement liquidée, il concerne l'établissement des faits. Or le recourant, qui ne cite ni l'<ref-law> ni l'art. 9 Cst., se limite à opposer sa propre version des faits à celle du Tribunal cantonal. En outre, il ne démontre pas en quoi le constat prétendument erroné des juges précédents serait décisif pour le sort de la cause. Son grief, formulé de manière purement appellatoire, est partant également irrecevable (cf. supra consid. 3).
4.3. Le recourant fait encore valoir que le Tribunal cantonal a violé les règles de répartition du fardeau de la preuve en lien avec le point de savoir si B._ SA était économiquement liquidée.
Selon la jurisprudence, quand l'instance précédente s'est forgée une conviction et tient un fait pour établi, la question du fardeau de la preuve ne se pose plus (<ref-ruling> consid. 4.3; <ref-ruling> consid. 2d; arrêts 2C_1025/2020 du 3 mars 2021 consid. 2.5.2; 2C_1144/2018 du 10 mars 2020 consid. 7). On se trouve dans une telle situation dans le cas en l'espèce, puisque le Tribunal cantonal a constaté que B._ SA était une société économiquement liquidée. Par conséquent, le grief de violation des règles du fardeau de la preuve est sans objet.
5.
Les considérants qui précèdent conduisent au rejet du recours, qui s'avère manifestement infondé (cf. <ref-law>), dans la faible mesure de sa recevabilité.
6.
Le recourant, qui succombe, supportera les frais de justice devant le Tribunal fédéral. Il ne sera pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure de sa recevabilité.
2.
Les frais judiciaires, arrêtés à 10'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué à la représentante du recourant, à l'Administration cantonale des impôts du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Administration fédérale des contributions.
Lausanne, le 20 décembre 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Vuadens