Faits :
A.
A._ est domicilié dans le canton de Vaud. Le 29 décembre 1997, il a hérité, avec son frère et sa mère, des biens de son père, sur l'ensemble desquels celle-ci a bénéficié d'un usufruit. Parmi ces biens figuraient notamment 161 actions de la société immobilière B._ SA, acquises le 15 décembre 1987 pour un montant de 807'500 fr. et conférant à leur détenteur, en tant qu'actionnaire-locataire, le droit de louer à cette société un appartement et un garage dans un immeuble appartenant à celle-ci. Le gain immobilier résultant de cette vente a été imposé auprès du vendeur, le 27 août 1991.
La société B._ SA avait été constituée le 19 mars 1914 et avait pour but l'acquisition et la vente de biens immobiliers, ainsi que la construction, la location et l'affermage d'immeubles. Son capital-actions se composait de 3'000 actions nominatives valant 100 fr. chacune. Le 4 avril 1914, cette société avait fait l'acquisition d'une parcelle de la commune de Lausanne, sur laquelle elle avait construit un bâtiment d'habitation, dans lequel le père de l'intéressé louait l'appartement et le garage auxquels ses 161 actions donnaient droit. La valeur vénale de l'immeuble de la société B._ SA avait été arrêtée à 5'960'000 fr. le 11 octobre 1999 par l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) en vue d'une liquidation facilitée de cette société.
Lors d'une assemblée générale extraordinaire qui s'est tenue le 7 mai 2001, les actionnaires de la société ont décidé de constituer une propriété par étages sur la parcelle et de vendre les parts aux actionnaires souhaitant les acquérir, afin de pouvoir bénéficier des allégements fiscaux consentis en vue de faciliter la liquidation des sociétés immobilières. Le 18 juin 2001, la propriété par étages a été inscrite au registre foncier.
Par acte notarié du 26 février 2002, la société immobilière B._ SA a vendu à A._ et à son frère, en copropriété chacun pour une demie, deux lots de propriété par étages correspondant à l'appartement et au garage précédemment loués par le père de ceux-ci, pour un montant de 319'853 fr. 35 (298'000 fr. pour l'appartement et 21'853 fr. 35 pour le garage, le prix de vente ayant été déterminé par la valeur vénale de l'immeuble [5'960'000 fr.], multipliée par le nombre d'actions en possession des acquéreurs [161], divisée par le nombre total d'actions [3'000]). Le prix de vente a été acquitté par compensation avec une créance chirographaire de 239'035 fr. que le père de l'intéressé détenait à l'encontre de la société et par la comptabilisation d'une créance de 80'768 fr. 35 à l'égard de A._ et son frère, en garantie de laquelle les 161 actions ont été remises en nantissement à la société par ceux-ci. L'intéressé et son frère ont été inscrits comme copropriétaires au registre foncier le 28 février 2002. L'usufruit dont leur mère bénéficiait sur la totalité des biens successoraux a été étendu aux deux lots de propriété par étages jusqu'à son décès, le 23 mars 2006.
Le 17 décembre 2009, A._ a été inscrit au registre foncier en qualité de propriétaire individuel des deux lots de propriété par étages, le juge civil lui ayant attribué le lot de son frère dans le cadre d'une procédure en partage successoral. Le 28 février 2012, A._ a vendu les deux lots de propriété par étages à un tiers pour un montant de 1'800'000 fr.
Dans une déclaration du 18 mai 2012, l'intéressé a mentionné un gain immobilier de 934'180 fr., correspondant au prix de vente (1'800'000 fr.), moins le prix d'acquisition des actions en 1987 (807'500 fr.), moins une commission de courtage (58'320 fr.).
B.
Après avoir rendu une première décision, qu'il a annulée, et entendu personnellement l'intéressé, l'Office d'impôt de district compétent, par décision du 10 juillet 2012, a taxé A._ au titre de l'impôt sur le gain immobilier, arrêtant le gain immobilier à 1'201'816 fr. et l'impôt à 217'344 fr. 50. A._ a élevé réclamation contre cette décision le 8 août 2012 auprès de l'Administration cantonale. Après avoir également entendu personnellement l'intéressé, l'Administration cantonale a partiellement admis la réclamation de celui-ci et arrêté le gain immobilier à 1'421'827 fr. (le prix de vente de l'immeuble de 1'800'000 fr., moins le prix d'acquisition des deux lots de propriété par étages de 319'853 fr., moins 58'320 fr. de commission de courtage), fixant l'impôt dû par A._ à 199'052 fr. Celui-ci a interjeté recours contre cette décision sur réclamation le 11 octobre 2018 auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). Par arrêt du 29 avril 2020, le Tribunal cantonal a rejeté le recours.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif et diverses mesures d'instruction, d'annuler l'arrêt du Tribunal cantonal du 29 avril 2020, de "dire et constater" que le prix d'acquisition de l'immeuble vendu en 2012 était de 807'500 fr. et que sa date d'acquisition était le 14 décembre 1987, ainsi que de renvoyer la cause à l'Administration cantonale pour que celle-ci rende une nouvelle décision dans le sens des considérants.
Par ordonnance du 2 juillet 2020, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la requête d'effet suspensif.
Le Tribunal cantonal et l'Administration cantonale concluent au rejet du recours. L'Administration fédérale des contributions renonce à se déterminer.
Considérant en droit :
1.
1.1. La décision attaquée porte sur les impôts cantonal et communal. Elle relève donc du droit public et aucune des exceptions prévues à l'art. 83 LTF n'est réalisée. Dirigé contre une décision finale (art. 90 LTF), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (art. 82 let. a LTF), le présent recours est en principe recevable comme recours en matière de droit public. L'art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14) confirme du reste expressément cette voie de droit, l'impôt sur les gains immobiliers étant une matière harmonisée au titre 2, chapitre 3 (art. 12 LHID). Le recours a en outre été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes requises (art. 42 LTF) par le contribuable qui est particulièrement atteint par la décision attaquée et qui a un intérêt digne de protection à son annulation ou à sa modification (art. 89 al. 1 LTF), de sorte qu'il convient d'entrer en matière, sous réserve de ce qui suit.
1.2. Selon un principe général de procédure, les conclusions en constatation de droit ne sont recevables que lorsque des conclusions condamnatoires ou formatrices sont exclues. Sauf situations particulières, les conclusions constatatoires ont donc un caractère subsidiaire (cf. ATF 141 II 113 consid. 1.7 p. 123 et les références). Dans la mesure où le recourant conclut, parallèlement à l'annulation de l'arrêt du 29 avril 2020 du Tribunal cantonal et au renvoi de la cause à l'Administration cantonale, à ce qu'il soit "dit et constaté" que le prix d'acquisition de l'immeuble vendu en 2012 était de 807'500 fr. et que sa date d'acquisition était le 14 décembre 1987, il formule une conclusion constatatoire qui est irrecevable.
2.
Dans un premier grief, le recourant se prévaut d'un établissement arbitraire des faits.
2.1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF (ATF 142 I 155 consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF; ATF 142 II 355 consid. 6 p. 358). Conformément à l'art. 106 al. 2 LTF, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (ATF 145 V 188 consid. 2 p. 190). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (art. 99 al. 1 LTF).
2.2. En tout premier lieu, force est de constater qu'en ce que le recourant demande d'ordonner à l'Administration cantonale de produire toutes les taxations pour les gains immobiliers relatives à l'immeuble en cause et en particulier celle prétendument adressée à son frère, il demande la production d'un moyen de preuve qui ne saurait être admise devant le Tribunal fédéral, celui-ci statuant en principe sur la seule base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Au demeurant, le recourant ne motive pas en quoi les conditions permettant de se prévaloir de l'exception de l'art. 99 al. 1 LTF seraient données en l'espèce (cf. arrêts 2C_72/2019 du 7 juin 2019 consid. 6.2; 4A_229/2010 du 7 octobre 2010 consid. 1.3, non publié in ATF 136 III 518). Pour cette raison, il ne saurait être donné suite aux mesures d'instruction requises.
2.3. Le recourant estime que l'arrêt du Tribunal cantonal a retenu certains faits de manière arbitraire. Il est ainsi d'avis qu'en ce que cette autorité a constaté qu'il avait " acquis la propriété (individuelle) des deux lots de PPE vendus à [la personne tierce] en deux étapes successives, à savoir la première moitié le 28 février 2002[...]et la seconde, le 7 janvier 2009[...]" et qu'en "définitive, aux fins de l'imposition du gain immobilier, le recourant et son frère n'ont pas acquis les lots de PPE par succession et, par la suite, ceux-ci n'ont pas été attribués au recourant dans le cadre d'un partage successoral", l'autorité précédente a retenu des faits en contradiction avec les pièces du dossier. Il estime en outre que ces faits ont été retenus par le Tribunal cantonal en violation de l'art. 560 CC, qui prévoit que les héritiers acquièrent de plein droit l'universalité de la succession dès que celle-ci est ouverte. Il explique ensuite que l'autorité précédente a écarté les pièces du dossier pour leur substituer une prétendue acquisition en deux étapes successives et une cession en lieu de partage inexistante.
2.4. Il est des plus douteux que les éléments soulevés par le recourant constituent des questions de fait. Il semble bien plus s'agir d'appréciation juridique de ces faits. Quand bien même, c'est sans aucun arbitraire que l'autorité précédente, sur la base des moyens de preuve à sa disposition, a retenu que le recourant avait obtenu un premier lot de propriété par étages le 26 février 2002 (son frère en ayant également obtenu un en copropriété, selon l'acte notarié rédigé à cette date), puis un second le 17 décembre 2009, lorsqu'il a été inscrit au registre foncier comme étant l'unique propriétaire des deux lots en cause, à la suite d'un jugement du 7 janvier 2009 lui attribuant lesdits lots. En outre, il n'est à tout le moins pas arbitraire de constater que les lots de propriété par étages n'ont pas été acquis par succession par le recourant et son frère, dans la mesure où le décès de leur père est intervenu le 29 décembre 1997 et que la propriété par étages a été constituée le 7 mai 2001 (inscription au registre foncier le 18 juin 2001).
2.5. Sur le vu de ce qui précède, il ne saurait être question d'établissement inexact des faits. Le Tribunal fédéral vérifiera donc la correcte application du droit sur la seule base des faits retenus par l'autorité précédente.
3.
Dans un second grief, citant les art. 97 al. 1 LTF et 9 Cst., le recourant se prévaut de la "violation arbitraire du droit d'être entendu", estimant que le Tribunal cantonal n'a pas traité à suffisance l'un de ses griefs.
3.1. Le droit d'être entendu impose à l'autorité judiciaire de motiver ses décisions, afin que le justiciable puisse les comprendre et exercer son droit de recours à bon escient. Pour satisfaire à cette exigence, il suffit que l'autorité mentionne au moins brièvement les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision. Elle n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à ceux qui, sans arbitraire, peuvent être tenus pour pertinents (ATF 142 II 154 consid. 4.2 p. 157 et les références). Dès lors que l'on peut discerner les motifs qui ont guidé la décision de l'autorité, le droit à une décision motivée est respecté même si la motivation présentée est erronée. La motivation peut d'ailleurs être implicite et résulter des différents considérants de la décision (ATF 141 V 557 consid. 3.2.1 p. 565 et les références).
3.2. En l'occurrence, le recourant estime que le Tribunal cantonal aurait dû examiner plus avant son argument relatif à " l'enrichissement illégitime du fisc vaudois résultant d'une double taxation illégale du gain immobilier réalisé par l'impôt facturé auprès de [son frère] en 2009". Il affirme que, devant l'autorité précédente, il a relevé que son frère avait été taxé de manière arbitraire, en violation de l'art. 12 LHID.
Le recourant perd en premier lieu de vue que le Tribunal fédéral n'est pas limité à l'arbitraire dans l'examen de la violation du droit d'être entendu (qui est prévu à l'art. 29 al. 2 Cst. et pas à l'art. 97 al. 1 LTF). Au demeurant, force est de constater qu'il n'est en aucun cas question de violation du droit d'être entendu de la part de l'autorité précédente. Celle-ci a en effet notamment jugé que le grief du recourant, soulevé devant elle, excédait l'objet de la contestation et qu'il n'y avait donc pas lieu de se prononcer sur l'enrichissement illégitime allégué. Elle a ajouté en particulier que ce point concernait un autre contribuable et que le secret fiscal était opposable au recourant. On comprend par conséquent très bien les motifs qui ont guidé la décision de l'autorité précédente, motifs que le recourant n'a pas contesté devant le Tribunal fédéral, se limitant bien plus à expliquer une nouvelle fois en quoi le Service des contributions se serait enrichi de manière illégitime.
3.3. Compte tenu des développements qui précèdent, force est de constater qu'il ne saurait être question de violation du droit d'être entendu du recourant.
4.
4.1. D'après l'art. 12 al. 1 LHID, l'impôt sur les gains immobiliers a pour objet les gains réalisés lors de l'aliénation de tout ou partie d'un immeuble faisant partie de la fortune privée du contribuable ou d'un immeuble agricole ou sylvicole, à condition que le produit de l'aliénation soit supérieur aux dépenses d'investissement (prix d'acquisition ou autre valeur s'y substituant, impenses). L'art. 12 al. 2 LHID définit les aliénations imposables. En particulier, l'art. 12 al. 2 let. a LHID prévoit que sont assimilés à une aliénation, les actes juridiques qui ont les mêmes effets économiques qu'une aliénation sur le pouvoir de disposer d'un immeuble. En outre, l'art. 12 al. 2 let. d LHID dispose qu'est également assimilé à une aliénation, le transfert de participations à des sociétés immobilières qui font partie de la fortune privée du contribuable, dans la mesure où le droit cantonal en prévoit l'imposition. Selon l'art. 12 al. 3 let. a LHID, l'imposition est différée notamment en cas de transfert de propriété par succession (dévolution d'hérédité, partage successoral, legs), avancement d'hoirie ou donation.
L'art. 12 LHID contraint les cantons à percevoir un impôt sur les gains immobiliers. Bien qu'il demeure vague sur l'aménagement de cet impôt, en particulier sur la durée de la possession (ATF 134 II 124 consid. 3.2 p. 132 et les références; arrêt 2C_793/2019 du 22 janvier 2020 consid. 3.1), il ne leur laisse aucune liberté pour décider des cas dans lesquels l'imposition doit être différée (arrêt 2C_793/2019 du 22 janvier 2020 consid. 3.1 et les références). Ils sont en revanche libres d'adopter le barème de l'impôt sur les gains immobiliers (art. 1 al. 3 LHID), à condition d'imposer plus lourdement les bénéfices réalisés à court terme (art. 12 al. 5 LHID).
4.2. Dans le canton de Vaud, l'impôt sur les gains immobiliers a notamment pour objet les gains réalisés lors de l'aliénation de tout ou partie d'un immeuble, situé dans le canton, qui fait partie de la fortune privée du contribuable (art. 61 al. 1 let. a de la loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux [LI/VD; BLV 642.11]). Constitue une aliénation imposable tout acte qui transfère la propriété d'un immeuble, telle que la vente, l'expropriation ou la cession d'une part de propriété commune (cf. art. 64 al. 1 LI/VD), étant précisé que le transfert d'actions ou parts de sociétés immobilières est assimilé à l'aliénation de tout ou partie de l'immeuble (art. 64 al. 2 let. d LI/VD). L'imposition est différée en cas de transfert de propriété par succession (dévolution d'hérédité, partage successoral, legs), avancement d'hoirie ou donation (art. 65 al. 1 let. a LI/VD).
Pour le surplus, l'art. 66 al. 1 LI/VD dispose que le gain imposable est constitué par la différence entre le produit de l'aliénation et le prix d'acquisition augmenté des impenses. A teneur de l'art. 67 al. 1 LI/VD, le prix d'acquisition est le prix qu'avait payé l'aliénateur. Toutefois, en cas d'aliénation d'immeuble acquis lors d'une opération dont l'imposition a été différée selon l'art. 65 al. 1 let. a à c LI/VD, le précédent transfert imposé est déterminant pour fixer le prix d'acquisition et la durée de possession (art. 68 al. 1 LI/VD). En application de l'art. 71 al. 1 LI/VD, le produit de l'aliénation est le montant total des prestations pécuniaires ou appréciables en argent que l'acquéreur verse ou s'engage à verser à l'aliénateur ou à des tiers au profit de ce dernier. L'impôt est perçu selon un barème de taux dégressifs en fonction des années de possession, variant entre 30 %, pour un an de possession, et 7 %, dès 24 ans de possession (art. 72 al. 3 LI/VD). Finalement, il convient encore de mentionner l'art. 73 al. 2 LI/VD, qui prévoit que si l'immeuble aliéné a été acquis en plusieurs fois, notamment par investissements supplémentaires ou qu'il a fait l'objet de constructions ultérieures ou de transformations d'importance analogue, le gain est fractionné en fonction des différentes opérations pour calculer la durée de possession déterminant le taux applicable aux diverses parties du gain.
4.3. La prorogation de l'imposition prévue par l'art. 12 al. 3 LHID (art. 65 al. 1 LI/VD) signifie qu'un transfert constituant en soi un acte d'aliénation n'est cependant pas soumis à imposition. Tout se passe, sous l'angle de l'impôt sur les gains immobiliers, comme si le transfert n'avait pas eu lieu ou, en d'autres termes, comme s'il n'y avait pas eu réalisation d'un gain. La prorogation n'implique toutefois pas une exemption définitive, qui serait d'ailleurs contraire à l'art. 12 LHID. L'augmentation de valeur qui s'est produite entre la dernière aliénation imposable et l'acte prorogeant l'imposition n'est provisoirement pas taxée; l'imposition est simplement différée jusqu'à nouvelle aliénation imposable (arrêt 2C_797/2009 du 20 juillet 2010 consid. 2.3 et les références).
5.
5.1. Dans l'arrêt entrepris, après avoir présenté les diverses dispositions légales applicables, le Tribunal cantonal a constaté que le litige était limité à la question de la détermination du prix d'acquisition des lots de propriété par étages vendus par le recourant en 2012 pour 1'800'000 fr. A ce propos, il a jugé que le recourant avait acquis la propriété (individuelle) des deux lots en deux étapes successives. La première moitié a ainsi été acquise le 28 février 2002, à la suite de la vente des lots par la société immobilière au recourant et à son frère en copropriété, alors que la seconde l'a été le 7 janvier 2009, lorsqu'un tribunal civil a attribué au recourant, par cession en lieu de partage, la part de son frère.
L'autorité précédente s'est ensuite penchée sur le point de savoir si le recourant et son frère avaient acquis leurs lots de propriété par étages dans le cadre d'une succession. Elle a constaté que ceux-ci avaient acheté les lots à la société immobilière en 2002 et que le prix d'achat avait été acquitté par compensation avec une créance chirographaire que leur père détenait envers cette société, ainsi que par la comptabilisation d'une créance auprès de la société, à l'égard des acheteurs. Le Tribunal cantonal a considéré qu'en droit civil, lorsque les héritiers remplacent un bien faisant partie de la succession par un autre, acquis en remploi, ils deviennent propriétaires communs de ce dernier. Il a ajouté qu'aux fins de l'imposition du gain immobilier, il n'était pas concevable qu'un immeuble acquis en remploi de biens successoraux soit traité comme un immeuble transféré par dévolution. Le Tribunal cantonal a d'ailleurs expliqué que le droit personnel de jouissance d'un logement dont dispose l'actionnaire-locataire d'une société immobilière ne s'assimilait pas au droit réel d'un propriétaire. Il a ainsi exclu que le recourant soit devenu propriétaire de l'immeuble en cause au décès de son père. Selon l'autorité précédente, les deux lots de propriété par étages n'ont ainsi pas été acquis par succession et, par la suite, n'ont pas été attribués au recourant dans le cadre d'un partage successoral.
Elle a donc retenu la date du 26 février 2002 comme date d'acquisition de l'immeuble, le recourant et son frère s'étant alors acquittés de 319'855 fr. 35 pour obtenir les deux lots en copropriété, chacun pour une demie. A propos de ce prix, le Tribunal cantonal a constaté que celui-ci avait justement été fixé en fonction de la valeur vénale de l'immeuble, arrêtée par l'Administration cantonale.
5.2. Le recourant invoque la violation de l'art. 12 al. 3 let. a et al. 5 LHID, ainsi qu'une interprétation arbitraire du droit cantonal. Il estime avoir acquis l'immeuble en cause par voie successorale, car la masse comprenait l'appartement lors du partage. Selon lui, le fait que la possession de l'immeuble soit passée d'indirecte à directe ne change rien à l'application de l'art. 12 al. 3 let. a LHID. La propriété en main commune devait s'exercer indistinctement sur toute la masse successorale, laquelle incluait d'abord les actions de la société immobilière, puis directement l'appartement. Pour le recourant, il est contraire à l'art. 12 al. 3 let. a LHID de prévoir un traitement différencié selon le type de possession. Le recourant estime de plus que c'est à tort que l'autorité précédente a jugé que la liquidation de la société immobilière représentait un transfert imposé, déterminant de nouveaux prix d'acquisition et durée de possession. Selon lui, une telle vision est contraire à l'art. 12 al. 5 LHID. Le recourant est également d'avis que le prix d'acquisition doit être fixé à 807'500 fr., c'est-à-dire ce qu'avait payé son père en 1987 pour obtenir les actions de la société immobilière, plutôt qu'à 319'855 fr., tel que l'a jugé le Tribunal cantonal.
5.3. Le litige porte ainsi sur le point de savoir à quel moment est intervenu l'acquisition de l'immeuble vendu par le recourant en 2012 et à quel prix, respectivement si la constitution de la propriété par étages en 2002 doit être comprise comme une situation prévue à l'art. 12 al. 3 let. a LHID, c'est-à-dire un cas de prorogation de l'imposition du gain immobilier.
6.
6.1. Lorsque le droit fiscal renvoie à des notions de droit civil, la question est de savoir si le sens donné en droit civil est aussi déterminant en droit fiscal ou si le droit fiscal doit préférer une interprétation autonome qui se fonde uniquement sur la réalité économique. La doctrine admet en règle générale que l'on peut s'écarter des définitions de droit civil lorsque des motifs fondés justifient une interprétation autonome (arrêt 2C_277/2011 du 17 octobre 2011 consid. 4.2.3 et la référence).
6.2. En premier lieu on peut rappeler que, dans le canton de Vaud, lorsqu'un propriétaire d'actions d'une société immobilière faisant partie de sa fortune privée, vend ces participations, cette vente est assimilée à une aliénation imposable au titre de l'impôt sur les gains immobiliers (cf. art. 64 al. 2 let. d LI/VD; cf. également art. 12 al. 2 let. d LHID). Cette disposition prévoit ainsi la faculté d'assimiler à une aliénation le transfert d'une participation non majoritaire à une société immobilière, car, si la participation est majoritaire, l'on est en présence d'un acte juridique qui a sur le pouvoir de disposer d'un immeuble les mêmes effets économiques qu'une aliénation, situation qui est déjà visée par l'art. 12 al. 2 let. a LHID (cf. arrêt 2C_906/2010 du 31 mai 2012 consid. 6.1; ZWAHLEN/NYFFENEGGER, in Kommentar zum Schweizerischen Steuerrecht, Bundesgesetz über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG], Zweifel/Beusch [éd.], 3e éd. 2016, n. 40 ad art. 12 LHID; BASTIEN VERREY, L'imposition différée du gain immobilier: harmonisation fédérale et droit cantonal comparé, thèse Lausanne 2011, n. 23).
6.3. En l'occurrence, le recourant, ensemble avec son frère et sa mère, a hérité des actions de la société immobilière à la mort de son père, le 29 décembre 1997. Sa mère était en outre usufruitière de l'ensemble des biens successoraux. Dans la mesure où les actions en cause ont changé de propriétaire, il s'agissait là d'un acte assimilé à une aliénation, au sens de l'art. 64 al. 2 let. d LI/VD, respectivement 12 al. 2 let. d LHID, conduisant à une imposition de l'éventuel gain immobilier. Néanmoins, ce transfert de propriété étant intervenu dans le cadre d'une succession, l'imposition devait être différée. Par la suite, le 26 février 2002, le recourant et son frère, sans leur mère, ont acheté à la société immobilière deux lots de propriété par étages. Ils se sont acquittés d'un montant de 319'853 fr. 35 et ont été inscrits comme copropriétaires au registre foncier. Ces lots correspondaient à l'appartement et au garage d'ores et déjà utilisés par leur mère en tant qu'usufruitière des actions.
Le recourant cherche à expliquer que, si le transfert économique au sens des art. 12 al. 2 let. a LHID, respectivement 64 al. 2 let. f LI/VD constitue également une aliénation lorsque la propriété juridique sur l'immeuble reste inchangée, le transfert de propriété juridique ne vaut cependant pas aliénation lorsque la propriété économique sur le bien n'est pas transférée, car le pouvoir de disposition sur celui-ci n'est pas modifié. Dans l'arrêt 2C_714/2019 du 30 janvier 2020 consid. 5.3, le Tribunal fédéral a certes envisagé cette solution, expliquant néanmoins que, lors du précédent transfert économique, aucun impôt sur les gains immobiliers n'avait été perçu, ce qui excluait toute situation de double imposition. Il en va différemment en l'espèce, car lorsque le père du recourant a acheté ses actions en 1987, un impôt sur le gain immobilier a été prélevé, vraisemblablement en application de l'art. 64 al. 2 let. d LI/VD (dans sa version en vigueur à l'époque). La société d'actionnaires-locataires représentait alors un ersatz historique à l'actuel propriété par étages, inconnue du CC et qui donnait aux actionnaires un droit d'habitation (cf. ATF 126 V 83 consid. 2b p. 86). C'est d'ailleurs dans le but d'encourager la disparition de cette forme de propriété indirecte, au profit de la propriété directe, telle la propriété par étages, qu'a été introduit l'art. 207 LIFD (RS 642.11; cf. art. 269 LI/VD), qui prévoit une réduction de l'impôt en cas de liquidation de sociétés immobilières (cf. BERNARD ROLLI, in Commentaire romand, Impôt fédéral direct, Noël/Aubry Girardin [éd.], 2e éd. 2017, n. 1 ad art. 207 LIFD). L'art. 207 al. 4 LIFD (cf. art. 269 al. 4 LI/VD), dispose ainsi que lorsque l'actionnaire acquiert d'une société immobilière d'actionnaires-locataires, en propriété par étages et contre cession de ses droits de participation, la part de l'immeuble dont l'usage est lié aux droits cédés, l'impôt sur le bénéfice en capital réalisé par la société est réduit de 75 % si la société a été fondée avant le 1er janvier 1995. En outre, le transfert de l'immeuble à l'actionnaire doit être inscrit au registre foncier au plus tard au 31 décembre 2003. A ces conditions, l'impôt sur l'excédent de liquidation obtenu par l'actionnaire est réduit dans la même proportion.
Le recourant explique ensuite que la masse successorale a toujours eu la possession du bien immobilier. Il perd toutefois de vue que, même si le droit cantonal mentionne effectivement "durée de possession" (cf. par exemple art. 67 al. 5 LI/VD), l'acte générateur de l'impôt est bel et bien le transfert de propriété (cf. art. 64 al. 1 LI/VD; ZWAHLEN/NYFFENEGGER, op. cit., n. 31 ad art. 12 LHID; cf. également ANNE-CHRISTINE SCHWAB, La vente des actions de la société immobilière en droit fiscal suisse, thèse Lausanne 2019, n. 413). De plus, le transfert de la propriété immobilière, sauf exception, nécessite une inscription au registre foncier (cf. art. 656 al. 1 CC). C'est cette inscription qui est en principe déterminante pour la durée de possession de l'immeuble (ANNE-CHRISTINE SCHWAB, op. cit., n. 415). Or, en l'espèce, on doit constater qu'en février 2002, par acte notarié, la propriété des deux lots de propriété par étages a été transférée. Elle est passée de la société immobilière au recourant et à son frère, qui ont été inscrit comme copropriétaires au registre foncier. Certes, la mère de ceux-ci, qui vivait déjà dans l'appartement objet de la vente, y est restée. Elle n'a néanmoins jamais été propriétaire de ce bien, mais en jouissait en tant qu'usufruitière, statut qu'elle a maintenu à la suite de l'achat de l'appartement par ses deux enfants. En outre, à l'instar de ce qu'a jugé le Tribunal cantonal et contrairement à ce qu'affirme le recourant, ce transfert de propriété n'est pas intervenu par succession, dès lors que ni le défunt, ni a fortiori la masse successorale n'ont jamais été propriétaires des deux lots en cause. Le fait que l'acquisition ait été faite en partie avec une créance de la masse successorale n'y change rien. C'est uniquement la société immobilière qui était propriétaire avant le recourant et son frère. D'une manière plus générale, on peut considérer que, comme l'affirme la doctrine à ce propos, lorsque l'immeuble est détenu par une société immobilière et que celle-ci le transfère à un actionnaire, en cas de revente, ce dernier ne pourra pas bénéficier des années de possession pendant lesquelles il était actionnaire mais non inscrit comme propriétaire au registre foncier (ANNE-CHRISTINE SCHWAB, op. cit., n. 415; dans ce sens également, ATF 126 V 83 consid. 2d p. 87). Dans le cas d'espèce, les éléments qui précèdent conduisent donc à retenir qu'en février 2002, les deux lots de propriété par étages ont été acquis par le recourant et son frère, hors de toute situation donnant lieu à un report de l'imposition du gain immobilier. C'est par conséquent à juste titre que le Tribunal cantonal a retenu le 26 février 2002 comme date pertinente pour calculer la durée de possession du bien, revendu le 28 février 2012. Il ne saurait donc être question de violation de l'art. 12 al. 3 let. a et al. 5 LHID, comme le prétend le recourant.
On ajoutera encore à ce propos que l'Administration cantonale a traité l'obtention en 2009, par le recourant, de la part de copropriété (ou de propriété commune selon que l'on prenne en compte l'acte notarié du 26 février 2002 ou le jugement du 7 janvier 2009) de son frère sur le second lot de propriété par étages, comme un transfert de propriété prorogeant l'imposition du gain immobilier, en application de l'art. 65 al. 1 let. a LI/VD, respectivement de l'art. 12 al. 3 let. a LHID. Dans ces conditions, et en raison du principe de l'interdiction de la reformatio in peius (cf. arrêt 2C_32/2020 du 8 juin 2020 consid. 4.4 et les références), principe également appliqué par le Tribunal cantonal dans ce cas, il n'est pas nécessaire d'examiner si cette façon de procéder est correcte ou non. L'entier du bien immobilier doit donc être taxé en prenant en compte une acquisition en 2002, année d'acquisition de la part de copropriété du recourant et de celle du frère de celui-ci, le transfert de propriété de cette dernière part, intervenu en 2009 entre les deux frères, ne devant pas être pris en compte pour le calcul de la durée de possession (art. 68 al. 1 LI/VD).
6.4. La durée de possession du bien ayant été fixée à dix ans (2002 à 2012), il convient maintenant de déterminer le prix d'acquisition acquitté en 2002 par le recourant et son frère, les parties s'accordant sur un prix de vente de 1'800'000 fr., tel qu'il a été fixé dans un acte notarié passé le 28 février 2012.
Le recourant est d'avis que le prix d'acquisition est de 807'000 fr., c'est-à-dire le montant acquitté par son père en 1987 pour obtenir les 161 actions de la société immobilière. Il ne conteste toutefois pas avoir payé 319'853 fr. 35 en 2002 pour devenir propriétaire, avec son frère, des deux lots de propriété par étages. Or, on rappellera ici au recourant que l'art. 67 al. 1 et 2 LI/VD prévoit que le prix d'acquisition est le prix qu'avait payé l'aliénateur et que le contribuable peut invoquer l'estimation fiscale de l'immeuble, en lieu et place du prix payé, si elle a été notifiée après l'acquisition et qu'elle est en vigueur depuis au moins dix ans, lors de l'aliénation. Dans le présent cas d'espèce, le prix payé par le recourant et son frère en 2002 correspond à la valeur vénale de l'immeuble, arrêtée par l'Administration cantonale, divisée par le nombre d'actions de la société (3'000) et multipliée par le nombre d'actions en possession des acheteurs (161). Une telle façon de procéder ne saurait être contestée. En l'occurrence, ce qui est déterminant n'est pas tant la façon dont la valeur d'acquisition de l'immeuble est calculée, mais bien le prix effectivement payé en 2002 à la société immobilière pour obtenir la propriété sur les deux lots en cause. Le recourant part de la prémisse erronée que le prix d'acquisition doit être fixé en tenant compte d'une acquisition en 1987, alors que, comme on l'a vu précédemment, l'année d'acquisition est 2002.
6.5. Sur le vu des considérants qui précèdent, il faut donc retenir que le gain immobilier se monte à 1'421'826 fr. 65 (1'800'000 fr. de prix de vente, moins 319'853 fr. 35 de prix d'acquisition, moins 58'320 fr. de commission de courtage non contestée) et que la durée de possession du bien, pour l'ensemble de celui-ci (la part du recourant et la part de son frère, acquise par le recourant), se situe entre dix et onze ans (acquisition le 26 février 2002 et vente le 28 février 2012), ce qui entraîne une imposition de 14 % (art. 72 al. 3 LI/VD) et, par conséquent, un impôt de 199'052 fr., tel que confirmé par le Tribunal cantonal. Le recours est ainsi mal fondé et doit être rejeté, dans la mesure où il est recevable.
7.
Succombant, le recourant doit supporter les frais judiciaires (art. 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué à la représentante du recourant, à l'Administration cantonale des impôts et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 19 janvier 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette