Faits :
A.
AA._ et BA._ sont mariés et ont deux enfants. AA._ a exploité, jusqu'en 2011, une exploitation agricole en raison individuelle. Dans le courant du mois de juin 2011, il a fondé une société anonyme, dont la raison sociale était C._ (actuellement D._SA). Cette société était dotée d'un capital-actions de 100'000 fr. entièrement détenu par AA._. Le capital a été constitué par un apport en nature, en l'occurrence par la reprise des actifs et des passifs de l'entreprise individuelle. AA._ était administrateur de cette société avec signature individuelle et son fils en était le directeur, également avec signature individuelle. Par décision du 2 juillet 2015, l'Office d'impôt compétent a taxé le bénéfice de liquidation de la raison individuelle, en relation avec la période fiscale 2011, retenant une prestation imposable de 97'200 fr. provenant de la prévoyance en ce qui concerne les impôts cantonal et communal (ci-après: ICC) et une prestation imposable nulle quant à l'impôt fédéral direct (ci-après: IFD).
Le 7 mars 2013, les époux A._ d'une part et leurs enfants d'autre part ont conclu un pacte successoral prévoyant notamment, à son article cinquième, que "C._SA (anciennement l'entreprise individuelle AA._), société détenue à ce jour à 100% par AA._, sera vendue le 30 juin 2016 par contrat séparé rédigé ultérieurement à E._SA pour un prix de 3'351'817.--. Ce prix correspond à la valeur vénale admise par les cohéritiers. Le décompte du prix précité, tenant compte des montants à charge de A._, figure en annexe 2 du présent pacte successoral pour en faire partie intégrante". Cette annexe détaillait le prix de vente de la totalité des actions de la société C._SA, notamment par la reprise d'une dette et le remboursement d'un emprunt. Les autres dispositions du pacte successoral prévoyaient différents cas de figure, tels que le prédécès de AA._ respectivement des deux époux A._ (article douzième) ou le divorce de ceux-ci avant la date de la vente (article quatorzième).
Le 28 juin 2016, AA._ et son fils ont conclu un contrat de vente portant sur l'intégralité des actions de la société C._SA. Le prix de vente a été fixé à 1'730'817 fr., c'est-à-dire le prix d'acquisition de 3'351'817 fr. prévu dans le pacte successoral, moins une reprise de dette de 685'000 fr., moins une part d'un dividende distribué par la société au vendeur en 2016 de 936'000 fr.
B.
Par décisions du 9 mars 2018 adressées aux époux A._, l'Office d'impôt compétent a procédé à un rappel d'impôt de la période fiscale 2011 en relation avec la taxation du bénéfice de liquidation, retenant un revenu imposable de 2'082'400 fr., dont 326'900 fr. imposables à titre de rachat fictif. Les compléments d'impôts dus s'élevaient ainsi à 320'262 fr. 50 pour l'ICC, à 167'341 fr. 20 pour l'IFD et à 26'483 fr. pour l'ICC en relation avec l'imposition des prestations en capital provenant de la prévoyance. Le 6 avril 2018, AA._ et BA._ ont formé une réclamation à l'encontre de ces décisions. Par décision sur réclamation du 21 août 2018, l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) a rejeté la réclamation et confirmé les décisions du 9 mars 2018. Les époux A._ ont contesté ce prononcé le 20 septembre 2018 auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) qui, par arrêt du 27 février 2020, a admis le recours et annulé la décision sur réclamation du 21 août 2018.
C.
Agissant par la voie du recours en matière de droit public, l'Administration cantonale demande au Tribunal fédéral, sous suite de frais, d'annuler l'arrêt du Tribunal cantonal du 27 février 2020 et de confirmer les décisions de rappel d'impôt du 9 mars 2018.
Le Tribunal cantonal se réfère à son arrêt. AA._ et BA._ concluent au rejet du recours. L'Administration fédérale des contributions conclut pour sa part à son admission.

Considérant en droit :
1.
Le recours est dirigé contre une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) ne tombant pas sous le coup de l'une des exceptions prévues à l'<ref-law>. Il est donc en principe recevable comme recours en matière de droit public s'agissant des deux catégories d'impôts (cf. <ref-law> [RS 642.11], art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]; <ref-ruling> consid. 1.3 p. 188 s.). Le recours a en outre été déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par l'Administration cantonale qui a qualité pour recourir en application du droit fédéral (cf. <ref-law>, 73 al. 2 LHID et 89 al. 2 let. d LTF), de sorte qu'il convient d'entrer en matière.
2.
Dans un premier grief, citant l'<ref-law>, l'autorité recourante se plaint d'un établissement inexact des faits.
2.1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6 p. 358). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 6.3 p. 375). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
2.2. Selon la recourante, le Tribunal cantonal aurait dû tenir compte de toutes les clauses du pacte successoral conclu entre les intimés et leurs enfants. Elle est d'avis que c'est de manière arbitraire que cette autorité s'est limitée à en examiner l'article cinquième et a jugé que cet article constituait une clause unilatérale, alors que l'article seizième du pacte confirmait qu'il s'agissait d'une clause contractuelle qui ne pouvait être modifiée ou annulée que d'un commun accord. Pour la recourante, les dispositions prévues à l'article cinquième constituaient donc bel et bien une vente et pas uniquement une promesse de conclure un contrat. Elle mentionne finalement que, même à retenir une promesse de vente, le Tribunal cantonal aurait dû constater que cet article cinquième fixait l'objet vendu et son prix, de sorte qu'il contenait tous les éléments essentiels du contrat de vente.
2.3. La recourante ne saurait toutefois être suivie. Il convient en effet de retenir que le Tribunal cantonal n'a certes pas présenté l'entier des articles du pacte successoral en cause. Toutefois, les conclusions juridiques qu'il en tire, c'est-à-dire savoir s'il s'agit d'un contrat de vente, d'une promesse de vente ou autre, ne relèvent pas d'une question de fait, mais de l'application du droit. Si le Tribunal cantonal n'a pas cité l'article seizième du pacte successoral, la recourante n'explique toutefois pas à suffisance en quoi cette omission serait arbitraire quant à l'établissement des faits, dans la mesure où il n'est pas contesté que, faisant partie d'un pacte successoral, l'article cinquième est incontestablement une clause contractuelle. Pour le surplus, contrairement à ce qu'affirme la recourante, le Tribunal cantonal a bel et bien mentionné les articles douzième et quatorzième du pacte successoral.
2.4. Le grief d'établissement inexact des faits doit par conséquent être écarté et le Tribunal fédéral appliquera le droit sur la seule base des faits retenus par l'autorité précédente.
I. Impôt fédéral direct
3.
3.1. A teneur de l'<ref-law>, l'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques. L'<ref-law> prévoit néanmoins que les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée ne sont pas imposables (cf. <ref-ruling> consid. 2.2.1 p. 99 et les références). L'<ref-law> dispose en particulier que sont imposables tous les revenus provenant de l'exploitation d'une entreprise commerciale, industrielle, artisanale, agricole ou sylvicole, de l'exercice d'une profession libérale ou de toute autre activité lucrative indépendante. Constituent notamment de tels revenus, tous les bénéfices en capital provenant de l'aliénation, de la réalisation ou de la réévaluation comptable d'éléments de la fortune commerciale (<ref-law>).
A teneur de l'<ref-law> les réserves latentes d'une entreprise de personnes (entreprise individuelle, société de personnes) ne sont pas imposées lors de restructurations, notamment lors d'une fusion, d'une scission ou d'une transformation, pour autant que cette entreprise reste assujettie à l'impôt en Suisse et que les éléments commerciaux soient repris à leur dernière valeur déterminante pour l' impôt sur le revenu en cas de transfert d'une exploitation ou d'une partie distincte d'exploitation à une personne morale (cf. <ref-ruling> consid. 2.1 p. 287 et les références). Cependant, lors d'une restructuration au sens de l'<ref-law>, l'<ref-law> prévoit que les réserves latentes transférées font l'objet d'un rappel d'impôt selon la procédure prévue aux art. 151 à 153 LIFD, dans la mesure où, dans les cinq ans suivant la restructuration, des droits de participation ou des droits de sociétariat sont aliénés à un prix supérieur à la valeur fiscalement déterminante du capital propre transféré.
Ainsi, une transformation d'une société de personnes en personne morale intervient en neutralité fiscale (d'un point de vue du droit civil, il s'agit plus précisément d'un apport en nature dans la société anonyme au sens de l'<ref-law>; cf. arrêt 2C_1019/2012 du 7 août 2013 consid. 2.2 et les références), lorsque, outre le maintien de l'assujettissement en Suisse, les titres reçus par l'actionnaire participant à cette transformation sont comptabilisés à la même valeur comptable que ceux détenus précédemment (<ref-ruling> consid. 2.1 p. 286; OBERSON/GLAUSER, in Commentaire romand, Impôt fédéral direct, Noël/Aubry Girardin [éd.], 2e éd. 2017, n. 41 ad <ref-law>; REICH/VON AH, in Kommentar zum schweizerischen Steuerrecht, Bundesgestz über die direkte Bundessteuer, Zweifel/Beusch [éd.], 3e éd. 2017, n. 51 ad <ref-law>). Ce n'est que si, dans les cinq ans qui suivent la restructuration, des droits de participation ou des droits de sociétariat sont aliénés à un prix supérieur au capital propre imposable qu'il est procédé à un rappel d'impôt des réserves latentes (<ref-ruling> consid. 2.1 p. 286). A propos de l'<ref-law>, le Conseil fédéral, dans son message du 13 juin 2000 concernant la loi fédérale sur la fusion, la scission, la transformation et le transfert de patrimoine (FF 2000 3995), retient qu'il "est communément admis que les rapports de participation doivent rester les mêmes durant cinq ans, que ce soit à la suite de la reprise d'une société de personnes par une société de capitaux ou de la transformation d'une société de personnes en société de capitaux. On admet également que le transfert gratuit des droits de participation ou des droits de sociétariat (p. ex. par dévolution, par avancement d'hoirie ou par donation) n'est pas imposable" (FF 2000 3995 p. 4027). S'agissant du délai de blocage, il mentionne que celui-ci "se fonde sur la nouvelle jurisprudence du Tribunal fédéral, selon laquelle la fixation du délai de blocage ne doit pas répondre à des préoccupations concernant l'évasion fiscale mais que ce délai doit être basé sur "un concept légal de réalisation" ou un "concept de différenciation". Lorsqu'une société de personnes est transformée en société de capitaux, le report de l'impôt suppose que l'entrepreneur reste engagé dans l'entreprise. Si ce n'est pas le cas, voire s'il vend ses actions après peu de temps, il réalise alors les réserves latentes de l'ancienne société de personnes, ce qui est suffisant pour procéder à l'imposition. Il n'est pas nécessaire qu'une intention d'éluder l'impôt soit avérée" (FF 2000 3995 p. 4027 s.). Selon le Tribunal fédéral, il est question d'aliénation lorsque l'ayant droit se dessaisi d'une valeur patrimoniale en faveur d'un tiers en échange d'une rétribution (arrêt 2C_1019/2012 du 7 août 2013 consid. 2.2 et les références). Pour une partie de la doctrine, il faut encore en plus que cette rétribution soit librement disponible (PETER LOCHER, Steuerrechtliche Folgen des Fusionsgesetzes im Recht der direkten Steuern, in Archives 71 p. 676 s. et les références; cf. également OBERSON/GLAUSER, op. cit., n. 11 ad <ref-law>).
3.2. En l'occurrence, il ressort de l'arrêt entrepris que l'intimé a transformé son entreprise individuelle en société anonyme en juin 2011 et que le capital de cette nouvelle société a été constitué par une reprise des actifs (5'640'196 fr. 40) et des passifs (5'537'124 fr. 10) de la raison individuelle. Par la suite, le 7 mars 2013, les intimés ont conclu un pacte successoral avec leurs deux enfants. Celui-ci stipulait en particulier que la société nouvellement créée et dont les actions étaient entièrement détenues par l'intimé, serait vendue le 30 juin 2016 par contrat séparé à une société tierce pour un prix déterminé de 3'351'817 fr., correspondant à la valeur vénale admise par les héritiers. Le 28 juin 2016, l'intimé et son fils ont procédé à la vente de la société au prix convenu dans le pacte successoral. Il ressort également de l'arrêt entrepris que, jusqu'en 2016 et la conclusion du contrat de vente, l'intimé a continué de percevoir les dividendes versés par sa société, dont il avait conservé le statut d'administrateur unique.
3.3. L'autorité recourante est d'avis que le contribuable ne peut pas différer à sa guise le moment de la réalisation du revenu. Elle estime que le terme d'exécution dont un contrat peut être assorti ne met pas en échec la réalisation du revenu. Fondée sur ces considérations, elle en déduit que c'est au moment de la conclusion du pacte successoral que les réserves latentes de la société ont été transférées, quand bien même la propriété des actions n'a pas fait l'objet d'une cession. Elle ajoute que le critère de la diminution du patrimoine invoqué par l'autorité précédente n'est d'aucun secours dans l'analyse de la notion d'aliénation contenue à l'<ref-law>.
3.4. En premier lieu, et ce n'est contesté par aucune des parties, il convient de retenir qu'en juin 2011 (inscription au registre du commerce du canton de Vaud le 21 juin 2011), l'intimé a transformé sa raison individuelle en société anonyme et que celle-ci est restée assujettie en Suisse. Cette transformation, c'est-à-dire le transfert de l'entier des actifs et des passifs dans la société anonyme nouvellement créée, en application de l'<ref-law>, n'entraîne donc en principe pas d'imposition des réserves latentes de la raison individuelle, malgré l'<ref-law>.
En l'occurrence, seule se pose en définitive la question du respect du délai de cinq ans, prévu à l'<ref-law>. C'est plus particulièrement le point de savoir si l'aliénation des actions par l'intimé est intervenue lors de la conclusion du pacte successoral le 7 mars 2013, c'est-à-dire, comme le soutient la recourante, avant l'échéance du délai de cinq ans, ou lors de la conclusion du contrat de vente avec son fils le 28 juin 2016, juste après l'échéance de ce délai, comme l'a jugé le Tribunal cantonal.
3.5. On rappellera tout d'abord que, pour admettre une aliénation, il faut que le contribuable se dessaisisse de ses actions en échange d'une rétribution (cf. arrêt 2C_1019/2012 du 7 août 2013 consid. 2.2 et les références; REICH/VON AH, op. cit., n. 70 ad <ref-law>) et qu'il n'y a pas d'aliénation lorsque l'actionnaire reste en possession de ses droits de participation et engagé dans l'entreprise (FF 2000 3995 p. 4027 s.). Or, dans le cas d'espèce, il ressort de l'arrêt entrepris que l'intimé est resté propriétaire de ses actions jusqu'en juin 2016. Il a d'ailleurs régulièrement perçu les dividendes versés par la société à son actionnaire. De plus, l'intimé a également gardé son statut d'administrateur avec signature individuelle dans la société. Cela signifie qu'à la date de la conclusion du pacte successoral, en 2013, l'intimé ne s'était ni dessaisi de ses actions, ni n'avait perçu de rétribution pour celles-ci. On doit ainsi retenir avec l'autorité précédente que la conclusion du pacte successoral ne remplit pas les conditions posées par l'<ref-law> à l'aliénation. On ajoutera au demeurant, à l'instar de l'autorité précédente, que l'article cinquième du pacte successoral ne liait que l'intimé et en rien le fils de celui-ci. D'ailleurs, le Tribunal cantonal a justement mentionné à ce propos que le pacte successoral prévoyait la vente à une société tierce, alors qu'elle a finalement été conclue directement avec le fils. En outre, en fixant le prix de vente des actions dans un pacte successoral, on comprend aisément que l'intimé désirait régler sa succession, c'est-à-dire déterminer le prix de la société, afin que ses enfants, qui étaient parties à l'accord et qui ont de ce fait tous deux accepté la valeur de la société, puissent, par la suite, procéder plus facilement à un partage de cette succession. Le fait qu'il y soit expressément prévu que "ce prix correspond à la valeur vénale admise par les cohéritiers" tend à le démontrer. On ne voit ainsi pas en quoi la conclusion du pacte successoral constituerait une aliénation des participations dans la société. La recourante se limite en définitive à relever que le fils de l'intimé était directeur de la société, avec signature individuelle. Cela n'enlève toutefois rien au fait que l'intimé demeurait propriétaire de ses actions, qu'il n'avait reçu aucune rétribution de la part de son fils et qu'il avait maintenu sa position dominante dans la société. On ajoutera finalement qu'il n'est pas nécessaire d'examiner si les intimés remplissent les conditions posées à l'évasion fiscale, dans la mesure où l'exigence du délai de cinq ans est purement objective (cf. arrêt 2C_687/2014 du 28 août 2015 consid. 3.5; OBERSON/GLAUSER, op. cit., n. 32 ad <ref-law>). Il n'est pas non plus question d'acte simulé (<ref-law>; cf. arrêt 2C_681/2018 du 16 janvier 2020 consid. 7.4.1 et les références), puisque l'intimé a maintenu sa position d'actionnaire unique jusqu'à la vente des actions en 2016. Compte tenu de ce qui précède, il n'est pas nécessaire d'examiner le critère de la diminution du patrimoine de l'intimé, soulevé par la recourante, les faits démontrant que ce patrimoine n'a pas diminué avant 2016 et la vente des actions.
3.6. Compte tenu des éléments qui précèdent, le recours doit être rejeté en tant qu'il concerne l'impôt fédéral direct.
II. Impôts cantonal et communal
4.
Dès lors que les dispositions légales applicables en matière d'ICC ont un contenu identique à l'<ref-law> (cf. <ref-law>; art. 22 de la loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux [LI/VD; BLV 642.11]), il convient de se référer de manière générale aux développements qui précèdent, relatifs à l'IFD. Partant, le recours devra également être rejeté en tant qu'il a trait aux impôts cantonal et communal.
5.
Les considérants qui précèdent conduisent au rejet du recours tant en matière d'IFD que des ICC. Les frais judiciaires seront supportés par le canton de Vaud, dès lors que l'autorité recourante succombe et défend un intérêt patrimonial (cf. art. 66 al. 1 et 4 LTF; <ref-ruling> consid. 8.1.3 p. 40 s.). Les intimés, qui obtiennent gain de cause avec l'aide d'un représentant, ont droit à une indemnité de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté en tant qu'il concerne l'impôt fédéral direct.
2.
Le recours est rejeté en tant qu'il concerne les impôts cantonal et communal.
3.
Les frais judiciaires, arrêtés à 8'000 fr., sont mis à la charge du canton de Vaud.
4.
Le canton de Vaud versera aux intimés la somme de 5'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
5.
Le présent arrêt est communiqué à la recourante, à la représentante des intimés, à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud et à l'Administration fédérale des contributions.
Lausanne, le 10 novembre 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette