Faits : A. AA._ et BA._ sont mariés et ont deux enfants. AA._ a exploité, jusqu'en 2011, une exploitation agricole en raison individuelle. Dans le courant du mois de juin 2011, il a fondé une société anonyme, dont la raison sociale était C._ (actuellement D._SA). Cette société était dotée d'un capital-actions de 100'000 fr. entièrement détenu par AA._. Le capital a été constitué par un apport en nature, en l'occurrence par la reprise des actifs et des passifs de l'entreprise individuelle. AA._ était administrateur de cette société avec signature individuelle et son fils en était le directeur, également avec signature individuelle. Par décision du 2 juillet 2015, l'Office d'impôt compétent a taxé le bénéfice de liquidation de la raison individuelle, en relation avec la période fiscale 2011, retenant une prestation imposable de 97'200 fr. provenant de la prévoyance en ce qui concerne les impôts cantonal et communal (ci-après: ICC) et une prestation imposable nulle quant à l'impôt fédéral direct (ci-après: IFD). Le 7 mars 2013, les époux A._ d'une part et leurs enfants d'autre part ont conclu un pacte successoral prévoyant notamment, à son article cinquième, que "C._SA (anciennement l'entreprise individuelle AA._), société détenue à ce jour à 100% par AA._, sera vendue le 30 juin 2016 par contrat séparé rédigé ultérieurement à E._SA pour un prix de 3'351'817.--. Ce prix correspond à la valeur vénale admise par les cohéritiers. Le décompte du prix précité, tenant compte des montants à charge de A._, figure en annexe 2 du présent pacte successoral pour en faire partie intégrante". Cette annexe détaillait le prix de vente de la totalité des actions de la société C._SA, notamment par la reprise d'une dette et le remboursement d'un emprunt. Les autres dispositions du pacte successoral prévoyaient différents cas de figure, tels que le prédécès de AA._ respectivement des deux époux A._ (article douzième) ou le divorce de ceux-ci avant la date de la vente (article quatorzième). Le 28 juin 2016, AA._ et son fils ont conclu un contrat de vente portant sur l'intégralité des actions de la société C._SA. Le prix de vente a été fixé à 1'730'817 fr., c'est-à-dire le prix d'acquisition de 3'351'817 fr. prévu dans le pacte successoral, moins une reprise de dette de 685'000 fr., moins une part d'un dividende distribué par la société au vendeur en 2016 de 936'000 fr. B. Par décisions du 9 mars 2018 adressées aux époux A._, l'Office d'impôt compétent a procédé à un rappel d'impôt de la période fiscale 2011 en relation avec la taxation du bénéfice de liquidation, retenant un revenu imposable de 2'082'400 fr., dont 326'900 fr. imposables à titre de rachat fictif. Les compléments d'impôts dus s'élevaient ainsi à 320'262 fr. 50 pour l'ICC, à 167'341 fr. 20 pour l'IFD et à 26'483 fr. pour l'ICC en relation avec l'imposition des prestations en capital provenant de la prévoyance. Le 6 avril 2018, AA._ et BA._ ont formé une réclamation à l'encontre de ces décisions. Par décision sur réclamation du 21 août 2018, l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) a rejeté la réclamation et confirmé les décisions du 9 mars 2018. Les époux A._ ont contesté ce prononcé le 20 septembre 2018 auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) qui, par arrêt du 27 février 2020, a admis le recours et annulé la décision sur réclamation du 21 août 2018. C. Agissant par la voie du recours en matière de droit public, l'Administration cantonale demande au Tribunal fédéral, sous suite de frais, d'annuler l'arrêt du Tribunal cantonal du 27 février 2020 et de confirmer les décisions de rappel d'impôt du 9 mars 2018. Le Tribunal cantonal se réfère à son arrêt. AA._ et BA._ concluent au rejet du recours. L'Administration fédérale des contributions conclut pour sa part à son admission.