Faits :
A.
A.a. E._, viticulteur retraité, est propriétaire des parcelles n os **, ***, ***, ***, ***, ***, ***, *** et *** de la Commune de F._ constituant le domaine D._. Depuis 1997, l'entreprise viticole est affermée.
Par décision du 17 mars 2006, la Commission foncière rurale, Section I (ci-après: la Commission foncière), a octroyé l'autorisation de partage et d'acquérir les parcelles n os **, ***, ***, ***, *** et ***, qui constituaient une entreprise agricole, à la société D._ SA.
A.b. Le 15 juin 2006, E._, d'une part, ainsi que H._ (qui ne possède pas de lien de parenté avec E._) et I._, d'autre part, ont signé une "convention sous seing privé", libellée comme suit:
"I. Préambule
D._ à F._ est propriété de M. E._. Le domaine a été remis en location à la famille J._ pour un loyer annuel nominal de CHF 60'000.-. Le bail a été signé le 01.11.1997 et arrive à échéance le 01.11.2013.
La famille J._ a contesté le prix du fermage auprès des instances en matière d'affermage et le cas est actuellement pendant auprès du Tribunal administratif. De ce fait, M. E._ désire privilégier une solution de transfert de son patrimoine d'exploitation tout en se ménageant le versement d'une rente annuelle de CHF 50'000.-. Cette rente sera diminuée de moitié en cas de décès de l'un ou l'autre des deux époux.
Le schéma de donation exposé ci-après fait suite à une note de séance dans laquelle M. K._, secrétaire des commissions d'affermage/foncière 1/foncière 2 explicite le moyen légal de transférer un patrimoine viticole ou agricole à un non-exploitant sans être soumis à une parution LDFR. [...]
M. E._ a procédé par apport en nature en date du 16 juin 2006 au transfert des parcelles suivantes à la société qu'il détient, D._ SA: parcelle n° **, parcelle n° ***, parcelle n° ***, parcelle n° ***, parcelle n° ***, parcelle n° ***, toutes situées sur la commune de F._. [...].
La structure du capital-actions du D._ SA est ainsi la suivante:
M. E._: 98 actions.
M. H._: 1 action.
M. I._: 1 action.
II. Convention:
Vu le préambule, les parties conviennent de ce qui suit:
1. M.E._ fait donation de 48 actions à M. H._ et 48 actions à M. I._, qui acceptent cette donation.
2. D._ SA s'engage par la présente convention à servir M. E._ et à son épouse une rente de Fr. 50'000.- par an. Dès le décès de l'un ou l'autre des époux, la rente est réduite de moitié [...]
4. M.E._ s'engage à donner les 2 actions restantes d'ici au 31 décembre 2008, sans compensation [...]."
La société D._ SA a été constituée le 16 juin 2006 et inscrite au registre du commerce le 23 juin suivant. Le transfert de la propriété des parcelles en cause à la société a été opéré en date du 21 août 2006.
A.c. Le 29 octobre 2015, la fille de E._, désignée pour l'assister et le représenter (mandat pour cause d'inaptitude), a fait savoir à la Commission foncière que son père n'avait jamais été titulaire de 98% du capital-actions de D._ SA mais seulement de 2% au jour de sa constitution; l'opération de transfert ne pouvait ainsi pas être qualifiée de "vente à soi-même".
La Commission foncière a, par décision du 8 avril 2016, révoqué sa décision d'autorisation d'acquérir du 17 mars 2006 au motif qu'elle avait été obtenue sur la base de fausses indications au sens de l'art. 71 al. 1 de la loi fédérale du 4 octobre 1991 sur le droit foncier rural (LDFR ou la loi sur le droit foncier rural; RS 211.412.11); elle a également requis la rectification du registre foncier de Nyon en ce sens qu'elle ordonnait au conservateur de réinscrire au chapitre de E._ les parcelles n os **, ***, ***, ***, *** et *** de la Commune de F._; finalement, elle a déclaré que le transfert d'actions opéré par E._ en faveur de H._ et I._ et portant sur un total de 98 actions de D._ SA était nul car non conforme à la loi sur le droit foncier rural.
Le 13 mai 2016, D._ SA a attaqué la décision du 8 avril 2016 de la Commission foncière devant la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). Dans sa réponse du 27 juin 2016, E._ a conclu au rejet du recours; il est décédé le 1er octobre 2016; ses trois héritiers, à savoir A._, B._ et C._, ont accepté la succession et ont continué la procédure.
B.
Par arrêt du 13 novembre 2019, le Tribunal cantonal a admis le recours de D._ SA et annulé la décision du 8 avril 2016 de la Commission foncière. Il a en substance jugé qu'il s'agissait de toute façon d'une vente à une personne qui n'était pas un exploitant personnel, que l'acquéreur ait été feu E._ ou la société. Il a également considéré que l'autorisation d'acquérir du 17 mars 2006 (qui n'était pas motivée) avait été octroyée par la Commission foncière sur la base du motif de l'<ref-law>, à savoir le maintien de l'affermage d'une entreprise affermée en totalité depuis longtemps, invoqué dans la requête d'autorisation d'acquérir; aucune fausse indication au sens de l'<ref-law> permettant la révocation de l'autorisation n'avait été fournie; dans ce contexte, l'absence d'information quant à la répartition définitive des actions de la société dans ces deux documents ne pouvait être assimilée à des fausses indications.
C.
Agissant par la voie du recours en matière de droit public, A._, B._ et C._ demandent au Tribunal fédéral, sous suite de frais et dépens, de réformer l'arrêt du 13 novembre 2019 du Tribunal cantonal et de confirmer la décision du 8 avril 2016 de la Commission foncière, subsidiairement, de renvoyer la cause pour nouvelle décision dans le sens des considérants audit tribunal.
D._ SA conclut, sous suite de frais et dépens, au rejet du recours. La Commission foncière se réfère à sa décision du 8 avril 2016 et le Tribunal cantonal aux considérants de son arrêt. L'Office fédéral de l'agriculture, ainsi que celui de la justice ont renoncé à déposer des observations.
Par ordonnance du 22 janvier 2020, le Président de la IIe Cour de droit public a rejeté les requêtes d'effet suspensif et de mesures provisionnelles.
Les parties se sont encore prononcées par écriture du 20 février 2020 pour A._, B._ et C._ et du 28 février 2020 pour D._ SA.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-law>; <ref-ruling> consid. 1 p. 186; <ref-ruling> consid. 1 p. 358).
1.1. Selon l'<ref-law>, a qualité pour former un recours en matière de droit public quiconque a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire (let. a), est particulièrement atteint par la décision ou l'acte normatif attaqué (let. b) et a un intérêt digne de protection à son annulation ou à sa modification (let. c).
1.2. La loi sur le droit foncier rural contient une disposition qui définit le cercle des personnes ayant qualité pour interjeter un recours au niveau cantonal. L'<ref-law> prévoit:
"Les parties contractantes peuvent interjeter un recours devant l'autorité cantonale de recours (art. 88) contre le refus d'autorisation, l'autorité cantonale de surveillance, le fermier et les titulaires du droit d'emption, du droit de préemption ou du droit à l'attribution, contre l'octroi de l'autorisation."
L'<ref-law> constitue une lex specialis par rapport à la clause générale relative à la qualité pour recourir devant le Tribunal fédéral que représente l'<ref-law>. En adoptant l'<ref-law>, le législateur fédéral a délibérément cherché à limiter le cercle des personnes qui peuvent recourir contre l'octroi d'une autorisation d'acquérir; en particulier, il a exclu de ce cercle les voisins, les organisations de protection de la nature et de l'environnement, ainsi que les organisations professionnelles comme les associations paysannes. La ratio legis de ce choix est que les décisions prises en application de la loi sur le droit foncier rural produisant des effets formateurs sur les rapports de droit privé, elles ne doivent pas pouvoir être attaquées par un tiers quelconque; l'intérêt public associé à l'exigence de l'autorisation devrait être protégé par les autorités et non par des tiers. Cette réglementation particulière vise uniquement à restreindre la qualité pour recourir, mais pas à passer outre l'exigence générale selon laquelle seules les personnes qui ont un intérêt pratique digne de protection peuvent former un recours (<ref-ruling> consid. 2.3 p. 331; <ref-ruling> consid. 5.2.1 p. et les arrêts cités). Il a déjà été jugé que le vendeur n'a pas la qualité pour recourir, en application de l'<ref-law>, contre l'octroi d'une autorisation d'acquérir lorsque le contrat de vente portant sur un immeuble ou une entreprise agricole a été approuvé tel quel par l'autorité compétente (ATF <ref-ruling> consid. 5.2.2 p. 237; <ref-ruling> consid. 1d p. 277; arrêt 2C_465/2012 du 29 octobre 2012 consid. 2.6), celui-ci n'ayant pas d'intérêt protégé à ce faire. Dès lors, on ne saurait pas non plus reconnaître au vendeur, dans cette configuration, la qualité pour recourir fondée sur l'art. 89 al. 1 let. c LTF.
1.3. En l'espèce, feu E._, dans le cadre de la "convention sous seing privé" du 15 juin 2006, a transféré différents immeubles agricoles à la société D._ SA; sur la base de cet acte, la Commission foncière a octroyé l'autorisation d'acquérir les parcelles concernées à la société par décision du 17 mars 2006. Puis, en date du 8 avril 2016, ladite commission a révoqué cette autorisation en estimant qu'elle avait été obtenue en fournissant de fausses informations. Cette décision a elle-même été annulée par le Tribunal cantonal dans l'arrêt attaqué du 13 novembre 2019.
La révocation de l'autorisation d'acquérir les parcelles litigieuses du 8 avril 2016 constitue l'objet de la contestation. Feu E._, en tant que vendeur, à l'origine, de ces biens-fonds, ne possédait pas la qualité pour recourir au regard des <ref-law> et 89 al. 1 let. c LTF et de la jurisprudence susmentionnée. Cela a pour conséquence que les héritiers du vendeur, c'est-à-dire les recourants 1, 2 et 3 n'en bénéficient pas non plus pour s'en prendre à la révocation de cette autorisation.
2.
Il découle de ce qui précède que le recours est irrecevable.
Succombant, les recourants doivent supporter les frais judiciaires solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des recourants solidairement entre eux.
3.
Le présent arrêt est communiqué au mandataire des recourants et à celui de D._ SA, à la Commission foncière rurale, Section I, et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Office fédéral de la justice et à celui de l'agriculture.
Lausanne, le 25 mars 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Jolidon