Faits :
A.
A.a. Y._ est propriétaire de nombreuses parcelles agricoles à A._ et à B._. Elle y possède notamment la parcelle n° ****. Ce bien-fonds comprend une surface de **** m2, soit **** m2 en nature de vignes, *** m2 en nature de jardin, *** m2 en nature d'accès, place privée, et *** m2 en nature de bâtiments, à savoir une habitation de *** m2 et un bâtiment de ** m2. La parcelle n° **** est entièrement en zone à bâtir.
Par formulaires et lettre du 27 juin 2012, le notaire mandaté par Y._ a demandé aux autorités compétentes, d'une part, une autorisation de morcellement de la parcelle n° **** en application de l'art. 112 de la loi fédérale du 29 novembre 1961 sur les améliorations foncières (LAF; RSV 913.11) et, d'autre part, une autorisation de partage matériel (art. 60 de la loi fédérale du 4 octobre 1992 sur le droit foncier rural [LDFR ou la loi sur le droit foncier rural; RS 211.412.11]) au cas où ce fractionnement nécessiterait une telle autorisation.
Ces demandes soulignent que Y._, retraitée, logeait dans le bâtiment d'habitation sis sur la parcelle n° **** et que ce bâtiment abritait encore des équipements viti-vinicoles servant à l'exploitation d'une surface de vigne. Le mari de la propriétaire, X._, exploitait pour le moment cette surface et utilisait les locaux. Les époux étaient en "instance de séparation". La propriétaire souhaitait vendre une partie de la parcelle qui se prêtait bien à la construction et qui n'était pas nécessaire à l'exploitation viticole. Aussi entendait-elle fractionner la parcelle n° **** en une parcelle n° **** nouvel état de **** m2 avec les bâtiments existants et une nouvelle parcelle n° **** de **** m2 sans bâtiment.
A.b. Par décision du 13 juillet 2012, la Section I de la Commission foncière rurale du canton de Vaud (ci-après: la Commission foncière) a constaté que la fraction de **** m2 à détacher de la parcelle n° **** de A._ ne serait pas soumise à la loi sur le droit foncier rural dès le morcellement de ce bien-fonds réalisé, l'aval du Service du développement territorial du canton de Vaud quant à cette opération étant réservé.
Le département compétent a accordé l'autorisation de fractionnement le 17 août 2012.
Par courrier du 29 octobre 2013 adressé à Me C._, mandataire de Y._, X._ a déclaré ce qui suit:
"Parcelle à bâtir **** commune de A._/VD
Monsieur,
En qualité de fermier de la parcelle susmentionnée, je résilie le bail à ferme pour le 1er novembre 2013. (...) "
Le 18 décembre 2013, X._ a formé recours contre la décision du 13 juillet 2012 de la Commission foncière.
B.
Par arrêt du 28 mai 2014, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours de X._ à l'encontre de la décision de la Commission foncière du 13 juillet 2012 et l'a confirmée. Elle a laissé la question de la recevabilité ouverte. Elle a également laissé ouvert, sur le fond, le point de savoir si la parcelle n° **** ancien état et les locaux servant à l'exploitation viti-vinicole qu'elle supporte formaient une entreprise agricole ou non: dans un cas comme dans l'autre, le fractionnement de la parcelle n° **** ancien état ne contrevenait pas à la loi sur le droit foncier rural.
C.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, de réformer l'arrêt du 28 mai 2014 du Tribunal cantonal en ce sens que la parcelle de **** m2 à détacher de la parcelle n° **** du cadastre de la commune de A._, propriété de Y._, est soumise à la loi sur le droit foncier rural; subsidiairement, d'annuler l'arrêt attaqué et de renvoyer la cause à l'autorité inférieure pour une nouvelle décision dans le sens des considérants.
La Commission foncière conclut au rejet du recours. Le Département de l'économie et du sport du canton de Vaud s'en remet au Tribunal fédéral. Le Tribunal cantonal s'en remet également au Tribunal fédéral quant à la recevabilité du recours et conclut à son rejet sur le fond, tout en se référant aux considérants de son arrêt. L'Office fédéral de la justice a renoncé à déposer des observations. Y._ conclut au rejet du recours dans la mesure où il serait recevable.
X._ et Y._ se sont encore prononcés par écriture du 27 octobre 2014 respectivement du 10 novembre 2014.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 133).
1.1. L'arrêt attaqué, fondé sur le droit public, soit sur la loi sur le droit foncier rural, peut être entrepris par la voie du recours en matière de droit public en vertu de l'<ref-law>, aucune des exceptions de l'<ref-law> n'y faisant obstacle (cf. aussi <ref-law>).
1.2. Aux termes de l'<ref-law>, le recours contre une décision doit être déposé devant le Tribunal fédéral dans les 30 jours qui suivent la notification de l'expédition complète. Selon l'<ref-law>, le délai de recours est observé par la remise du mémoire à La Poste suisse au plus tard le dernier jour du délai. Pour les envois sous pli simple, le sceau de la poste vaut en principe comme preuve de la remise à l'office postal (<ref-ruling> consid. 3b p. 184). Si l'expéditeur fait valoir qu'il a déposé la lettre la veille, il lui appartient de le prouver. La preuve peut être apportée par tous moyens appropriés, en particulier en faisant appel à des témoins (<ref-ruling> consid. 3b p. 375).
L'arrêt attaqué a été notifié au recourant le 29 mai 2014. Le délai pour recourir au Tribunal fédéral arrivait à échéance le 30 juin 2014 à minuit (<ref-law> et 45 LTF). Le sceau postal figurant sur l'enveloppe contenant le recours porte la date du 1er juillet 2014, 22h00, et a été apposé par le centre de courrier d'Eclépens. L'enveloppe comporte une annotation d'un chauffeur de taxi attestant que le courrier a été déposé dans la boîte aux lettres de la Poste de la gare de Lausanne le 30 juin 2014; celui-ci mentionne son numéro de plaque de voiture. En outre, les services de la Poste ont déclaré qu'il était plausible qu'un courrier déposé dans la boîte aux lettres de la Poste de la gare Lausanne après la fermeture des guichets comporte un timbre du centre de courrier d'Eclépens daté du lendemain à 22h00. Cela étant, on peut admettre que le recourant a établi à satisfaction de droit avoir déposé le recours en temps utile.
2.
2.1. Selon l'<ref-law>, a qualité pour former un recours en matière de droit public quiconque a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire (let. a), est particulièrement atteint par la décision ou l'acte normatif attaqué (let. b) et a un intérêt digne de protection à son annulation ou à sa modification (let. c).
L'intérêt digne de protection consiste en l'utilité pratique que l'admission du recours apporterait au recourant en lui évitant de subir un préjudice de nature économique, idéale, matérielle ou autre que la décision attaquée lui occasionnerait (<ref-ruling> consid. 1.2.2 p. 539; <ref-ruling> consid. 2.3 p. 43). L'intérêt doit être direct et concret; en particulier, la personne doit se trouver dans un rapport suffisamment étroit avec la décision. L'intérêt doit également être actuel, c'est-à-dire qu'il doit exister non seulement au moment du dépôt du recours, mais encore au moment où l'arrêt est rendu (<ref-ruling> consid. 4.2 p. 299; <ref-ruling> consid. 2.1 p. 41).
Selon l'art. 42 al. 1 et 2 LTF, il incombe au recourant d'alléguer, sous peine d'irrecevabilité du recours, les faits qu'il considère comme propres à fonder sa qualité pour recourir au Tribunal fédéral, lorsqu'ils ne ressortent pas à l'évidence de l'arrêt attaqué ou du dossier de la cause (<ref-ruling> consid. 1.2 p. 539; <ref-ruling> consid. 1 p. 356).
2.2. La qualité pour recourir de l'intéressé ne ressort ni de l'arrêt attaqué ni du dossier de la cause. Le Tribunal cantonal a d'ailleurs laissé la question de la recevabilité du recours ouverte. En effet, d'après les faits de l'arrêt attaqué, par courrier du 29 octobre 2013 adressé au notaire alors en charge des affaires de Y._, le recourant avait résilié le bail à ferme relatif à la parcelle à bâtir n° **** pour le 1er novembre 2013.
L a résiliation d'un bail, en tant qu'exercice d'un droit formateur, revêt un caractère univoque, inconditionnel et irrévocable (<ref-ruling> consid. 3.3 p. 444; PETER HEINRICH, in Handkommentar zum Schweizer Privatrecht, 2e éd., 2012, n° 2 ad art. 266-266f CO). Dès lors, après sa réception, le congé ne peut pas être révoqué. Le recourant ne conteste pas la résiliation du bail à ferme. Il prétend, cependant, dans son écriture du 10 novembre 2014 devant le Tribunal fédéral, que cette résiliation n'a pas déployé d'effets juridiques, car le notaire en cause n'aurait été chargé que de la vente de la parcelle et non de représenter la propriétaire dans ses rapports de bail à ferme. Outre que Y._ conteste ce point, une telle argumentation ne tient pas: dès lors que celle-ci souhaitait vendre son bien immobilier libre de bail, il va de soi que le notaire chargé de la vente du bien l'était aussi de tous les actes que cette vente impliquait. Au demeurant, la destinataire de la résiliation n'a jamais contesté sa validité.
Si la révocation est irrévocable, les parties peuvent néanmoins convenir d'un nouveau bail (Pra 2014 94 741, 4A_499/2013 consid. 3.2). Le recourant prétend d'ailleurs qu'il aurait continué, après le 1er novembre 2013, d'exploiter les vignes de la parcelle n° **** et que dès lors un "rapport contractuel de fait à tout le moins analogue à un bail à ferme continue de déployer ses effets". Il n'apporte cependant aucun élément qui prouverait ces affirmations. Il ne prétend même pas que la bailleresse aurait eu une attitude faisant inférer qu'elle acceptait de poursuivre, sous une forme ou une autre, une relation de bail avec lui. Au regard des faits de la cause, il est au demeurant fort douteux que tel ait été le cas.
On peut finalement se demander s' il n'est pas contraire aux règles de la bonne foi (<ref-law>) de se prévaloir de la qualité de fermier pour recourir auprès du Tribunal cantonal le 18 décembre 2013, après avoir résilié le contrat de bail à ferme par écrit le 29 octobre 2013, et si un tel comportement ne constitue pas un comportement contradictoire (venire contra factum proprium; cf. sur cette notion <ref-ruling> consid. 4.1 p. 76 et les références citées) que la loi ne protège pas. Au regard du sort du recours, ce point peut demeurer ouvert.
2.3. Compte tenu de ce qui précède, le recourant échoue à démontrer sa qualité pour recourir, celle-ci dépendant de sa qualité de fermier.
3.
Le recours est ainsi irrecevable.
Succombant, le recourant supportera les frais judiciaires (<ref-law>). Y._, qui obtient gain de cause avec l'assistance d'un avocat, a droit à des dépens (art. 68 al. 1 et 2 LTF) à la charge du recourant.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Une indemnité de 2'000 fr., à payer à Y._ à titre de dépens, est mise à la charge du recourant.
4.
Le présent arrêt est communiqué au mandataire du recourant et à celui de Y._, à la Commission foncière rurale, au Département de l'économie et du sport et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Office fédéral de la justice.
Lausanne, le 30 juin 2015
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
La Greffière : Jolidon