Faits :
A.
A.a. La parcelle n° *** du registre foncier, sur le territoire de la commune de B._, appartient en propriété commune à A._, D._, G._ et C._, ainsi que E._ et F._. Cette parcelle, d'une surface de 4'706 m2 et entièrement plantée de vigne, est colloquée en zone de villas, selon un plan des zones et un règlement sur le plan d'extension et la police des constructions datant du 28 avril 1961. Le périmètre dans lequel se situe ledit bien-fonds est délimité par quatre voies publiques (route de H._, chemin de I._, chemin de J._ et chemin des K._). Certains terrains le composant sont bâtis et d'autres (la majorité) sont plantés en vigne.
Une procédure de révision du plan de 1961 est en cours. Avant l'élaboration du nouveau plan général d'affectation, la Municipalité de B._ (ci-après: la Municipalité) avait prévu l'établissement d'une zone réservée pour le secteur du "Centre-Ville". Le plan de cette zone réservée a été mis à l'enquête publique en octobre 2019. Il est prévu d'inclure la plus grande partie du périmètre dans lequel se situe la parcelle en cause dans la zone réservée (selon le projet mis à l'enquête publique: zone réservée type A, à savoir une zone liée à la protection du paysage et des jardins, inconstructible à l'exception de bâtiments d'utilité publique). La zone réservée projetée inclurait une partie de la parcelle n° ***; cette mesure ne serait toutefois pas applicable à une bande de terrain large de 20 m au bord du chemin de I._ (environ 1'200 m2).
A.b. Une procédure civile en partage de la propriété commune opposant A._ aux autres propriétaires de la parcelle n° *** est actuellement pendante devant le Président du Tribunal d'arrondissement de l'Est vaudois.
A.c. Le 14 janvier 2019, A._ a adressé à la Commission foncière rurale, Section I du canton de Vaud (ci-après: la Commission foncière rurale) une requête tendant au constat que la parcelle n° *** est assujettie au droit foncier rural. Dans le cadre de l'instruction, le Service du développement territorial du canton de Vaud a indiqué que ce bien-fonds était colloqué en zone de villas selon le plan général d'affectation de la commune de B._ du 28 avril 1961 et qu'il s'agissait donc de zone à bâtir. Pour sa part, la Municipalité a mentionné son projet de "colloquer en grande partie cette parcelle en zone réservée afin de donner toute latitude à la commune pour déterminer le sort final de cette parcelle dans le cadre du futur plan général d'affectation; la zone longeant le chemin de I._ reste constructible dans le projet actuel".
La Commission foncière rurale a, par décision du 30 août 2019, constaté que la parcelle n° *** n'était pas soumise au droit foncier rural, compte tenu du fait qu'elle était sise en zone de villas, à savoir en zone à bâtir, et que "conformément aux principes de base assurant la sécurité du droit, la Commission ne saurait statuer sur la base d'un potentiel changement futur d'affectation d'une partie de la parcelle en question".
B.
Par arrêt du 28 mai 2020, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours de A._, pour les mêmes motifs. Même si la Municipalité avait prévu de mettre en zone réservée une partie de cette parcelle, ce projet n'avait pas encore été adopté par le conseil communal à la date de la décision attaquée; vérifier si un terrain classé en zone à bâtir selon un plan antérieur à l'entrée en vigueur de la loi fédérale du 22 juin 1979 sur l'aménagement du territoire (loi sur l'aménagement du territoire, LAT; RS 700) relevait de la compétence des autorités chargées de cet aménagement dans une procédure en la matière, de sorte que la Commission foncière rurale n'avait pas à y procéder dans le cadre d'une décision en constatation soumise au droit foncier rural.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, de réformer l'arrêt du 28 mai 2020 du Tribunal cantonal en ce sens que la décision du 30 août 2019 de la Commission foncière est elle-même réformée en ce sens que la parcelle n° *** de la commune de B._ est assujettie au droit foncier rural, de mettre l'émolument judiciaire arrêté à 1'500 fr., ainsi qu'une indemnité de dépens de 5'000 fr. en sa faveur pour la procédure cantonale à la charge du canton de Vaud; subsidiairement, d'annuler l'arrêt attaqué et renvoyer la cause à l'instance précédente pour une nouvelle décision dans le sens des considérants.
D._, G._ et C._, E._, ainsi que F._ concluent, sous suite de frais et dépens, au rejet du recours dans la mesure où il est recevable. Le Tribunal cantonal se réfère aux considérants de son arrêt. La Municipalité de B._, ainsi que la Direction générale de l'agriculture, de la viticulture et des affaires vétérinaires du canton de Vaud s'en remettent à justice. Selon ses observations, l'Office fédéral de l'agriculture tend à considérer que la parcelle en cause est soumise au droit foncier rural. L'Office fédéral du développement territorial a renoncé à se prononcer.
Considérant en droit :
1.
L'art 89 al. 1 let. c LTF prévoit que possède la qualité pour former un recours en matière de droit public quiconque a un intérêt digne de protection à son annulation ou à sa modification.
En l'espèce, le recourant est partie à une procédure de partage de la propriété commune portant sur la parcelle n° ***, procédure qui est actuellement pendante devant l'autorité civile compétente. Dans ce cadre, le recourant prétend que ledit bien-fonds est soumis à la loi fédérale du 4 octobre 1991 sur le droit foncier rural (LDFR ou la loi sur le droit foncier rural; RS 211.412.11), ce qui aurait des conséquences sur ce partage. Par conséquent, l'intéress é réalise la condition susmentionnée, ainsi que celles des let. a et b de cette disposition.
Au surplus, le recours en matière de droit public, déposé en temps utile (art. 100 et 46 al. 1 let. b LTF) et en la forme prévue (art. 42 LTF) à l'encontre d'un arrêt final (90 LTF) rendu par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF), est recevable (art. 82 let. a LTF; cf. également art. 89 LDFR.
2.
Le litige consiste à déterminer si la parcelle n° *** de la commune de B._ tombe dans le champ d'application territorial de la loi sur le droit foncier rural.
3.
Selon le recourant, l'arrêt attaqué viole l'art. 2 al. 1 let. a LDFR. Au regard des objectifs de la loi sur le droit foncier rural consistant à parvenir à une coordination avec les dispositions du droit des constructions et de l'aménagement du territoire, le champ d'application de cette loi serait calqué sur la séparation entre zone à bâtir et "hors zone à bâtir" de la loi sur l'aménagement du territoire. Seul un plan d'affectation matériellement conforme à cette loi définirait le champ d'application de la loi sur le droit foncier rural et le plan de zones de B._ de 1961 serait formellement en force mais son contenu ne serait pas matériellement conforme à la loi sur l'aménagement du territoire. Ce plan ne permettrait donc pas de se prononcer sur le champ d'application de la loi sur le droit foncier rural et nécessiterait un examen de la conformité de la parcelle concernée avec la définition de la zone à bâtir de l'art. 15 LAT.
En outre, le recourant prétend que l'arrêt attaqué viole l'art. 35 al. 1 let. b et al. 3 LAT, ainsi que l'art. 36 al. 3 LAT. La loi sur l'aménagement du territoire octroyait un délai jusqu'au 1er janvier 1988 pour établir des plans d'affectation conforme à celle-ci. Les autorités communales et cantonales ne l'auraient pas respecté et la planification antérieure à ladite loi ne définirait pas, selon la jurisprudence, les zones à bâtir au sens de cette loi. En application de l'art. 36 al. 3 LAT, seule la partie de l'agglomération déjà largement bâtie constitue une zone à bâtir provisoire et, selon le recourant, la parcelle concernée ne correspondrait pas à la définition de la zone à bâtir.
4.
Selon l'article 2 al. 1 let. a et b LDFR, cette loi s'applique aux immeubles agricoles isolés ou aux immeubles agricoles qui font partie d'une entreprise agricole, qui sont situés en dehors d'une zone à bâtir au sens de l'art. 15 LAT et dont l'utilisation agricole est licite (champ d'application territorial). Seuls sont soumis à ladite loi les immeubles de plus de 15 ares pour les vignes qui ne font pas partie d'une entreprise agricole (art. 2 al. 3 LDFR a contrario). Est agricole, selon l'al. 1 de l'art. 2 LDFR, l'immeuble approprié à un usage agricole ou horticole (champ d'application matériel; art. 6 al. 1 LDFR).
4.1. Il s'agit donc de déterminer si la parcelle n° *** de la commune de B._ tombe dans le champ d'application territorial de la loi sur le droit foncier rural.
4.2. L'article 2 al. 1 let. a LDFR, pour définir ce champ d'application, renvoie à la notion de zone à bâtir au sens de l'art. 15 LAT. Or, le plan de 1961 n'a pas été arrêté en fonction de cette loi, puisqu'elle n'était alors pas en vigueur. Dès lors, en l'état, il n'est pas possible d'appliquer l'art. 2 al. 1 let. a LDFR selon sa lettre.
En outre, d'après la doctrine (SCHMID-TSCHIRREN/BANDLI, in Das bäuerliche Bodenrecht, 2011, n° 1 ad art. 2; YVES DONZALLAZ, Traité de droit agraire suisse: droit public et droit privé, tome 2, 2006, n° 3103 p. 544), le plan de zone formellement entré en force n'est déterminant que s'il satisfait matériellement aux prescriptions topiques du droit des constructions et de l'aménagement du territoire. Tel n'est donc pas le cas en l'espèce.
4.3. La situation n'est pas plus satisfaisante du point de vue de l'aménagement du territoire pour les raisons qui suivent.
La loi fédérale sur l'aménagement du territoire est entrée en vigueur le 1er janvier 1980. Elle charge la Confédération, les cantons et les communes d'établir des plans d'aménagement pour celles de leurs tâches dont l'accomplissement a des effets sur l'organisation du territoire (art. 2 al. 1 LAT). Les cantons et les communes doivent ainsi élaborer des plans d'affectation, qui règlent le mode d'utilisation du sol (art. 14 al. 1 LAT) et délimitent en premier lieu les zones à bâtir, les zones agricoles et les zones à protéger (art. 14 al. 2 LAT). Aux termes de l'art. 15 LAT, les zones à bâtir sont définies de telle manière qu'elles répondent aux besoins prévisibles pour les quinze années suivantes (al. 1); les zones à bâtir surdimensionnées doivent être réduites (al. 2).
Les cantons doivent veiller à ce que les plans d'affectation soient établis à temps, mais au plus tard dans un délai de huit ans à compter de l'entrée en vigueur de la LAT, soit jusqu'au 1er janvier 1988 (art. 35 al. 1 let. b LAT). Les plans d'affectation adoptés avant l'entrée en vigueur de la loi sur l'aménagement du territoire conservent leur validité jusqu'à cette date (art. 35 al. 3 LAT). Ensuite, tant que le nouveau plan d'affectation n'a pas délimité des zones à bâtir, est réputée zone à bâtir provisoire la partie de l'agglomération qui est déjà largement bâtie, sauf disposition contraire du droit cantonal (art. 36 al. 3 LAT). Lorsqu'un plan d'affectation a été établi sous l'empire de la loi sur l'aménagement du territoire, afin de mettre en oeuvre les objectifs et principes de cette législation, il existe en effet une présomption qu'il est conforme aux buts et aux principes de cette loi, alors que les plans d'affectation qui n'ont pas encore été adaptés aux exigences de cette loi ne bénéficient pas de cette présomption et leur stabilité n'est pas garantie (cf. art. 21 al. 1 LAT; cf. ATF 127 I 103 consid. 6b/aa; 120 IA 227 consid. 2c).
4.4. En l'espèce, le plan de zone de 1961 n'a pas fait l'objet d'une modification en vue de sa mise en conformité ou de son adaptation aux exigences de la loi sur l'aménagement du territoire. A l'image de ce qui a déjà été constaté pour les communes de Montreux (arrêt 1C_632/2018 du 16 avril 2020 consid. 4.3.1, non publié in ATF 146 II 289) et Vevey (arrêt 1C_231/2019 du 30 octobre 2020 consid. 2.2), il n'existe dès lors pas de présomption que ce plan satisfasse aux exigences du droit de l'aménagement du territoire énoncées dans cette loi, en particulier s'agissant de la définition des zones à bâtir (cf. aussi ATF 118 Ib 43 consid. 4; 119 Ib 132 consid. 3c; 1C_361/2011 du 28 juin 2012 consid. consid. 5.1). Ainsi, il y a lieu de recourir aux critères de la norme de substitution transitoire de l'art. 36 al. 3 LAT et seules les parties largement bâties du territoire communal peuvent être réputées zones à bâtir provisoires.
4.5. Il faut ainsi déterminer si la parcelle en cause doit être qualifiée de largement bâtie. Cette solution s'impose d'autant plus, compte tenu de la coordination voulue et nécessaire entre le droit foncier rural et celui de l'aménagement du territoire (cf. FRANÇOIS ZÜRCHER, Aménagement du territoire et droit foncier rural: convergences et divergences, Communications de droit agraire, 1996, p. 27). Le plan de zones de 1961 doit être révisé et il serait fâcheux de ne pas tenir compte de cet élément dans le présente affaire. Certes, comme le mentionnent les juges précédents, il aurait été préférable que ce point soit examiné dans le cadre d'une procédure en aménagement du territoire mais l'insécurité juridique en cause est due à l'inaction de la commune concernée qui, depuis plus de trente ans, ne se conforme pas à ses obligations légales.
4.5.1. La notion de "terrains déjà largement bâtis" de l'art. 36 al. 3 LAT est celle qui était utilisée pour définir les zones à bâtir à l'art. 15 let. a LAT ("les zones à bâtir comprennent les terrains propres à la construction qui sont déjà largement bâtis"), dans sa teneur jusqu'au 30 avril 2014 (RO 2014 899; 2010 959). Selon la jurisprudence, elle doit être comprise de manière étroite. Elle ne s'applique pas à n'importe quel groupe de constructions; il faut que l'on soit en présence d'un milieu bâti, qui présente les caractéristiques d'une "agglomération", avec les infrastructures habituelles ("Siedlungsstruktur"). Les critères à prendre en compte sont notamment le caractère compact de l'ensemble construit, les équipements, les liaisons avec les autres zones à bâtir ou l'infrastructure publique. Il convient de faire une distinction entre les notions de "brèche ou d'espace vide dans le tissu bâti" et de "surface non bâtie plus étendue à l'intérieur du milieu bâti" parmi lesquelles il faut compter les espaces verts destinés à aérer l'espace bâti; dans ce dernier cas de figure, les terrains n'appartiennent pas au territoire déjà largement bâti. Plus la brèche dans le tissu bâti est étendue, moins le contexte environnant prend de l'importance (ATF 132 II 218 consid. 4.1; 121 II 417 consid. 5a; 116 Ia 197 consid. 2b; 113 Ia 444 consid. 4d et les arrêts cités).
4.5.2. Il s'agit donc de déterminer si la parcelle n° *** fait partie intégrante du territoire largement bâti au sens du régime transitoire de l'art. 36 al. 3 LAT. Une telle appréciation doit s'effectuer en prenant en considération les circonstances locales. En conséquence, il convient de renvoyer la présente cause à la Commission foncière rurale (cf. art. 107 al. 2 LTF), afin qu'elle y procède.
Si cette autorité parvenait à la conclusion que ladite parcelle ne fait pas partie intégrante du territoire largement bâti au sens du régime transitoire de l'art. 36 al. 3 LAT, celle-ci serait alors située en dehors d'une zone à bâtir selon l'art. 2 al. 1 let. a LDFR et tomberait dans le champ d'application territorial de loi sur le droit foncier rural. Cette qualification ne serait que provisoire, selon la lettre de l'art. 36 al. 3 LAT, et elle ne saurait en rien préjuger de l'affectation définitive de ce périmètre dans le cadre de la procédure de révision du plan de zones de 1961.
Compte tenu de ce qui précède, le grief tiré d'une violation de la loi sur l'aménagement du territoire doit être admis.
4.6. Finalement, il ne fait aucun doute que le bien-fonds concerné est approprié à un usage agricole, puisqu'il est entièrement planté de vignes. Il tombe donc dans le champ d'application matériel de la loi sur le droit foncier rural (cf. consid. 4).
4.7. Partant, si la Commission foncière rurale devait considérer que la parcelle n° *** de la Commune de B._ ne fait pas partie intégrante du territoire largement bâti au sens du régime transitoire de l'art. 36 al. 3 LAT, ce bien-fonds serait soumis à la loi sur le droit foncier rural au sens de l'art. 2 al. 1 LDFR. En cas contraire, elle y échapperait.
5.
Le recours étant admis, il n'y a pas lieu de se prononcer sur les autres griefs contenus dans le recours, parmi lesquels l'appréciation manifestement inexacte des faits et la violation du droit d'être entendu.
6.
Le recours est admis et l'arrêt du 28 mai 2020 du Tribunal cantonal est annulé. La cause est renvoyée à la Commission foncière rurale pour nouvelle décision dans le sens des considérants.
Les frais judiciaires sont mis à la charge des intimés qui succombent, solidairement entre eux (art. 66 al. 1 et 5 LTF); le canton de Vaud en est exempté (art. 66 al. 4 LTF). Le recourant, qui obtient gain de cause avec l'aide d'un avocat, a droit à une indemnité de dépens, mise, à parts égales par 1'500 fr. chacun, à la charge d'une part D._, G._ et C._, E._ et F._ solidairement entre eux, et d'autre part du canton de Vaud (art. 68 al. 1, 2 et 4 LTF).
L'affaire sera renvoyée au Tribunal cantonal pour nouvelle décision sur les frais et dépens de la procédure cantonale (cf. art. 67 et 68 al. 5 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis et l'arrêt du 28 mai 2020 du Tribunal cantonal est annulé. La cause est renvoyée à la Commission foncière rurale pour nouvelle décision dans le sens des considérants.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de D._, G._ et C._, ainsi que E._ et F._, solidairement entre eux.
3.
3.1. Une indemnité de 1'500 fr., à payer au recourant à titre de dépens, est mise à la charge de D._, G._ et C._, ainsi que E._ et F._, solidairement entre eux.
3.2. Une indemnité de 1'500 fr., à payer au recourant à titre de dépens, est mise à la charge du canton de Vaud.
4.
La cause est renvoyée au Tribunal cantonal pour nouvelle décision sur les frais et dépens de la procédure cantonale.
5.
Le présent arrêt est communiqué au mandataire du recourant, à la mandataire des intimés, à la Municipalité de B._, à la Commission foncière agricole, au Département de l'économie, de l'innovation et du sport du canton de Vaud (DEIS) Secrétariat général, ainsi qu'au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, de même qu'à l'Office fédéral de l'agriculture et à l'Office fédéral du développement territorial.
Lausanne, le 25 mai 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Jolidon