Faits :
A.
A.a. A._ est exploitant agricole à E._. Il a constitué avec B._, également exploitant agricole à E._, une communauté d'exploitation qui a été reconnue le 21 mai 2010 par le Service de l'agriculture et de la viticulture du canton de Vaud (ci-après: le Service de l'agriculture). Leur collaboration était régie par un contrat de société simple du 11 mai 1997 qui liait initialement leurs parents et qui a été complété par deux avenants datés respectivement du 1er mai 2002 et du 3 mai 2010. Cette communauté a été dissoute le 31 décembre 2013.
Le 27 mars 2013, l' "Association A._ /B._", ainsi que C._ et D._, tous deux exploitants agricoles à F._, ont requis du Service de l'agriculture la reconnaissance de leur société simple en tant que communauté partielle d'exploitation depuis le 1er novembre 2012, les branches de production mises en commun étant les pondeuses, les arbres et les bovins. La demande précisait que le contrat de société simple serait rédigé ultérieurement.
Par contrat du 5 juillet 2013, A._, C._ et D._ ont formé une société simple pour communauté partielle d'exploitation en production animale; ce contrat prévoyait que la société simple avait été constituée au 1er novembre 2012 et prenait fin le 31 décembre 2017. Il stipulait, en outre, que A._ mettait à disposition deux poulaillers de 18'000 places-pondeuses, deux étables d'engraissement de 150 places, ainsi que les surfaces attenantes nécessaires au but social; les animaux étaient apportés par chacun des trois associés; il était également prévu que le contrat se renouvelait d'année en année.
A.b. Le 6 février 2014, le Service de l'agriculture a notamment décidé:
- de reconnaître la communauté partielle d'exploitation, au sens de l'art. 12 de l'ordonnance fédérale du 7 décembre 1998 sur la terminologie agricole et la reconnaissance des formes d'exploitation (ordonnance sur la terminologie agricole, Oterm; RS 910.91), pour les branches de production avicole, arboricole et d'engraissement de bovins et, partant, la collaboration entre l'exploitation de C._, celle de D._ et la communauté d'exploitation de A._ et B._, avec effet du 1er novembre 2012 au 31 décembre 2013;
- de révoquer avec effet au 1er janvier 2014 la reconnaissance de la communauté d'exploitation entre A._ et B._, à la suite de la dissolution de leur association, et de reconnaître l'entreprise de chacun des deux anciens associés comme une exploitation au sens de l'<ref-law>, dès le 1er janvier 2014;
- de reconnaître comme une communauté partielle d'exploitation au sens de l'<ref-law>, pour les branches de production avicole, arboricole et d'engraissement de bovins, la collaboration entre les trois exploitations de A._, C._ et D._, avec effet dès le 1er janvier 2014.
A.c. Par décision du 15 décembre 2014, le Département de l'économie et du sport du canton de Vaud (ci-après : le Département cantonal) a partiellement admis le recours de l'Office fédéral de l'agriculture (ci-après: l'Office fédéral) : il a annulé la décision du 6 février 2014 du Service de l'agriculture notamment en tant qu'elle reconnaissait une communauté partielle d'exploitation entre C._, D._ et la communauté d'exploitation de A._ et B._ du 1er novembre 2012 au 31 décembre 2013; il a renvoyé l'affaire dans le sens des considérants au Service de l'agriculture, afin qu'il rende une nouvelle décision concernant les paiements directs pour l'année 2013 dus à la communauté de A._ et B._; il a également modifié la décision du Service de l'agriculture en ce sens qu'une communauté partielle d'exploitation entre C._, D._ et A._ était reconnue à partir du 1er janvier 2014, à la condition que les exploitants mentionnés fournissent audit service les comptes détaillés de leur association pour l'année 2014. Il a en substance jugé qu'une communauté partielle d'exploitation constituée pour une courte durée, à savoir du 1er novembre 2012 au 31 décembre 2013, ne respectait pas les objectifs de la loi et qu'en tout état de cause les différents éléments tendaient à démontrer qu'il n'y avait pas eu de réelle collaboration entre les partenaires en 2013, contrairement à 2014.
A.d. Par arrêt du 12 juin 2015, le Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours de A._, B._, C._ et D._. Il a considéré que la réalité de l'existence de la communauté à quatre exploitants pour une durée de quatorze mois (du 1er novembre 2012 au 31 décembre 2013) n'avait pas été établie. Il s'est en particulier appuyé sur le défaut de contrat écrit de collaboration pour cette communauté. Il a également retenu que la demande de reconnaissance du 27 mars 2013 n'avait pas à déployer d'effet avant le 1er janvier 2014 puisque, A._ ayant été lié à B._ jusqu'au 31 décembre 2013, sa participation en qualité d'exploitant indépendant à une autre communauté était difficilement concevable.
B.
Par arrêt du 26 avril 2017, le Tribunal administratif fédéral a rejeté le recours de A._, B._, C._ et D._ dans la mesure où il était recevable. Il a retenu que le contrat du 5 juillet 2013 ne portait pas la signature de B._ et qu'aucun élément du contrat ne permettait de conclure que ce document liait la communauté A._ et B._, puisqu'il n'en ressortait pas que A._ agissait comme représentant de ladite communauté. Dès lors, les conditions légales pour la reconnaissance de la communauté partielle d'exploitation entre les associés A._ et B._, ainsi que C._ et D._ pour la période allant du 1er novembre 2012 au 31 décembre 2013 n'étaient pas remplies. De plus, comme il formait une communauté d'exploitation avec B._ jusqu'à la fin 2013, il ne paraissait pas concevable que A._ en forme une autre sans le concours de son associé.
C.
Agissant par la voie du recours en matière de droit public, A._, B._, C._ et D._ demandent au Tribunal fédéral, sous suite de frais et dépens, d'ordonner l'apport du dossier de l'autorité précédente, d'annuler l'arrêt du 26 avril 2017 du Tribunal administratif fédéral, ainsi que celui du Tribunal cantonal et du Département cantonal, subsidiairement, d'annuler l'arrêt du 26 avril 2017 du Tribunal administratif fédéral et de renvoyer la cause pour une nouvelle décision dans le sens des considérants au Service de l'agriculture, subsidiairement au Département cantonal, au Tribunal cantonal ou au Tribunal administratif fédéral.
Le Service de l'agriculture et le Département cantonal se réfèrent aux trois décisions déjà rendues dans la présente cause. L'Office fé déral conclut au rejet du recours, sous suite de frais. Le Tribunal cantonal a déclaré ne pas avoir de remarques à formuler. Le Tribunal administratif fédéral a renoncé à déposer des observations.

Considérant en droit :
1.
Selon l'<ref-law>, le Tribunal fédéral connaît des recours dans des causes de droit public. Le présent cas relève du droit public puisqu'il a pour objet la reconnaissance d'une communauté partielle d'exploitation au sens de l'<ref-law>.
Pour le surplus, le recours en matière de droit public, déposé en temps utile (<ref-law>) et en la forme prévue (<ref-law>) à l'encontre d'un arrêt final rendu par le Tribunal administratif fédéral (<ref-law>) par les intéressés qui ont la qualité pour recourir (<ref-law>), est recevable (<ref-law>).
Compte tenu de l'effet dévolutif du recours, l'arrêt du Tribunal administratif fédéral a remplacé l'arrêt 12 juin 2015 du Tribunal cantonal et la décision du 15 décembre 2014 du Département cantonal sur laquelle celui-ci se fonde. Ces décisions sont nécessairement attaquées sur le plan matériel lorsque l'arrêt de l'autorité de dernière instance fait l'objet d'un recours au Tribunal fédéral. Les conclusions tendant à l'annulation de l'arrêt 12 juin 2015 du Tribunal cantonal et la décision du 15 décembre 2014 du Département cantonal sont donc absorbées dans la conclusion tendant à l'annulation de l'arrêt du Tribunal administratif fédéral.
L'apport du dossier de l'autorité précédente a été ordonné le 9 juin 2017.
2.
2.1. Sur le fond, est litigieux le point de savoir si les recourants ont valablement constitué une communauté partielle d'exploitation du 1er novembre 2012 au 31 décembre 2013 et, plus particulièrement, si le contrat de société simple du 5 juillet 2013 constituant ladite communauté liait la communauté d'exploitation comprenant les recourants 1 et 2 (dissoute seulement le 31 décembre 2013).
2.2. L'<ref-law>, dans sa teneur en vigueur jusqu'au 31 janvier 2013 (RO 2003 4873), est libellé comme suit:
"Par communauté partielle d'exploitation, on entend la collaboration entre deux ou plusieurs exploitations répondant aux conditions suivantes:
a. plusieurs exploitations gardent ensemble des animaux de rente ou gèrent en commun une partie de leurs branches d'exploitation;
b. les exploitations ont été gérées de manière autonome pendant les trois années précédant le regroupement en communauté;
c. les exploitations ou les centres d'exploitation sont éloignés, par la route, de 15 km au maximum;
d. les membres de la communauté travaillent dans leur exploitation et pour la communauté;
e. la collaboration et la répartition des surfaces et/ou des animaux sont réglées dans un contrat fixé par écrit;
f. un compte séparé est tenu pour les branches d'exploitation gérées en commun, et
g. la communauté a désigné un membre chargé de la représenter."
3.
3.1. Les recourants estiment qu'en n'ayant pris en compte que certains éléments du dossier, à savoir la communauté d'exploitation que formaient les recourants 1 et 2 jusqu'au 31 décembre 2013, ainsi que l'absence de pouvoir de représentation du second en faveur du premier pour conclure le contrat de société simple du 5 juillet 2013, les juges précédents ont fait preuve de formalisme excessif. Selon les recourants, ceux-ci auraient dû établir, d'une part, la volonté des parties audit contrat et, d'autre part, la collaboration effective des intéressés du 1er novembre 2012 au 31 décembre 2013.
3.2. On ne voit pas en quoi le formalisme excessif (art. 29 al. 1 Cst.; sur cette notion, cf. <ref-ruling> consid. 2.4.2 p. 11; <ref-ruling> consid. 4.2 p. 158; <ref-ruling> consid. 2.1 p. 9), qui a trait à la stricte application des règles de procédure, serait pertinent au regard de l'argument susmentionné. Le Tribunal administratif fédéral s'est fondé sur les éléments déterminants pour l'application du droit matériel, c'est-à-dire l'art. 12 Oterm. Une des conditions pour la reconnaissance d'une communauté partielle d'exploitation (<ref-law>) réside dans la conclusion d'un contrat écrit réglant, entre les associés de la communauté, la collaboration et la répartition des surfaces et des animaux (art. 12 al. 1 let. e Oterm). C'est donc à bon droit que les juges précédents se sont attachés à déterminer la portée du contrat du 5 juillet 2013. Il ne s'agissait en aucune façon de l'application de règles de procédure.
Il en va de même en tant que les recourants se plaignent du formalisme excessif que constituerait l'exigence de deux contrats différents, à savoir un pour la période allant du 1er novembre 2012 au 31 décembre 2013 et un pour la période subséquente. Il faut tout d'abord relever que le Tribunal administratif fédéral n'a pas expressément requis un contrat de communauté partielle d'exploitation pour la période du 1er novembre 2012 au 31 décembre 2013 mais il a constaté que celui conclu le 5 juillet 2013 ne liait pas la société simple constituée des recourants 1 et 2. Dès lors, ce contrat ne pouvait déployer d'effets avant le 1er janvier 2014, puisque la communauté formée de ces personnes avait été dissoute le 31 décembre 2013. Ce qui signifie néanmoins que, dans la mesure où les recourants voulaient que leur communauté partielle d'exploitation soit reconnue depuis le 1er novembre 2012, il aurait effectivement fallu un second contrat, à savoir pour la période du 1er novembre 2012 au 31 décembre 2013. Quoi qu'il en soit, en jugeant que le contrat du 5 juillet 2013 n'engageait pas la communauté des recourants 1 et 2, les juges précédents ont appliqué le droit de fond et non des règles de procédure. Partant, le grief de formalisme excessif doit être rejeté.
4.
Les recourants se plaignent d'une violation de leur droit d'être entendu. Ils estiment que, dès lors que le Tribunal administratif fédéral était la première instance à juger que le recourant 2 n'avait pas octroyé de pouvoirs de représentation au recourant 1 et que, partant, le contrat du 5 juillet 2013 n'engageait pas la communauté d'exploitation formée par ces deux personnes, il aurait dû donner l'occasion aux recourants de s'exprimer à ce sujet.
4.1. Le droit d'être entendu (art. 29 al. 2 Cst.) porte avant tout sur les questions de fait. De manière générale, en vertu de la règle "jura novit curia", le juge n'a pas à soumettre à la discussion des parties les principes juridiques sur lesquels il va fonder son jugement. Il peut appliquer d'office, sans avoir à attirer préalablement l'attention des parties sur l'existence de tel ou tel problème juridique, une disposition de droit matériel. Selon la jurisprudence, les parties doivent cependant être entendues sur les questions de droit lorsque l'autorité concernée entend se fonder sur des normes légales dont la prise en compte ne pouvait pas être raisonnablement prévue, et dont les parties ne pouvaient supputer la pertinence (<ref-ruling> consid. 2.2 p. 504; cf. aussi, plus particulièrement en matière d'arbitrage, <ref-ruling> consid. 5 p. 39, ATF 6B_1368/2016 du 15 novembre 2017 consid. 2.1 non publié).
4.2. L'interprétation du contrat du 5 juillet 2013 a été l'objet des décisions de toutes les instances de recours précédentes. Ainsi, le Département cantonal, dans sa décision du 15 décembre 2014, a relevé que ce document avait été signé par les recourants 1, 3 et 4 et il a détaillé son contenu, comme les engagements pris par ces trois personnes; il a ainsi implicitement constaté que le recourant 2 n'était pas partie au contrat. Il en va de même du Tribunal cantonal qui, le 12 juin 2015, a considéré qu'aucun contrat n'avait été établi entre les quatre recourants pour la période du 1er novembre 2012 au 31 décembre 2013. En relevant l'absence de procuration du recourant 2 en faveur du recourant 1, les juges précédents ont simplement examiné une hypothèse, celle du pouvoir de représentation, qui aurait pu expliquer que le contrat du 5 juillet 2013 n'avait pas été signé par le recourant 2. Même si les instances qui ont précédé le Tribunal administratif fédéral n'ont pas examiné ce point, il ne saurait être soutenu qu'il s'agit là d'un élément nouveau: il a toujours été question de l'interprétation dudit contrat dans le cadre de l'application de l'art. 12 al. 1 let. e OTerm, qui requiert un contrat écrit pour la constitution d'une communauté partielle d'exploitation. Il sied, en outre, de rappeler ici que, si la procédure administrative est régie essentiellement par la maxime inquisitoire, celle-ci est relativisée par son corollaire, à savoir le devoir des parties de collaborer à l'établissement des faits; dès lors, si le recourant 1 bénéficiait d'une procuration en sa faveur, ce qu'il ne prétend au demeurant pas, il lui appartenait de la verser à la procédure (cf. <ref-ruling> consid. 3 p. 166; <ref-ruling> consid. 2b p. 142).
En conclusion, le droit d'être entendu des recourants n'a pas été violé.
5. Les recourants estiment que le Tribunal administratif fédéral a arrêté les faits déterminants de façon manifestement incomplète
5.1. Selon l'<ref-law>, le recours peut critiquer les constatations de fait à la double condition que les faits aient été établis de façon manifestement inexacte, c'est-à-dire d'arbitraire (art. 9 Cst.; <ref-ruling> consid. 1.3.1 p. 253; <ref-ruling> consid. 2.3 p. 266), ou en violation du droit au sens de l'<ref-law> et que la correction du vice soit susceptible d'influer sur le sort de la cause, ce que le recourant doit rendre vraisemblable par une argumentation répondant aux exigences des art. 42 al. 2 et 106 al. 2 LTF. Conformément à cette disposition, la partie recourante doit expliquer de manière circonstanciée, claire et précise, en quoi ces conditions seraient réalisées. Les faits et les critiques invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 2.4 p. 368; <ref-ruling> consid. 2.3 p. 266).
5.2. Sous un intitulé "Würdigung des Sachverhalts", les recourants se contentent d'exposer, d'une part, ce qui s'est passé devant les autorités précédentes, principalement quant au contrat de société simple du 5 juillet 2013 et à l'appréciation juridique que celles-ci en ont fait, et, d'autre part, leur façon d'appréhender ces faits; ils attribuent également la responsabilité de la désignation incomplète des parties au contrat du 5 juillet 2013 à G._.
5.3. Cette façon de procéder, purement appellatoire, consistant à énumérer des faits qu'il faudrait prendre en considération, ne répond pas aux exigences en la matière susmentionnées. En outre, en tant que les recourants estiment que l'autorité précédente aurait dû établir, d'une part, la volonté des parties audit contrat et, d'autre part, la collaboration effective des intéressés du 1er novembre 2012 au 31 décembre 2013, ils ne critiquent pas l'établissement des faits par l'autorité intimée, mais s'en prennent à l'appréciation juridique des faits et des pièces, notamment du contrat du 5 juillet 2013, en possession de cette autorité et soulèvent ainsi une question de droit (cf. consid. 6).
Par conséquent, le grief relatif à la constatation des faits ne sera pas examiné et le Tribunal fédéral se basera sur les faits tels qu'établis dans l'arrêt attaqué (<ref-law>).
6.
6.1. Les recourants admettent, d'une part, que le contrat écrit du 5 juillet 2013 ne comporte pas le nom du recourant 2 et que ce document n'est pas signé par celui-ci et, d'autre part, que le recourant 1 ne disposait pas d'une procuration de la part du recourant 2. Ils prétendent toutefois que ces faits, à savoir "die unbestritten irrtümliche bzw. grammatikalish mangelhafte Parteibezeichnung im Vertrag vom 5. Juli 2013 und die behauptete fehlende Vertretungsmacht" ne revêtent pas d'importance pour l'application du droit agraire.
6.2. Dès lors que l'art. 12 al. 1 let. e OTerm exige, pour la constitution d'une communauté partielle d'exploitation, un contrat écrit réglant la collaboration et la répartition des surfaces et des animaux entre les parties, on ne saurait faire abstraction des exigences légales en la matière découlant du code des obligations. Ainsi, la vie de la société est régie par les rapports de droit privé sur lesquels l'ordonnance sur la terminologie agricole n'interfère en principe pas (YVES DONZALLAZ, Traité de droit agraire suisse: droit public et droit privé, tome 2, 2006, n° 2417 p. 314). Les recourants mettent en avant, à cet égard, l'existence d'un rapport de représentation et se prévalent de l'<ref-law>. Deux conditions (cumulatives) doivent être réalisées pour que la représentation déploie des effets. Premièrement, dans la relation représentant/tiers, le représentant doit agir au nom du représenté, ce qu'il doit manifester expressément ou tacitement; cette condition est également remplie s'il était indifférent à celui avec lequel le représentant contracte (tiers) de traiter avec l'un ou l'autre (art. 32 al. 1 et 2 CO). Deuxièmement, dans la relation représentant/représenté, celui-là doit avoir le pouvoir de représenter celui-ci: il doit disposer d'une procuration (arrêt 4A_473/2016 du 16 février 2017 consid. 3.1.2). En l'espèce, selon les faits de l'arrêt attaqué, l'avenant du 1er mai 2002 au contrat de société simple constituant la communauté d'exploitation liant les recourants 1 et 2 stipulait que les associés représentaient conjointement la société envers les tiers, sauf procuration conférée à l'un d'eux. Or, comme susmentionné, la procuration fait défaut, avec pour conséquence que la seconde condition nécessaire à l'existence d'un rapport de représentation n'est pas réalisée. Il n'y a, dès lors, pas lieu d'examiner si la première condition était remplie, à savoir déterminer si les recourants 3 et 4 auraient dû inférer des circonstances que le recourant 1 agissait en tant que représentant direct du recourant 2 ou s'il leur était indifférent de traiter avec l'autre partie (<ref-law>).
Il sied encore de signaler à ce sujet que, contrairement à ce que semblent soutenir les recourants, les autorités administratives et judiciaires n'ont pas pour vocation de suppléer aux erreurs commises par les parties contractantes. L'absence d'octroi d'un délai aux recourants pour remédier à ces manquements ne saurait être constitutif d'une violation du principe de proportionnalité (art. 5 al. 2 Cst.).
Il faut ajouter à cela, comme relevé par les instances précédentes, que compte tenu du fait que la communauté d'exploitation que le recourant 1 formait avec le recourant 2 n'a été dissoute que le 31 décembre 2013, il paraît peu probable que le recourant 1 ait pu en former une seconde, certes partielle, avec d'autres associés jusqu'à cette date. Va dans ce sens, le fait que la réalité de l'existence de la collaboration entre les intéressés en 2013 n'a pas été démontrée au cours de la procédure; ainsi, la collaboration entre les recourant 1, 3 et 4 n'est pas réglée de manière claire dans le contrat du 5 juillet 2013 et, selon ce document, l'ensemble des actifs relatifs à la détention de bétail demeure dans l'exploitation du recourant 1 (aucun actif ni passif n'a été apporté dans la société simple en propriété commune).
Au regard de ce qui précède, le droit fédéral n'a pas été violé et le grief doit être rejeté.
7.
Le contrat du 5 juillet 2013 ne peut donc être interprété comme liant les membres de la société simple formée par les recourants 1 et 2 jusqu'au 31 décembre 2013. En conséquence, le grief relatif au principe de la bonne foi (art. 9 Cst.), qui, selon les recourants, aurait été violé par les juges précédents en tant qu'ils auraient nié la possibilité de reconnaître une communauté partielle d'exploitation avec effet rétroactif au 1er novembre 2012 (la demande de reconnaissance ayant été déposée le 27 mars 2013), alors que la jurisprudence le permettrait, tombe à faux.
8.
Il découle de ce qui précède que le recours est rejeté dans la mesure où il est recevable.
Succombant, les recourants doivent supporter les frais judiciaires solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des recourants solidairement entre eux.
3.
Le présent arrêt est communiqué au mandataire des recourants, au Service de l'agriculture et de la viticulture, au Département de l'économie et du sport et au Tribunal cantonal du canton de Vaud, ainsi qu'au Tribunal administratif fédéral, Cour II, à l'Office fédéral de l'agriculture et au Département fédéral de l'économie, de la formation et de la recherche.
Lausanne, le 26 janvier 2018
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Jolidon