Faits :
A.
A._ est propriétaire des parcelles nos 159 et 160 de la Commune de Vullierens. D'une surface de 200'344 m2 en nature de champ, pré, pâturage, le bien-fonds no 159 supporte une serre agricole d'une surface de 4'427 m2 exploitée par le prénommé dans le cadre de son exploitation agricole. La parcelle no 160 quant à elle, située à l'ouest du bien-fonds no 159, de l'autre côté de la route agricole asphaltée qui les sépare, a une surface de 5'279 m2; elle supporte un bâtiment agricole de 347 m2. Ces parcelles sont colloquées en zone agricole. Elles sont attribuées à la surface d'assolement de qualité I.
B.
Le 22 janvier 2018, A._ et B._, également exploitant agricole, ont conclu un bail à ferme agricole pour une durée de dix ans, du 1er janvier 2018 au 31 décembre 2028. Il porte sur une surface de 5'000 m2 de la parcelle no 159 et autorise Ludovic Gatabin à y construire une serre de plus de 4'000 m2.
Le 5 avril 2018, A._ et B._ ont déposé une demande de permis de construire sur la parcelle no 159 une serre chapelle multi-tunnels d'une surface totale de 4'665 m2 ainsi que, sur le bien-fonds no 160, une fosse pour les eaux usées. Il ressort de cette demande que la serre envisagée existerait déjà sur la parcelle no 501 de la commune de Cossonay (village d'Allens), qui est la propriété d'un tiers, et serait ainsi déplacée sur la parcelle no 159. Destinée à la culture de fraises, la serre projetée serait constituée de poutrelles métalliques droites et cintrées, ancrées dans des fondations ponctuelles; elle serait implantée à une distance d'un mètre au nord de la serre existante et dans son prolongement; elle s'avancerait comme elle jusqu'à une distance de 5 m (limite des constructions) de la route agricole existant à l'ouest et s'alignerait à l'est sur la limite de la serre existante. La surface totale des serres agricoles sur le bien-fonds no 159 s'élèverait ainsi à 9'092 m2.
Mis à l'enquête publique du 16 mai au 14 juin 2018, le projet n'a suscité aucune opposition. Le 30 juillet 2018, la Centrale des autorisations CAMAC a rendu sa synthèse, dont il ressort que le Service du développement territorial (SDT; la Direction générale du territoire et du logement depuis le 1er mai 2020) a refusé de délivrer l'autorisation spéciale requise en ce qui concerne la serre agricole; par conséquent, la Municipalité de Vullierens ne pouvait pas délivrer le permis de construire; l'installation d'une fosse pour les eaux usées était en revanche autorisée. En substance, le SDT a considéré que la surface des serres existantes sur le bien-fonds, ajoutée à celle projetée, portait la surface totale à 9'092 m2, ce qui dépassait le cadre de ce qui pouvait être admis au titre de développement interne au sens des art. 16a LAT (RS 700) et 34 al. 1 et 37 de l'ordonnance du 28 juin 2000 sur l'aménagement du territoire (OAT; RS 700.1). Il en a conclu que la serre projetée ne pouvait être admise, un tel projet devant trouver place dans une zone agricole spécialisée au sens de l'art. 52a de la loi [du canton de Vaud] du 4 décembre 1985 sur l'aménagement du territoire et les constructions (LATC; RSV 700.11 [dans sa version en vigueur jusqu'au 31 août 2018]).
C.
La Cour de droit administratif et public du Tribunal cantonal vaudois (CDAP) a rejeté, par arrêt du 31 octobre 2019, le recours interjeté par A._ et B._ contre la décision rendue le 30 juillet 2018 par le SDT qu'il a confirmée.
D.
A._ et B._ forment un recours en matière de droit public au Tribunal fédéral contre l'arrêt susmentionné, concluant, avec suite de frais et dépens, à sa réforme en ce sens que l'autorisation spéciale de construire la serre est délivrée, respectivement que la Municipalité de Vullierens est invitée à octroyer le permis de construire. Subsidiairement, ils demandent le renvoi de la cause devant l'instance précédente pour nouvelle décision dans le sens des considérants.
Invitée à se déterminer, la cour cantonale y a renoncé, se référant aux considérants de l'arrêt attaqué. La municipalité a considéré qu'il ne lui appartenait pas de se prononcer au sujet d'un projet situé en zone agricole. Dans sa réponse, le SDT a conclu au rejet du recours. L'Office fédéral du développement territorial ARE a relevé que si le raisonnement des autorités précédentes ne pouvait pas être suivi, il faudrait examiner notamment l'implantation de la construction à l'endroit prévu et procéder à une pesée des intérêts au sens de l'art. 34 al. 4 let. b OAT. Le SDT, adhérant aux conclusions de l'office précité, a maintenu sa conclusion en rejet du recours. Les recourants ont encore déposé des dernières observations.

Considérant en droit :
1.
Dirigé contre une décision finale (art. 90 LTF) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public des constructions (art. 82 let. a LTF), le recours est en principe recevable comme recours en matière de droit public selon les art. 82 ss LTF, aucune des exceptions prévues à l'art. 83 LTF n'étant réalisée. Les recourants ont pris part à la procédure de recours devant le Tribunal cantonal. A._, en tant que propriétaire de la parcelle sur laquelle la construction est prévue, et B._, en sa qualité de locataire d'une partie de dite parcelle, respectivement futur exploitant de la serre litigieuse, tous deux requérants du permis de construire refusé, sont particulièrement touchés par l'arrêt attaqué. Ils peuvent ainsi se prévaloir d'un intérêt personnel et digne de protection à l'annulation de l'arrêt attaqué. Ils ont dès lors qualité pour agir au sens de l'art. 89 al. 1 LTF. Les autres conditions de recevabilité sont par ailleurs réunies, si bien qu'il y a lieu d'entrer en matière sur le fond.
2.
Les recourants soutiennent que la cour cantonale aurait procédé à une interprétation erronée, respectivement à une violation de l'art. 37 al. 1 OAT.
2.1. L'art. 37 OAT intitulé " Développement interne dans le domaine de la culture maraîchère et de l'horticulture productrice " figure sous la section 5 " Conformité à l'affectation de la zone agricole " du chapitre 5 " Plans d'affectation " de dite ordonnance. La teneur de cette disposition, est la suivante :
1 L'édification de constructions et installations destinées à la culture maraîchère et à l'horticulture selon un mode de production indépendant du sol est réputée développement interne (art. 16a, al. 2, LAT) si la surface de production indépendante du sol n'excède pas 35 % de la surface maraîchère ou horticole cultivée et n'est pas supérieure à 5000 m2.
2 La production est réputée indépendante du sol s'il n'y a pas de lien suffisamment étroit avec le sol.
2.2. La loi s'interprète en premier lieu selon sa lettre (interprétation littérale). Si le texte n'est pas absolument clair, si plusieurs interprétations sont possibles, il convient de rechercher quelle est la véritable portée de la norme, en la dégageant de tous les éléments à considérer, soit notamment des travaux préparatoires (interprétation historique), du but de la règle, de son esprit, ainsi que des valeurs sur lesquelles elle repose, singulièrement de l'intérêt protégé (interprétation téléologique) ou encore de sa relation avec d'autres dispositions légales (interprétation systématique; <ref-ruling> consid. 6.1 p. 316; <ref-ruling> consid. 4.3.1 p. 397; <ref-ruling> consid. 5.4.1 p. 59). Le Tribunal fédéral ne privilégie aucune méthode d'interprétation, mais s'inspire d'un pluralisme pragmatique pour rechercher le sens véritable de la norme; il ne se fonde sur la compréhension littérale du texte que s'il en découle sans ambiguïté une solution matériellement juste (<ref-ruling> consid. 6.1 p. 316; <ref-ruling> consid. 4.3.1 p. 397; <ref-ruling> consid. 3.4 p. 184).
2.3. En l'espèce, la cour cantonale a considéré qu'il n'était pas absolument clair, selon la lettre de l'alinéa 1 de l'art. 37 OAT, si la limite absolue de 5'000 m2 était applicable à chaque exploitation agricole ou si elle devait être considérée comme une limite générale sur un territoire déterminé, au-delà de laquelle la seule procédure de permis de construire n'était plus suffisante mais qu'une planification était nécessaire (cf. art. 16a al. 3 LAT). Procédant à une interprétation de l'art. 37 OAT, elle est parvenue à la conclusion que le but poursuivi par cette limite était de soumettre, en raison de son impact sur le territoire, toute serre d'une surface supérieure - et donc aussi les serres formant une unité visuelle, quand bien même elles appartenaient à des exploitations différentes - à une obligation d'aménager le territoire, telle que prévue à l'art. 16a al. 3 LAT.
Selon les recourants, l'art. 37 OAT traiterait exclusivement du développement interne d'une exploitation agricole, de sorte que les critères fixés ne pourraient que se rapporter à l'exploitation agricole concernée. A leurs yeux, cette disposition ne permettrait pas d'imposer une planification pour une serre d'une surface inférieure à 5'000 m2 au seul motif qu'elle se situerait à proximité d'une serre déjà existante et appartenant à une autre exploitation.
2.4.
2.4.1. Comme l'a relevé l'autorité précédente, le texte de l'art. 37 OAT ne donne pas de réponse directe à la question de savoir s'il y a lieu d'inclure dans le calcul de la limite de 5'000 m2, la surface des serres déjà existantes sur le terrain destiné à accueillir la construction litigieuse. Dans ces conditions, il y a lieu de recourir aux autres modes d'interprétation de la norme.
2.4.2. Cette disposition doit en l'occurrence nécessairement être mise en relation avec la LAT, puisque l'OAT constitue son ordonnance d'application.
A teneur de l'art. 22 al. 2 let. a LAT, une autorisation de construire est délivrée si la construction ou l'installation est conforme à l'affectation de la zone. L'art. 16a LAT fixe les conditions générales auxquelles des constructions et des installations peuvent être considérées comme conformes à l'affectation de la zone agricole. Cette disposition est entrée en vigueur, avec l'OAT, le 1er septembre 2000 dans le cadre de la révision de la LAT du 20 mars 1998; depuis lors, elle a subi deux modifications, en vigueur depuis le 1er septembre 2007. La teneur de ses alinéas 1, 2 et 3 est la suivante: sont conformes à l'affectation de la zone agricole les constructions et installations qui sont nécessaires à l'exploitation agricole ou à l'horticulture productrice. Cette notion de conformité peut être restreinte en vertu de l'art. 16, al. 3 (al. 1). Les constructions et installations qui servent au développement interne d'une exploitation agricole ou d'une exploitation pratiquant l'horticulture productrice sont conformes à l'affectation de la zone. Le Conseil fédéral règle les modalités (al. 2). Les constructions et installations dépassant le cadre de ce qui peut être admis au titre du développement interne peuvent être déclarées conformes à l'affectation de la zone et autorisées lorsqu'elles seront implantées dans une partie de la zone agricole que le canton a désignée à cet effet moyennant une procédure de planification (al. 3).
Ainsi, selon l'art. 16a al. 1, 1re phrase LAT, sont conformes à l'affectation de la zone agricole les constructions et installations qui sont nécessaires à l'exploitation agricole ou à l'horticulture productrice. Cette définition correspond à celle que la jurisprudence avait élaborée sur la base de l'ancien art. 16 LAT: seules les constructions dont la destination correspond à la vocation agricole du sol peuvent donner lieu à une autorisation ordinaire au sens de l'art. 22 al. 2 let. a LAT. En d'autres termes, le sol doit être le facteur de production primaire et indispensable et les modes d'exploitation dans lesquels le sol ne joue pas un rôle essentiel ne sont pas agricoles (<ref-ruling> consid. 3.1 p. 415). L'art. 34 al. 1 OAT reprend cette définition en précisant que sont conformes à l'affectation de la zone les constructions qui servent à l'exploitation tributaire du sol ou au développement interne.
2.4.3. La novelle du 20 mars 1998 admet ainsi plus largement la conformité à l'affectation de la zone agricole: elle est désormais reconnue non seulement pour les constructions et installations répondant à la définition de l'art. 16a al. 1, 1ère phrase LAT, mais également, aux termes de l'art. 16a al. 2 LAT, pour celles qui servent au développement interne d'une exploitation agricole ou d'une exploitation pratiquant l'horticulture productrice, indépendamment des conditions restrictives de l'art. 24 LAT (<ref-ruling> consid. 3.2 p. 415).
Il y a " développement interne " lorsqu'un secteur de production non tributaire du sol - garde d'animaux de rente (art. 36 OAT), cultures maraîchères ou horticoles indépendantes du sol (art. 37 OAT) - est adjoint à une exploitation tributaire de façon prépondérante du sol afin que la viabilité de cette exploitation soit assurée (ATF 129 consid. 3.2 p. 41 ss.; cf. également Message du 22 mai 1996 relatif à une révision partielle de la LAT, FF 1996 III 489 ch. 111.2).
2.4.4. La révision de la LAT du 20 mars 1998 avait pour but de permettre aux milieux agricoles de répondre plus facilement aux nouveaux défis - que ce soit par la construction de nouveaux bâtiments indispensables ou par une réaffectation des bâtiments existants qui soit judicieuse et qui respecte l'aménagement du territoire et la protection du paysage (FF 1996 III 486).
Les zones agricoles spéciales ou zones d'agriculture intensive prévues à l'art. 16a al. 3 LAT sont apparues lors de la consultation sur la révision précitée: le Parlement a finalement opté pour un modèle de planification après être arrivé à la conclusion qu'une conformité à l'affectation de la zone définie uniquement à travers la référence aux produits agricoles risquait d'accroître le mitage du territoire (RUCH/MUGGLI, in Commentaire pratique LAT: Construire hors zone à bâtir, 2017, no 39 ad art. 16a LAT). Ainsi, les constructions et installations servant aux modes de production non tributaires du sol sont également admissibles dans certaines parties de la zone agricole concrètement désignées dans le plan d'affectation. Y ont leur place notamment les serres destinées à l'horticulture productrice et les grandes exploitations pratiquant la garde d'animaux de rente (RUCH/MUGGLI, op. cit., no 6 ad art. 16a LAT).
Cette révision du droit de l'aménagement du territoire étant encore trop restrictive aux yeux des milieux agricoles (Message du 2 décembre 2005 relatif à la révision partielle de la loi fédérale sur l'aménagement du territoire, FF 2005 6630), des assouplissements portant en particulier sur les développements internes sont encore intervenus dans le cadre de la révision partielle de la LAT entrée en vigueur le 1er septembre 2007. Désormais, pour le développement interne dans le domaine de la culture maraîchère et de l'horticulture, il n'est plus nécessaire que la survie de l'exploitation dépende d'un revenu complémentaire (art. 37 al. 1 OAT; FF 2005 6635, ch. 1.2.4).
Si l'art. 37 OAT est, pour le reste, demeuré inchangé sur le fond, les modifications étant purement rédactionnelles, il faut toutefois relever que le projet mis en consultation proposait la suppression de la limite supérieure en vigueur de 5'000 m2 (FF 2005 6635, ch. 1.2.4). Pour rappel, cette limite maximale tient compte des objections formulées dans le cadre de la consultation: la limite relative permettrait, pour les exploitations disposant d'une surface utile étendue, des développements internes d'une ampleur incompatible avec la volonté du législateur (ARE, Nouveau droit de l'aménagement du territoire. Explications relatives à l'OAT et recommandations pour la mise en oeuvre, 2007, partie I, p. 36 ad art. 37 OAT). Nombreux étaient ceux qui craignaient que la suppression proposée conduise à une situation juridique compliquée et difficile à mettre en oeuvre - tant en ce qui concerne les dispositions sur les zones agricoles spéciales (art. 16a, al. 3, LAT) que par rapport à l'obligation générale d'aménager le territoire au sens de l'art. 2 LAT; or, le but premier de la révision était précisément de simplifier la mise en oeuvre. La crainte que la suppression proposée n'apporte qu'une pseudo-simplification était en outre fondée sur le fait que les serres d'une surface supérieure à 5'000 m2 sont soumises à l'obligation d'aménager le territoire. La question de savoir si cette limite en vigueur devait être discutée dans le cadre de cette révision partielle ou de la révision totale prévue dans le programme de législature est ainsi restée en l'état. Par contre, le maintien de la limite relative fixée pour la surface de production indépendante du sol - qui ne doit pas excéder 35% de la surface maraîchère ou horticole cultivée - a bénéficié d'un large soutien: en effet, supprimer cette limite revenait à supprimer la distinction par rapport aux territoires qui doivent être désignés par les cantons au terme d'une procédure de planification au sens de l'art. 16a al. 3 LAT pour l'implantation d'activités destinées à un mode de production principalement ou exclusivement indépendant du sol (FF 2005 6635, ch. 1.2.4).
2.4.5. Le fait qu'une activité agricole remplisse les conditions énoncées aux art. 16 et 16a LAT ne signifie pas encore qu'une autorisation de construire une nouvelle installation en application de l'art. 22 LAT doive nécessairement être délivrée. En effet, l'autorité compétente doit examiner en premier lieu si la nouvelle activité peut être réalisée dans les locaux existants; si tel n'est pas le cas, elle doit en outre vérifier que la nouvelle construction n'est pas surdimensionnée par rapport à l'utilisation envisagée et les besoins de l'exploitation et qu'aucun intérêt prépondérant ne s'oppose à l'implantation du nouveau bâtiment à l'endroit prévu (art. 34 al. 4 OAT; <ref-ruling> consid. 3.2 p. 416 et la référence citée). La pesée des intérêts exigée à l'art. 34 al. 4 let. b OAT doit se faire à l'aune des buts et principes de l'aménagement du territoire énoncés aux art. 1 et 3 LAT (cf. arrêts 1C_341/2019 du 24 août 2020 consid. 3.1.3; 1C_401/2018 du 24 septembre 2019 consid. 2.1). Elle comprend la détermination de tous les intérêts, publics et privés, touchés par le projet (art. 3 al. 1 let. a OAT). Il s'agit d'abord des intérêts poursuivis par la LAT elle-même (notamment la préservation des terres cultivables, l'intégration des constructions dans le paysage, la protection des rives, des sites naturels et des forêts), mais aussi des autres intérêts protégés dans les lois spéciales (LPE [RS 814.01], loi fédérale du 1er juillet 1966 sur la protection de la nature et du paysage [LPN; RS 451], loi fédérale du 4 octobre 1991 sur les forêts [LFo; RS 921.0], ordonnance du 15 décembre 1986 sur la protection contre le bruit [OPB; RS 814.41], ordonnance du 16 décembre 1985 sur la protection de l'air [OPAir; RS 814.318.142.1]; cf. <ref-ruling> consid. 3.1 p. 100; <ref-ruling> consid. 3.1 p. 68; arrêt 1C_96/2018 du 11 octobre 2018 consid. 3.3.1).
L'art. 34 al. 4 let. c OAT précise en outre que l'autorisation de construire ne peut être délivrée que s'il est prévisible que l'exploitation pourra subsister à long terme. Cette dernière condition a pour but d'éviter que des autorisations ne soient délivrées inconsidérément dans une zone qui doit être maintenue autant que possible libre de toute construction, pour des constructions et installations qui seront rapidement mises hors service à la suite de l'abandon de l'exploitation agricole (arrêt 1C_86/2009 du 10 décembre 2009 consid. 2.1; cf. également l'arrêt 1A.86/2001 du 21 mai 2002 consid. 3.4, in SJ 2002 I 541).
2.5. En l'espèce, si le propriétaire actuel de la parcelle en cause avait déposé un projet de construire la serre litigieuse pour servir sa propre exploitation, sa surface devrait être examinée en relation avec celle des serres déjà construites, dès lors que ces constructions seraient destinées à la même exploitation agricole (dans ce sens <ref-ruling> consid. 4b p. 139). Dans le cas présent, les recourants affirment que puisque la serre litigieuse servirait une exploitation agricole distincte de l'exploitation du propriétaire de la parcelle no 159, elle devrait être autorisée (car conforme à l'art. 37 OAT), sans qu'il soit nécessaire d'examiner l'emprise au sol des bâtiments déjà existants. Ainsi, par le moyen de la location d'une portion du terrain concerné, les recourants parviendraient à contourner les règles visant à protéger les zones de non-bâtir; en effet, admettre une telle configuration permettrait, comme l'a relevé le SDT, la construction d'une serre d'une surface qui, additionnée à l'emprise au sol de celles déjà existantes sur le même terrain, approcherait un hectare, dans une zone qui doit en principe rester libre de construction autant que possible (art. 16 LAT), ce qui n'est pas admissible. Contrairement à ce qu'allèguent les recourants, même en présence de deux exploitations agricoles distinctes, il faut procéder à une appréciation globale du projet litigieux en tenant compte des autres constructions déjà implantées sur le terrain concerné; à défaut, on concéderait, avec une surface utile étendue, une multiplication des constructions en lien avec des développements internes sans coordination, d'une ampleur incompatible avec la volonté du législateur, tant du point de vue de l'aménagement du territoire que de la protection du paysage (cf. art. 1 al. 1 et 2 let. a et d, art. 2 al. 1 et 3 al. 1 et 2 let. a et b LAT; cf. FF 1996 III 486). C'est précisément pour empêcher de telles situations que la limite maximale de 5'000 m2 de l'art. 37 al. 1 OAT a été fixée (cf. ARE, Nouveau droit de l'aménagement du territoire. Explications relatives à l'OAT et recommandations pour la mise en oeuvre, op. cit., p. 36 ad art. 37 OAT).
Dans ces conditions, on ne saurait reprocher à la cour cantonale d'avoir jugé, par la voie de l'interprétation, que dès lors que les serres en question présentaient une unité sous l'angle territorial, tant du point de vue de leur intégration paysagère que de leur impact sur le sol, il y avait lieu de les considérer ensemble pour le calcul de la limite de 5'000 m2 fixée à l'art. 37 al. 1 OAT, nonobstant leur appartenance à deux exploitations agricoles distinctes.
C'est en vain que les recourants allèguent que le projet litigieux s'intégrerait bien au paysage puisqu'il se situerait " dans une cuvette ". Quoi qu'ils en disent, l'impact visuel du projet dans sa globalité apparaît ici évident, compte tenu de l'importance de la surface concernée.
Quant à la " problématique de l'imperméabilisation du sol " avancée par les prénommés, elle a certes été examinée par les services compétents, mais en lien avec la seule serre projetée. En tout état de cause, comme déjà indiqué, sa construction porte à plus de 9'000 m2 la surface de la parcelle no 159 recouverte par des serres. Sachant que les zones d'agriculture intensive vont souvent de pair avec une imperméabilisation du sol et que les surfaces d'assolement doivent être préservées, on ne saurait faire grief à la cour cantonale d'avoir mentionné, dans le cadre de son examen, l'impact au sol des serres, que ce soit par leur imperméabilisation ou par leur empiètement, ce d'autant que la surface en cause est recensée comme surface d'assolement de qualité I (RUCH/MUGGLI, op. cit., no 41 ad art. 16a LAT citant les art. 3 al. 2 let. a LAT, art. 15 al. 3 et 4 LAT par analogie, et art. 26 ss OAT).
En ce qui concerne l'argument des recourants, selon lequel il leur suffirait de construire la serre à un autre endroit, ce qui contribuerait ainsi au mitage du territoire, on peut simplement relever qu'ils ne disposent pas d'un libre choix absolu du lieu d'implantation (cf. <ref-ruling> consid. 3.2 p. 416; <ref-ruling> consid. 3a p. 281; voir plus récemment l'arrêt 1C_58/2017 du 18 octobre 2018 consid. 5.4.1).
Enfin, les recourants semblent se prévaloir d'une inégalité de traitement en lien avec les serres déjà construites sur le terrain concerné, sans toutefois présenter un grief répondant aux exigences de motivation découlant des art. 42 al. 2 et 106 al. 2 LTF. En tout état de cause, il ne saurait être question ici d'inégalité de traitement (cf. <ref-ruling> consid. 6.1 p. 213), dans la mesure où les circonstances du cas d'espèce ne sont pas comparables.
2.6. Dans le cas particulier, la question de la viabilité à long terme de l'exploitation en cause est encore susceptible de se poser, puisque le contrat de bail portant sur la surface de 5'000 m2 de la parcelle no 159 a été conclu pour une durée de 10 ans. Or, la nécessité de nouvelles constructions et installations ne peut être admise que si l'exploitant concerné envisage le maintien à long terme - 15 à 25 ans environ - de son exploitation agricole ou horticole (Message 1996 p. 503). Si le SDT a considéré à cet égard que la viabilité de l'exploitation en cause pouvait être confirmée (cf. arrêt entrepris p. 2), il n'apparaît pas que, du point de vue de l'acteur de dite exploitation, la pérennité soit assurée. Ainsi, dans l'hypothèse d'une cessation de l'exploitation de la serre concernée, celle-ci pourrait alors ne plus avoir d'utilité; cette situation contreviendrait à l'art. 34 al. 4 let. c OAT, disposition qui vise précisément à éviter que dans cette zone, se multiplient des constructions qui n'ont qu'une brève existence et dont nul n'aura besoin par la suite (RUCH/MUGGLI, op. cit., no 35 ad art. 16a LAT). Au vu des motivations développées ci-dessus, cette question n'a toutefois pas besoin d'être approfondie.
2.7. C'est en définitive sans violer le droit que la cour cantonale a jugé que le projet en cause devait être examiné dans sa globalité, en tenant compte de l'emprise au sol des serres déjà construites sur la même parcelle, respectivement qu'elle a confirmé le refus de délivrer le permis de construire sollicité, considérant qu'une procédure de planification (cf. art. 16a al. 3 LAT) s'imposait dans cette situation particulière.
3.
Pour les motifs qui précèdent, le recours doit être rejeté dans la mesure de sa recevabilité, aux frais des recourants, débiteurs solidaires, qui succombent (art. 66 al. 1 et 5 LTF). Il n'est pas alloué de dépens (art. 68 al. 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais de justice, arrêtés à 4'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Le présent arrêt est communiqué au mandataire des recourants, à la Municipalité de Vullierens, à la Direction générale du territoire et du logement du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Office fédéral du développement territorial.
Lausanne, le 2 octobre 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Nasel