Faits :
A.
E._, exploitant agricole, est propriétaire des parcelles 290, 490 et 371 de la Commune de Vulliens. La parcelle 290, affectée à la zone agricole, est constituée pour l'essentiel de pré-champs. Les parcelles 490 et 371 sont situées à environ 200 m en amont de la parcelle 290, en bordure est de la route cantonale menant à Moudon. La parcelle 490 abrite le logement principal de E._. Celui-ci louait, par ailleurs, pour son bétail, un rural situé dans le village de Vuillens, dont le bail à ferme a été résilié au 31 décembre 2018.
Le 9 mars 2016, E._ a présenté à la Municipalité de Vuillens une demande préalable pour la construction sur la parcelle 290 d'une stabulation libre destinée à l'élevage, d'une fosse à purin et d'un silo tour pour stocker le fourrage.
Après plusieurs échanges entre le Service cantonal du développement territorial (ci-après: SDT) et la Direction générale de l'environnement et la Direction des ressources et du patrimoine naturel (ci-après: DGE-DIRNA), E._ a déposé le 8 novembre 2016 deux demandes de permis de construire. La première porte sur la construction d'une stabulation libre d'engraissement et d'une fosse à purin hors sol, la seconde sur l'adjonction d'un silo tour d'une hauteur de 15 m et d'un diamètre de 610 cm.
A._, B._, C._ et D._, propriétaires en mains communes de la parcelle 392, ont formé opposition à ces projets. Leur parcelle, d'une surface de 2'635 m2, est affectée à la zone agricole; elle se situe également du côté est de la route menant à Moudon, légèrement en amont de la parcelle propriété de E._. Une maison d'habitation d'une surface bâtie de 104 m2 y est érigée.
La Centrale cantonale des autorisations en matière de construction (CAMAC) a délivré le 19 avril 2017 une synthèse positive concernant le projet de silo et le 20 avril 2017 concernant la stabulation libre et la fosse à purin.
B.
Par décisions du 16 juin 2017, la municipalité a levé l'opposition de A._, B._, C._ et D._ et a délivré les autorisations de construire requises, moyennant le respect des conditions prévues par la synthèse CAMAC.
Statuant sur recours de A._ et consorts, après avoir procédé à une inspection locale, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud a confirmé ces décisions par arrêt du 14 janvier 2019. La cour cantonale a en substance jugé que les projets litigieux étaient conformes à l'affectation de la zone agricole; les décisions attaquées ne portaient en outre pas atteinte au principe de la préservation des surfaces d'assolement (ci-après également: SDA).
C.
Agissant par la voie du recours en matière de droit public, A._ et consorts demandent au Tribunal fédéral principalement de réformer l'arrêt cantonal en ce sens que les décisions du 16 juin 2017 sont annulées; subsidiairement, ils concluent au renvoi de la cause à l'autorité précédente. Ils sollicitent également l'octroi de l'effet suspensif.
Le Tribunal cantonal renonce à se déterminer et se réfère aux considérants de son arrêt. Le SDT et la DGE-DIRNA se déterminent sur les questions relevant de leur compétence; ils confirment adhérer à l'arrêt cantonal et proposent le rejet du recours. La Commune de Vuillens et l'intimé concluent aussi au rejet. Egalement consulté, l'Office fédéral du développement territorial ARE émet des critiques s'agissant de l'état de fait, qu'il juge lacunaire; le Tribunal cantonal n'aurait par ailleurs pas examiné l'affectation et le statut juridique des constructions existantes, éléments nécessaires pour établir la nécessité de nouvelles installations agricoles. La Municipalité de Vuillens et l'intimé se déterminent une nouvelle fois et maintiennent leurs positions respectives. Les recourants se sont prononcés en dernier lieu, le 7 octobre 2019.
Par ordonnance du 7 mars 2019, le Président de la Ire Cour de droit public a rejeté la requête d'effet suspensif.

Considérant en droit :
1.
Le recours est formé contre un arrêt final rendu en dernière instance cantonale, dans une cause de droit public. Il est recevable au regard des art. 82 let. a, 86 al. 1 let. d et 90 LTF. Les recourants, propriétaires d'un terrain situé à une centaine de mètres du lieu où sont prévues les constructions litigieuses, seront potentiellement touchés par les nuisances liées à l'exploitation agricole projetée. Ils ont ainsi un intérêt digne de protection à l'annulation ou la modification de l'arrêt cantonal. Ils bénéficient par conséquent de la qualité pour recourir au sens de l'<ref-law>. Les autres conditions de recevabilité sont au surplus réunies, si bien qu'il y a lieu d'entrer en matière.
2.
Les recourants invoquent une violation de leur droit d'être entendus, la cour cantonale n'ayant pas donné suite à certaines de leurs réquisitions de preuves.
2.1. Tel qu'il est garanti par l'art. 29 al. 2 Cst., le droit d'être entendu comprend en particulier le droit pour le justiciable de participer à l'administration des preuves, d'en prendre connaissance et de se déterminer à leur propos. Cette garantie constitutionnelle n'empêche pas l'autorité de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 6.3.1 p. 299 et les références citées).
2.2. Les recourants déplorent l'absence de production de pièces détaillant la manière dont le quota cantonal des surfaces d'assolement a été établi; devant l'instance précédente, ils ont en particulier requis la production du "journal de bord SDA", état au 30 juin 2017, afin de déterminer avec précision l'état actuel réel des SDA. Les recourants estiment que le forfait de 3,5%, prévu par le PDCn (cf. Plan directeur cantonal, 3ème adaptation [PDCn3], entrée en vigueur le 1er janvier 2016, fiche F12, p. 290), arrêté lors de la première adaptation du PDCn en 2011, n'aurait depuis lors pas été mis à jour et serait aujourd'hui dépassé. Ce forfait vise à compenser les talus, lisières de forêts, haies, ruisseaux, pylônes électriques, zone de protection des eaux S1, réservoirs d'eau, etc. (cf. PDCn3, mesure F12, p. 290); il est également destiné, selon l'arrêt attaqué, à compenser l'emprise des bâtiments isolés tels que ceux dont la construction est en l'occurrence litigieuse (cf. également PDCn3, fiche F12, p. 290). Or, à suivre les recourants, la part des SDA utilisées depuis 2011 pour différents projets de construction dépasserait aujourd'hui le quota de 3,5 %, aspect que la cour cantonale aurait arbitrairement refusé d'instruire.
2.2.1. La cour cantonale a relevé que ni le PDCn4 (plan directeur cantonal, 4ème adaptation, approuvée par le Conseil fédéral le 31 janvier 2018 [FF 2018 961]). ni la stratégie cantonale en matière de SDA ne mentionnaient plus ce forfait, si bien que l'on ignorait si celui-ci serait maintenu lors d'un prochain inventaire. Cela étant, l'instance précédente a également souligné que le Grand Conseil vaudois avait estimé que, dans le cadre de la 5ème adaptation du PDCn, le canton pourra regagner des surfaces d'assolement après avoir révisé l'inventaire général (cf. également, PDCn4, mesure F12, p. 297 et p. 300); elle en a déduit que le forfait paraissait ainsi relativement élevé par rapport à la situation effective, de sorte qu'il n'était pas nécessaire de déduire du quota cantonal les surfaces utilisées depuis 2011 pour de nouvelles constructions sur des terrains inventoriés. Or cette approche n'apparaît pas choquante, spécialement au regard des nombreux éléments que le forfait vise à compenser (talus, lisières de forêts, haies, ruisseaux, pylônes électriques, zone de protection des eaux S1, réservoirs d'eau, bâtiments isolés, etc.); les recourants ne la discutent d'ailleurs pas valablement, se contentant d'affirmer appellatoirement que la position du Grand conseil vaudois ne serait que supposition, ce qui est insuffisant au regard des exigences de motivation du recours fédéral (art. 42 al. 2 et 106 al. 2 LTF).
2.2.2. Les recourants ne fournissent ainsi aucun élément laissant supposer que le canton aurait épuisé la marge de 61 ha dont il disposait encore à fin 2016 (cf. PDCn4, Mesure F12, p. 295); leurs explications ne démontrent en particulier pas - pour autant qu'on les comprenne - qu'un éventuel dépassement du forfait (3,5%) aurait entamé cette marge, voire le quota de 75'800 ha imposé par le plan sectoriel de la Confédération (FF 1992 II 1616; voir également PDCn4, Mesure F12, p. 295). Enfin, que l'ARE ait émis des doutes quant à la stratégie du canton pour garantir les SDA, ne signifie pas non plus que le quota du plan sectoriel ne serait plus observé; le Conseil fédéral n'a d'ailleurs pas sanctionné la stratégie adoptée par le canton en matière de SDA, mais a uniquement imposé un mandat d'information portant sur les évolutions et l'état d'avancement de cette stratégie (cf. décision d'approbation du Conseil fédéral du 31 janvier 2018, FF 2018 961 ch. 15).
Aussi, ne saurait-il être reproché à la cour cantonale de ne pas avoir donné suite aux réquisitions de preuves formulées par les recourants en lien avec cet aspect du litige.
2.3. Dans un deuxième argument, les recourants reprochent au tribunal de ne pas avoir ordonné le dépôt de pièces permettant de déterminer si l'intimé n'avait pas lui-même créé le besoin relatif à la construction litigieuse en changeant l'affectation du bâtiment sur la parcelle 490.
L'intimé a expliqué être propriétaire de cinq parcelles sur la Commune de Vuillens. Mis à part la parcelle 290, objet de la présente procédure, il était également propriétaire de la parcelle 490 sur laquelle se trouv ait l'immeuble d'habitation et une partie de son exploitation. Il s'agissait d'une parcelle classée en zone de glissement de terrain par l'Etablissement cantonal d'assurance contre l'incendie et les éléments naturels du canton de Vaud (ECA). La parcelle 365 ne permettait pas, de par ses dimensions, de construire un bâtiment. Il était également propriétaire d'une parcelle située plus à l'ouest, sans accès, et dont la pente était importante. La dernière parcelle se situait, quant à elle, au centre du village, à proximité de nombreuses habitations. Lors de l'inspection locale, l'instance précédente a de plus constaté que les parcelles 371 et 490, outre qu'elles se trouvaient dans une zone de glissement, étaient à la fois trop exiguës et trop pentues pour accueillir l'infrastructure projetée.
Ainsi, compte tenu des constatations faites à l'occasion de l'inspection locale et de l'état des autres parcelles de l'intimé, le Tribunal cantonal pouvait, sans ordonner le dépôt de nouvelles pièces et sans arbitraire, retenir que celui-ci ne s'était pas privé des possibilités de construire sur la parcelle 490.
2.4. Sur le vu de ce qui précède, les griefs de violation du droit d'être entendu sont écartés.
3.
Sur le fond, les recourants font valoir une violation de l'art. 3 al. 2 de la loi fédérale sur l'aménagement du territoire du 22 juin 1979 (LAT; RS 700), des art. 26 et 30 de l'ordonnance du 28 juin 2000 sur l'aménagement du territoire (OAT; RS 700.1) ainsi que de l'art. 9 Cst. interdisant l'arbitraire. Ils considèrent que le projet empiète sur les surfaces d'assolement et porte atteinte à la préservation du quota cantonal.
3.1. Parmi les principes régissant l'aménagement du territoire, l'art. 3 al. 2 let. a LAT prévoit que, le paysage devant être préservé, il convient notamment de réserver à l'agriculture suffisamment de bonnes terres cultivables, en particulier les surfaces d'assolement. Les surfaces d'assolement font partie du territoire qui se prête à l'agriculture; elles se composent des terres cultivables comprenant avant tout les terres ouvertes, les prairies artificielles intercalaires et les prairies naturelles arables; elles sont garanties par des mesures d'aménagement du territoire (<ref-law>). La Confédération a adopté un plan sectoriel au sens de l'art. 13 al. 1 LAT définissant la surface totale minimale d'assolement du territoire suisse et sa répartition entre les cantons (cf. FF 1992 II 1616). Les cantons veillent à ce que les surfaces d'assolement soient classées en zone agricole (<ref-law>) et s'assurent que leur part de la surface totale minimale d'assolement soit garantie de façon durable (<ref-law>).
Selon la dernière adaptation de son plan directeur cantonal, le canton de Vaud disposait à fin 2016 d'une réserve de 61 ha de SDA par rapport au contingent minimum imposé par le plan sectoriel de la Confédération (PDCn4, mesure F12, p. 295; ARE, rapport d'examen du plan directeur vaudois, 4 èmeexamen du 16 janvier 2018, p. 19). Pour garantir le maintien des SDA, le plan directeur cantonal prévoit que les projets qui empiètent sur les SDA ne peuvent être réalisés que si le potentiel des zones légalisées et des projets qui n'empiètent pas sur les SDA ne permettent pas de répondre aux besoins du projet (PDCn4, mesure F12, p. 296). Il prévoit toutefois que les constructions et installations agricoles hors de la zone à bâtir destinées à une activité conforme à la zone peuvent empiéter sur les SDA (PDCn4, mesure F12, p. 298). En vertu de l'art. 9 al. 1 LAT, le plan directeur a force obligatoire pour les autorités.
3.2. La construction de bâtiments agricoles sur des SDA réduit l'aire totale de ces surfaces protégées, ce qui entre effectivement en conflit avec l'intérêt poursuivi par l'art. 3 al. 2 let. a LAT, qui entend réserver à l'agriculture suffisamment de bonnes terres cultivables, en particulier les surfaces d'assolement. Cela étant, la construction de ces bâtiments a lieu au bénéfice d'un intérêt plus général commun à celui de la préservation des SDA, à savoir favoriser une agriculture indigène suffisante et de qualité, notamment par le maintien des exploitations agricoles (cf. <ref-ruling> consid. 5bb p. 505 s.; PIERRE TSCHANNEN, Commentaire pratique LAT: Planification directrice et sectorielle, pesée des intérêts, n. 52 ss ad art. 3 LAT). Ceci répond à l'objectif de garantir des sources d'approvisionnement suffisantes dans le pays, également poursuivi par la loi fédérale sur l'aménagement du territoire (art. 1 al. 2 let. d LAT). Placés sur le même plan, les buts et principes de l'aménagement du territoire, s'ils peuvent entrer en contradiction les uns avec les autres, doivent être intégrés dans une pesée générale des intérêts en vue de la meilleure concordance possible (cf. <ref-ruling> consid. 3.7.2 p. 170; <ref-ruling> consid. 4b p. 307; arrêt 1C_58/2017 du 18 octobre 2018 consid. 4.2). En d'autres termes, l'art. 3 al. 2 let. a LAT ne proscrit pas purement et simplement la suppression des SDA, mais il y a lieu de tenir compte du conflit avec cette disposition dans le cadre d'une pesée générale des intérêts.
3.3. En l'espèce, l'implantation du projet sur une parcelle inventoriée en qualité de SDA intervient dans le cadre d'un projet soumis à autorisation de construire. En tant qu'il répond - pour les motifs exposés ci-après - aux besoins agricoles de l'intimé, le projet apparaît conforme à la zone agricole et n'implique partant aucun changement d'affectation. Aucune compensation ne saurait dès lors être imposée au constructeur ni en en vertu de l'<ref-law>, dont l'application suppose un classement en zone à bâtir, ni de la planification directrice cantonale, qui apporte une nuance expresse pour les constructions et installations agricoles conformes à la zone (PDCn4, Mesure F12, p. 298 in fine).
Les recourants allèguent en outre une violation des art. 26 et 30 al. 2 et 4 OAT. L'<ref-law> définit les surfaces d'assolement. Or, il n'est pas contesté en l'espèce que le projet empiète sur de telles surfaces. Quant à l'<ref-law>, il enjoint aux cantons le maintien de la part minimum prévue par le plan sectoriel concerné. Vu la réserve de plus de 60 ha encore disponibles à fin 2016 dans le canton, l'<ref-law> apparaît respecté. Enfin, l'<ref-law> prévoit que les cantons suivent les modifications qui affectent l'emplacement, l'étendue ainsi que la qualité des surfaces d'assolement et renseignent au moins tous les quatre ans l'ARE sur ces modifications. Comme la fiche du plan directeur renseignant sur les SDA à fin 2016 a été mise à jour en 2018, on ne voit pas en quoi cette disposition serait violée (cf. également décision d'approbation du Conseil fédéral du 31 janvier 2018, FF 2018 961 ch. 15).
En résumé, en l'absence de classement en zone à bâtir, les dispositions légales en la matière ne proscrivent pas qu'il soit empiété sur des surfaces d'assolement. Elles imposent en revanche une prise en considération de cet inconvénient dans une pesée des intérêts touchés par le projet (consid. 4 ci-dessous), qu'il convient à ce stade d'examiner.
4.
Les recourants soutiennent à cet égard que la cour cantonale aurait omis de procéder à cette pesée des intérêts pourtant exigée par l'<ref-law>, en particulier en ne tenant pas compte de l'intérêt prépondérant à sauvegarder des SDA de qualité.
4.1. En vertu de l'art. 22 LAT, aucune construction ou installation ne peut être créée ou transformée sans autorisation de l'autorité compétente (al. 1); l'autorisation est délivrée si la construction ou l'installation est conforme à l'affectation de la zone et le terrain est équipé (al. 2). Selon l'art. 16a LAT, sont conformes à l'affectation de la zone agricole les constructions et installations qui sont nécessaires à l'exploitation agricole ou à l'horticulture productrice (al. 1) et celles qui servent au développement interne d'une exploitation (al. 2). L'<ref-law> précise ces conditions. Il y a ainsi lieu de limiter les constructions nouvelles à celles qui sont réellement indispensables à l'exploitation afin de garantir que la zone en question demeure une zone non constructible (<ref-ruling> consid. 4.2 p. 374; <ref-ruling> consid. 3.2 p. 415).
En principe (sous réserve par exemple de la conservation d'un bâtiment digne de protection, du principe de proportionnalité ou de nouveaux besoins prévisibles), le volume total des bâtiments d'une exploitation agricole ne doit pas excéder ce que les besoins de celle-ci nécessitent (<ref-ruling> consid. 3b/cc p. 508; arrêt 1C_892/2013 du 1 er avril 2015 consid. 3.1 publié in RDAF 2015 I p. 453 et les références citées). La nécessité de nouvelles constructions s'apprécie en fonction de critères objectifs. Elle dépend notamment de la surface cultivée, du genre de cultures et de production (dépendante ou indépendante du sol), ainsi que de la structure, de la taille et des besoins de l'exploitation (arrêts 1C_618/2014 du 29 juillet 2015 consid. 4.1 publié in RDAF 2015 I p. 499; 1C_27/2008 du 25 juin 2008 consid. 2.3; 1A.106/2003 du 12 janvier 2004 consid. 3.2).
L'autorité compétente doit ainsi examiner en premier lieu si la nouvelle activité peut être réalisée dans des locaux existants; si tel n'est pas le cas, elle doit vérifier que la nouvelle construction correspond à l'utilisation envisagée et aux besoins objectifs de l'exploitation (ATF <ref-ruling> consid. 3.2 p. 416; <ref-ruling> consid. 3a p. 281; <ref-ruling> consid. 3b/cc p. 508). La disponibilité des bâtiments existants ne doit pas avoir été compromise par des choix de commodité de l'exploitant, comme une vente, une mise en location ou une réaffectation étrangère à l'agriculture (arrêt 1C_17/2015 du 16 décembre 2015 consid. 2 publié in ZBl 2016 548).
Enfin, la conformité à la zone agricole, et en particulier la nécessité, doit être examinée pour chacun des bâtiments prévus (ATF <ref-ruling> consid. 5a p. 282).
4.2. En l'occurrence, les recourants discutent essentiellement de l'intérêt public à la sauvegarde des surfaces d'assolement. Or, on l'a vu, le droit fédéral n'interdit pas inconditionnellement la réalisation de constructions conformes à la zone sur des SDA; cet inconvénient doit cependant être pris en compte dans la pesée des intérêts et confronté à l'intérêt public à la garantie de sources d'approvisionnement suffisantes dans le pays. Ainsi, l'<ref-law> pose que sont conformes à la zone agricole les constructions utilisées pour la production de denrées se prêtant à la consommation et à la transformation et provenant de la culture de végétaux et de la garde d'animaux de rente.
Dans sa décision, la cour cantonale commence par souligner que le SDT - autorité compétente en droit vaudois pour décider si les projets situés hors zones à bâtir sont conformes à l'affectation de la zone (cf. art. 25 al. 2 LAT) - a émis un préavis favorable. La stabulation libre projetée permettra d'accueillir un nombre plus élevé de bovins que celui détenu actuellement par l'intimé. Certes, les constructions projetées se justifient par la nouvelle orientation donnée à la production. L'intimé souhaite toutefois réorienter son exploitation en accentuant plutôt la production de bétail que celle des grandes cultures. Comme le souligne le service spécialisé, cela relève d'un choix qui ne peut lui être contesté, le développement interne projeté étant respecté et la nouvelle orientation répondant à un intérêt public d'approvisionnement du territoire en denrées alimentaires suffisantes. Le SDT a également souligné que l'office de crédit agricole ainsi que le service de l'agriculture et de la viticulture (ci-après: SAVI) avaient tous deux validé le projet et sa viabilité, le SAVI ayant en particulier constaté que le projet répondait à des besoins objectivement fondés.
4.3. Les constructions projetées sont une stabulation libre, une fosse à purin dont l'emprise au sol est de 1'561 m 2 ainsi qu'un silo d'un diamètre de 610 cm. La construction permettra d'héberger 40 vaches allaitantes, 2 taureaux reproducteurs, des taureaux de 4 mois à 2 ans et des taureaux à l'engrais, soit un total de 117 têtes de bétail. Il ressort des constatations cantonales et en particulier de l'inspection locale que ces constructions ne peuvent pas être érigées sur une autre parcelle du recourant soit parce que le terrain n'est pas adapté (zone de glissement de terrain), soit parce que la parcelle est trop exiguë; soit enfin qu'une autre solution empièterait plus fortement sur les SDA: l'implantation des installations à l'endroit choisi sur la parcelle 290, à proximité de l'exploitation et en bordure de route, permet un accès aisé (cf. synthèses CAMAC, préavis du SDT); une implantation à un autre endroit de la parcelle porterait une atteinte plus importante au paysage en éloignant les constructions des voies d'accès et des bâtiments environnants. L'allégation des recourants, reprise par l'ARE, selon laquelle l'intimé aurait lui-même créé le besoin en transformant un rural en maison d'habitation sur la parcelle 490, n'est ainsi pas pertinente. Par ailleurs, comme l'a relevé la cour cantonale, il n'est pas soutenable d'exiger de l'exploitant qu'il poursuive son exploitation destinée à accueillir des bovins, dans les locaux loués au centre du village et dont le bail a été résilié dans l'intervalle. A cet égard, le fait que le bâtiment abritant ces locaux, situé en zone à bâtir, ne puisse pas immédiatement être transformé en immeuble d'habitation en raison de la création d'une zone réservée, est sans incidence pour juger de la nécessité de la construction projetée. La construction des installations sur une parcelle propriété de l'exploitant assure à la fois l'hébergement du bétail et la pérennité de l'exploitation tant des bovins que des grandes cultures.
La cour cantonale a donc procédé à une pesée complète des intérêts en présence, intégrant notamment la disparition de SDA, le regroupement des constructions, la disponibilité limitée de terrains, la pérennité de l'exploitation, ce conformément aux exigences du droit fédéral. Mal fondé, le grief est rejeté.
5.
Dans un dernier argument, les recourants allèguent une application arbitraire des art. 85 et 86 de la loi vaudoise sur l'aménagement du territoire et des constructions du 4 décembre 1985 (LATC; RS/VD 700.11) ainsi que de l'art. 47 du règlement communal sur le plan général d'affectation du 19 juin 1991, approuvé par le Conseil d'Etat du canton de Vaud le 26 juin 1992 (ci-après: RPGA).
5.1. Appelé à revoir l'application d'une norme cantonale ou communale sous l'angle de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue que si celle-ci apparaît insoutenable ou en contradiction manifeste avec la situation effective, ou encore si elle a été adoptée sans motifs objectifs et en violation d'un droit certain. En outre, il ne suffit pas que les motifs de la décision critiquée soient insoutenables, encore faut-il que celle-ci soit arbitraire dans son résultat, ce qu'il appartient à la partie recourante de démontrer conformément aux exigences de motivation déduites de l'<ref-law> (<ref-ruling> consid. 3.2 p. 400). Si l'application de la loi défendue par l'autorité cantonale ne se révèle pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - éventuellement plus judicieuse - paraît possible (<ref-ruling> consid. 2.1 p. 168; <ref-ruling> consid. 4.3 p. 319; <ref-ruling> consid. 6.1 p. 379).
5.2. D'après l'art. 47 RPGA, la hauteur d'un silo doit être inférieure ou égale à celle du faîte du bâtiment. Selon son art. 1, le RPGA a pour but l'aménagement harmonieux du territoire, la sauvegarde des caractéristiques du village ainsi que l'implantation et l'esthétique des constructions. L'art. 62 RPGA réserve l'application de la LATC pour tout ce qui ne figure pas dans le règlement. L'art. 85 LATC, autorise la municipalité, dans la mesure où le règlement communal le prévoit, d'accorder des dérogations aux plans et à la réglementation y afférente, pour autant que des motifs d'intérêts publics ou des circonstances objectives le justifient. L'octroi de dérogation ne doit pas porter atteinte à un autre intérêt public ou à des intérêts prépondérants de tiers. L'art. 86 LATC est une règle générale d'esthétique et d'intégration des constructions. Cette disposition prévoit que la municipalité veille à ce que les constructions, quelle que soit leur destination, ainsi que les aménagements qui leur sont liés, présentent une aspect architectural satisfaisant et s'intègre à l'environnement (al. 1).
5.3. En l'espèce, la hauteur au faîte du toit du bâtiment principal est de 12 m (cf. autorisation de construire 2017/12) alors que la hauteur prévue du silo à fourrage est de 15 m. Celui-ci présente une capacité de 400 m 3. Il est, selon la synthèse CAMAC, une des installations connexes de l'exploitation de l'intimé, reconnue comme exploitation agricole au sens de l'art. 6 al. 1 let. a de l'ordonnance sur la terminologie agricole et la reconnaissance des formes d'exploitation (OTERM; RS 910.91). Selon le préavis du SAVI, les besoins du silo sont justifiés pour stoker le fourrage destiné aux taureaux. Certes, il n'est pas contesté que la hauteur du silo dépasse de 3 m la hauteur du faîte du toit de l'installation. Il n'en demeure pas moins, comme l'a relevé la cour cantonale, que le règlement communal ne pose pas de règle expresse sur la hauteur maximale des silos. En faisant dépendre la hauteur du silo de la construction connexe, l'art. 47 RPGA a pour but de préserver l'esthétique du bâti en zone agricole, comme le souligne l'art. 1 RPGA. Or, selon la jurisprudence, les autorités communales conservent une importante marge d'appréciation pour appliquer les dispositions en matière d'intégration et d'esthétique, au nom de leur autonomie communale (cf. arrêt 1C_96/2018 du 11 octobre 2016 consid. 3.3.2), y compris à l'intérieur de la zone agricole (cf. arrêt 1C_80/2015 du 22 décembre 2015 consid. 2.4.3). La cour cantonale a du reste examiné quels étaient les motifs d'intérêts publics et les circonstances justifiant les dimensions du silo. Elle a en particulier souligné que son volume était rendu nécessaire par l'importance de l'exploitation; sa hauteur permettait ainsi de réduire son emprise au sol. La situation excentrée des constructions prévues, ajoutée au fait qu'elles se trouvaient en contrebas du village, diminuaient en outre l'impact de cette hauteur. Le projet prévoyait enfin également l'implantation de dix vergers à hautes tiges ainsi que plusieurs autres plantations, diminuant d'autant l'impact visuel du silo, assurant ainsi l'intégration de la construction.
Aussi, fondée sur des critères objectifs, liés non seulement aux besoins de l'exploitation agricole, mais également aux circonstances locales, la solution entérinée par la cour cantonale échappe-t-elle à l'arbitraire. Le grief est rejeté.
6.
Les considérants qui précèdent conduisent au rejet du recours dans la mesure de sa recevabilité, aux frais des recourants, qui succombent (<ref-law>). Ceux-ci verseront en outre une indemnité de dépens à l'intimé, qui obtient gain de cause avec l'assistance de son assureur de protection juridique (<ref-law>; BERNARD CORBOZ, Commentaire de la LTF, 2 ème édition 2014, n. 13 ad <ref-law> et la référence à l'<ref-ruling> consid. 3-3.3 p. 477 ss). La municipalité, qui a agi dans l'exercice de ses attributions officielles, n'y a en revanche pas droit (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Une indemnité de 3'000 fr. est allouée à l'intimé, à titre de dépens, à la charge solidaire des recourants.
4.
Le présent arrêt est communiqué aux mandataires des parties et de la Municipalité de Vulliens, au Service du développement territorial du canton de Vaud, à la Direction générale de l'environnement du canton de Vaud (DGE-DIRNA), à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral du développement territorial.
Lausanne, le 27 mai 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
Le Greffier : Alvarez