Faits :
A.
C._ est propriétaire des parcelles nos 107 (22'447 m2) et 109 (23'168 m2) de la Commune de Vulliens, sises en zone agricole, situées à l'est du village. La parcelle n° 107 comporte plusieurs constructions, dont une habitation avec rural ainsi que des bâtiments agricoles. A l'est de ces bâtiments, à cheval sur les deux parcelles, se trouve un poulailler en un secteur constitué en droit distinct et permanent. C._ exploite sur ses parcelles une entreprise agricole; il détient 135 têtes de bétail représentant 100 UGB et 9'000 poules pondeuses représentant 90 UGB. La parcelle n° 109 est contiguë, au nord, à la parcelle n° 111 sur laquelle est sise l'église communale, classée monument historique au sens des art. 52 ss de la loi vaudoise du 10 décembre 1969 sur la protection de la nature, des monuments et des sites (LPNMS; RSV 450.11). Le cimetière attenant à l'église est inscrit à l'inventaire des monuments historiques non classés au sens des art. 49 ss LPNMS.
En janvier 2015, un incendie a complètement détruit le bâtiment d'habitation et rural de la parcelle n° 107. Désirant reconstruire son rural destiné à loger le bétail et l'agrandir afin de se mettre aux normes en matière de détention d'animaux et regrouper tous ses animaux au même endroit, C._ a déposé, le 7 septembre 2015, une demande de permis de construire auprès de la Municipalité de Vulliens. Cette demande porte sur la reconstruction et l'agrandissement du rural suite à l'incendie de janvier 2015, la création d'une chambre de 20 m2 pour le personnel, l'installation de panneaux photovoltaïques d'une surface totale approximative de 3'430 m2, la création d'un bassin de rétention des eaux claires d'environ 200 m3et des raccordements eaux usées-eaux claires dans les collecteurs communaux existants. Le projet prévoit une surface bâtie de 5'233 m2 (soit 1'397 m2 de plus que celle du précédent bâtiment). La surface brute utile de plancher passe de 3'836 m2 à 6'018 m2 (2'182 m2 ajoutés dont 20 m2 consacrés au logement). Quant au volume en cube SIA, il passe de 18'842 m3 à 60'872 m3 (42'030 m3 ajoutés). Le bâtiment à reconstruire devrait avoir une longueur d'une centaine de mètres pour une hauteur de 14 m. Deux fosses à purin sont prévues, dont l'une, avec un volume de 780 m3, existe déjà et l'autre, avec un volume de 1'260 m3, doit être construite. Le projet prévoit 100 UGB de bétail (vaches laitières et jeune bétail). Le nombre de poules prévues n'était pas précisé à ce stade.
Mis à l'enquête publique du 19 septembre au 18 octobre 2015, le projet a suscité trois oppositions, dont celle de A._ et B._, propriétaires de la parcelle n° 441.
Des plans modifiés du 17 décembre 2015 ont été remis à la municipalité. Les modifications portaient essentiellement sur les aménagements destinés à limiter l'impact visuel de la ferme sur le voisinage direct, ainsi que sur la diminution du cheptel, de 140 UGB à 120 UGB répartis de la manière suivante: 100 têtes de bétail (comptant pour 50 UGB compte tenu de la consommation de fourrages grossiers) et 70 UGB poules (précédemment 90 UGB). Il est également prévu d'inscrire au registre foncier une mention indiquant qu'en cas de cessation de l'activité agricole sur les parcelles concernées par le projet, l'agrandissement réalisé lors de la reconstruction de la ferme sera démonté afin d'arriver, le cas échéant, à une surface d'exploitation identique à celle existante avant sinistre.
Le Service cantonal vaudois de l'agriculture et de la viticulture (SAVI) a préavisé favorablement le projet. Le Service cantonal du développement territorial (SDT) a délivré l'autorisation spéciale requise moyennant respect des conditions liées aux choix de matériaux et couleurs du bâtiment. Le Service cantonal immeuble, patrimoine et logistique, Section monuments et sites (SIPAL) a préavisé négativement le projet, compte tenu de son ampleur et de sa proximité de l'église, tout en laissant au SDT l'appréciation des divers enjeux et la compétence de la protection de ce patrimoine. La Direction générale de l'environnement, Direction de l'environnement industriel, urbain et rural - Air climat et risques technologiques (DGE-DIREV-ARC) a préavisé favorablement le projet moyennant respect de conditions dans la manière de gérer les émissions d'odeurs.
Les opposants ont demandé la récusation de C._ en sa qualité de municipal, de même que celle de deux autres municipaux (D._ et E._) à qui ils reprochaient d'être prévenus en faveur du constructeur.
B.
Par décisions du 12 mai 2016, statuant sans C._, la municipalité a rejeté la demande de récusation des municipaux D._ et E._, levé les oppositions et délivré le permis de construire sollicité.
Les opposants ont formé recours contre ces décisions auprès de la Cour de droit administratif et public du Tribunal cantonal vaudois (CDAP).
En cours d'instance, savoir le 22 juillet 2016, la municipalité, composée de trois conseillers municipaux, a rendu une décision de "confirmation de la levée d'opposition" confirmant également la délivrance du permis de construire. Cette décision indiquait expressément qu'elle avait été prise par la Municipalité composée de F._, G._ et H._, étant précisé que ni C._ ni D._ n'avaient participé au processus ayant conduit à cette décision.
Par arrêt du 5 mai 2017, après avoir tenu audience et procédé à une vision locale en présence des parties, la CDAP a confirmé les décisions des 12 mai et 22 juillet 2016.
C.
Agissant par la voie du recours en matière de droit public, A._ et B._ demandent au Tribunal fédéral d'annuler l'arrêt attaqué ainsi que les autorisations délivrées à C._. Subsidiairement, il concluent au renvoi de la cause à la cour cantonale pour nouveau jugement au sens des considérants.

La cour cantonale renonce à se déterminer et conclut au rejet du recours en se référant aux considérants de son arrêt. Le SDT et la Municipalité de Vulliens déposent des observations et concluent au rejet du recours. La Direction générale de l'environnement (DGE) n'a aucune observation complémentaire à formuler et se réfère également à l'arrêt attaqué. Le constructeur conclut au rejet du recours. Consulté, l'Office fédéral de l'environnement (OFEV) dépose des observations et indique qu'il considère l'arrêt attaqué conforme au droit fédéral. L'Office fédéral du développement territorial renonce à prendre position dans cette affaire.
Les parties confirment leur position respective dans un nouvel échange d'écritures.
Constatant que les travaux litigieux avaient commencé, les recourants ont requis que le recours soit assorti de l'effet suspensif et qu'il soit ordonné l'arrêt immédiat des travaux sous menace de la peine d'amende de l'<ref-law>. Le constructeur s'est opposé à l'octroi de l'effet suspensif.
Par ordonnance du 20 mars 2018, le Juge instructeur a rejeté la requête d'effet suspensif.
Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans une cause relevant du droit de la police des constructions et de l'aménagement du territoire (<ref-law>), le recours est en principe recevable comme recours en matière de droit public, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Les recourants ont pris part à la procédure devant l'instance cantonale; ils sont particulièrement atteints par l'arrêt attaqué et ont un intérêt digne de protection à sa modification, celui-ci confirmant une autorisation de construire délivrée pour des aménagements sur une parcelle située à proximité directe de la leur. Ils ont ainsi qualité pour recourir au sens de l'<ref-law>.
Les autres conditions de recevabilité sont réunies si bien qu'il y a lieu d'entrer en matière sur les recours.
2.
Dans la première partie de leur mémoire, les recourants présentent un état de fait détaillé, sans toutefois faire valoir que celui de l'arrêt attaqué aurait été établi de façon manifestement inexacte (c'est-à-dire arbitraire) ni expliquer en quoi une modification de l'état de fait serait susceptible d'influer sur le sort de la cause au sens de l'<ref-law>. Dans de telles circonstances, le Tribunal fédéral ne prend pas en considération la version des faits présentée par les recourants et s'en tient à l'état de fait de l'arrêt cantonal.
Dans leur seconde écriture, les recourants se prévalent d'une constatation incomplète de faits décisifs pour le sort de la cause par la cour cantonale. Ils se plaignent de ce que celle-ci n'ait pas instruit les questions de l'existence de phénomènes thermiques et de leur incidence sur leur propriété en fonction de la topographie et d'une détermination précise des différentes altitudes. Ainsi qu'on le verra ci-dessous (consid. 5), la cour cantonale n'a pas méconnu l'importance de la pente qui s'étend de la parcelle litigieuse à celle des recourants. Qu'elle ait jugé que cette pente n'était pas comparable à une forte pente de caractère alpin ne signifie en effet pas qu'elle l'ait minimisée. Au contraire, comme le relèvent pourtant les recourants, la cour cantonale a admis que la parcelle litigieuse surplombait "largement" la leur. La question de savoir si cette pente était de nature à avoir une influence sur les émanations d'odeurs est une question d'appréciation, basée sur les divers textes légaux applicables, en particulier les directives topiques en la matière. Si la pente est bien visible à la lecture de la carte topographique officielle, il n'apparaît pas qu'elle atteigne des degrés extrêmes comme le laissent entendre, sans le démontrer, les recourants. Il n'y a dès lors pas matière à rectifier l'état de fait de l'arrêt attaqué.
3.
Dans un grief de nature formelle, qu'il convient d'examiner en premier lieu, les recourants se plaignent d'une violation de leur droit d'être entendus en raison du refus de la cour cantonale d'administrer certaines preuves qu'ils avaient requises. Ils avaient demandé la mise en oeuvre d'une enquête relative aux risques d'immissions excessives au sens de l'art. 2 al. 5 let. b de l'ordonnance du 16 décembre 1985 sur la protection de l'air (OPair; RS 814.318.142.1) ainsi que l'audition de témoins.
3.1. Tel qu'il est garanti par l'art. 29 al. 2 Cst., le droit d'être entendu comprend en particulier le droit pour le justiciable de participer à l'administration des preuves, d'en prendre connaissance et de se déterminer à leur propos. Cette garantie constitutionnelle n'empêche pas l'autorité de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 6.3.1 p. 299 et les références citées).
Selon l'<ref-law>, des immissions sont considérées comme excessives lorsque, sur la base d'une enquête, il est établi qu'elles incommodent sensiblement une importante partie de la population. Selon les directives du rapport FAT n° 476 (cf. ci-dessous consid. 5.1), pour pouvoir considérer qu'une "importante partie de la population" est incommodée, il faut que 25 % des habitants du secteur concerné se sentent sensiblement gênés. En outre, une telle enquête doit apporter au moins vingt réponses parmi les personnes questionnées pour que le résultat soit concluant.
3.2. La cour cantonale a tenu pour établi que certains voisins se plaignaient des odeurs de l'exploitation agricole et a jugé qu'il n'était partant pas nécessaire de les faire entendre ni de mener une enquête en ce sens.
Vu le contexte particulier - préexistence (jusqu'à l'incendie) des éventuelles nuisances dans le cadre d'une procédure d'octroi d'autorisation de construire -, l'enquête publique était en réalité l'occasion pour toutes les personnes concernées, et cas échéant incommodées, de faire valoir leur gêne. Dans ces circonstances, les seules oppositions de deux autres voisins permet, d'une part, comme l'a fait la cour cantonale, de tenir la gêne de certains voisins pour établie et, d'autre part, de douter de la pertinence d'une enquête supplémentaire au sens de l'<ref-law>. Les recourants font valoir que l'audition de ces témoins aurait permis de préciser la perception par le voisinage de la fréquence ainsi que l'intensité des émanations malodorantes et donner des indications sur l'influence éventuelle du relief et des vents sur la dispersion des odeurs. Or, pour les motifs susmentionnés, une fois la gêne des voisins concernés établie, on ne voit pas en quoi la perception des odeurs par ce voisinage devait être plus amplement précisée, dans la mesure où cela ne permettait pas d'en déduire qu'une "importante partie de la population" était incommodée.
Le refus de la cour cantonale de procéder à des mesures d'instruction complémentaires ne viole ainsi pas le droit d'être entendus des recourants.
4.
Les recourants font valoir une violation des art. 16a LAT (RS 700) et 34 de l'ordonnance du 28 juin 2000 sur l'aménagement du territoire (OAT; RS 700.1). Ils considèrent que les exigences en matière d'aménagement du territoire n'ont pas été respectées, dès lors que des intérêts prépondérants - en substance la protection des abords de l'église classée monument historique sise à proximité - s'opposeraient à l'implantation de la construction à l'endroit prévu.
4.1. A teneur de l'art. 22 al. 2 let. a LAT, une autorisation de construire ne peut être délivrée que si la construction ou l'installation projetée est conforme à l'affectation de la zone; tel est le cas lorsque sa fonction concorde avec celle de la zone concernée (DFJP/OFAT, Etude relative à la loi fédérale sur l'aménagement du territoire, 1981, n. 29 ad art. 22 LAT). Hors de la zone à bâtir, de façon générale, la conformité est liée à la nécessité: la construction doit être adaptée, par ses dimensions et son implantation, aux besoins objectifs du propriétaire ou de l'exploitant. Cette clause du besoin est clairement exprimée pour les zones agricoles à l'art. 16a al. 1 LAT.
Il y a ainsi lieu de limiter les constructions nouvelles à celles qui sont réellement indispensables à l'exploitation afin de garantir que la zone en question demeure une zone non constructible (<ref-ruling> consid. 4.2 p. 374; <ref-ruling> consid. 3.2 p. 415). Le critère de la nécessité implique aussi que les intérêts en présence soient appréciés et mis en balance. L'implantation et la conception architecturale de la construction ne doivent contrevenir à aucun intérêt prépondérant (cf. <ref-law>). L'appréciation doit se faire à l'aune des buts et principes énoncés aux art. 1 et 3 LAT (arrêt 1C_618/2014 du 29 juillet 2015 consid. 4.1, in RDAF 2015 I p. 499; 1C_107/2011 du 5 septembre 2011 consid. 4.1), mais également des autres prescriptions du droit fédéral, notamment la LPE (RS 814). Dans tous les cas, vu l'important intérêt public à éviter la dispersion des constructions, les bâtiments et installations doivent être regroupés autant que possible (" Konzentrationsprinzip ") (<ref-ruling> consid. 2.5 p. 54; arrêt 1C_892/2013 du 1er avril 2015 consid. 3.1 in RDAF 2015 I p. 453).
S'agissant de bâtiments d'habitation agricoles transformés en habitations sans rapport avec l'agriculture (art. 24d LAT), l'<ref-law> prévoit expressément que leur reconstruction peut être admise si la destruction était due à un cas de force majeure.
4.2.
4.2.1. En l'occurrence, le propriétaire de la construction à vocation agricole détruite par force majeure bénéficie de la garantie de la situation acquise quant à l'emplacement du bâtiment à reconstruire. En effet, si tel est le cas pour un bâtiment non agricole en vertu de l'<ref-law>, ce sera à plus forte raison le cas pour un bâtiment agricole conforme à l'affectation de la zone. On ne saurait ainsi soumettre l'emplacement du bâtiment aux conditions d'une construction totalement nouvelle. Cela vaut avant tout pour la reconstruction. La cour cantonale a sur ce point relevé que la subsistance de structures existantes, en particulier la fosse à purin, ainsi que les conditions fixées par l'assurance contre l'incendie pour le versement de l'indemnisation justifiaient, voire imposaient, une reconstruction au même endroit. A ce titre, l'emplacement de la reconstruction doit être tenu pour acquis.
4.2.2. Pour un éventuel agrandissement, les conditions prescrites par les art. 22 LAT et 34 OAT doivent être respectées. Dans le cadre de l'examen de la conformité du projet à l'<ref-law>, l'aspect du bâtiment et ses dimensions doivent évidemment faire l'objet d'une attention particulière.
Vu les dispositions du droit cantonal en cause et s'agissant de circonstances locales, le Tribunal fédéral évalue avec retenue l'appréciation des premiers juges quant à l'atteinte à la protection du patrimoine alléguée par les recourants. En l'occurrence, la cour cantonale a constaté que la distance préconisée par le plan directeur cantonal pour les constructions aux abords d'un objet protégé n'était pas respectée. Elle a toutefois considéré qu'il s'agissait d'une distance théorique dont il était possible de s'écarter, que les abords de l'église concernée n'étaient pas exempts de toute construction et que des conditions particulières pour le traitement des façades étaient imposées. Critiquant cette appréciation, les recourants se contentent d'affirmer de façon appellatoire que l'atteinte à l'objet protégé est manifeste, sans exposer en quoi tel serait le cas. Le service cantonal spécialisé en matière de protection du patrimoine, s'il a préavisé négativement le projet, a toutefois tempéré cette appréciation en s'en remettant expressément au service compétent en matière d'aménagement du territoire, ce que l'on peut comprendre comme une confirmation de la prépondérance des intérêts d'une utilisation mesurée du sol à ceux de la protection du patrimoine.
Pondérés avec un souci de rationalisation du travail de l'exploitant, mais également de l'utilisation du sol - toute l'exploitation étant regroupée en un seul bâtiment, sur une parcelle directement contiguë à la zone à bâtir -, ainsi qu'avec le fait qu'une mention au registre foncier impose le démantèlement de la partie agrandie en cas de cessation de l'exploitation agricole, la cour cantonale pouvait, sans violer le droit fédéral de l'aménagement du territoire, faire prévaloir l'intérêt à l'agrandissement du bâtiment sur les aspects de protection du patrimoine.
4.3. Par conséquent, le grief lié à la violation des art. 16a LAT et 34 OAT peut être rejeté.
5.
Les recourants se plaignent d'une violation des directives fédérales en matière de distances à respecter pour les bâtiments d'exploitations d'élevages d'animaux.
5.1. En vertu de l'<ref-law> (RS 814.01), les pollutions atmosphériques, par quoi l'on entend les modifications de l'état naturel de l'air provoquées notamment par les odeurs (<ref-law>; cf. FF 1979 III 778), sont limitées par des mesures prises à la source. La loi fédérale prévoit à cet égard une action à deux niveaux. Indépendamment des nuisances existantes, il importe tout d'abord, à titre préventif, de limiter les émissions dans la mesure que permettent l'état de la technique et les conditions d'exploitation et pour autant que cela soit économiquement supportable (<ref-law>). Des limitations fondées sur ces principes figurent dans des ordonnances qui fixent en particulier des valeurs limites d'émissions (<ref-law>) ou des prescriptions en matière de construction (<ref-law>). L'ordonnance du 16 décembre 1985 sur la protection de l'air (OPair; 814.318.142.1) comporte ainsi dans ses annexes 1 à 4 des dispositions relatives à la limitation préventive des émissions (cf. <ref-law>). Dans un second temps, la loi prévoit ensuite que les émissions seront limitées plus sévèrement s'il appert ou s'il y a lieu de présumer que les atteintes, eu égard à la charge actuelle de l'environnement, seront nuisibles ou incommodantes (<ref-law> et 5 OPair; cf. consid. 6 ci-desous).
S'agissant des limitations préventives de base, le chiffre 512 de l'annexe 2 OPair impose, pour la construction d'une installation d'élevage traditionnel ou d'élevage intensif, le respect des distances minimales jusqu'à la zone habitée, requises par les règles de l'élevage, étant précisé que sont notamment considérées comme telles les recommandations de la Station fédérale de recherches d'économie d'entreprise et de génie rural de Tänikon (FAT) et, en particulier, le Rapport FAT n° 476 de 1996 «Distances minimales à observer pour les installations d'élevage d'animaux». Ces prescriptions s'appliquent aux nouvelles installations stationnaires (<ref-law>), soit en particulier aux bâtiments et autres ouvrages fixes (<ref-law>), y compris les installations transformées, agrandies ou remises en état lorsque le changement laisse présager des émissions plus fortes ou différentes et lorsque l'on consent des dépenses supérieures à la moitié de ce qu'aurait coûté une nouvelle installation (<ref-law>).
En mars 2005, la FAT a mis en consultation en collaboration avec l'Office fédéral de l'environnement un projet de révision du rapport FAT n° 476. Vu les critiques auxquelles s'est heurté ce projet, celui-ci a été retiré. Compte tenu du caractère déjà ancien du rapport FAT n° 476 (cf. <ref-ruling> consid. 6.2 p. 380), les autorités se réfèrent toutefois régulièrement au projet de 2005. Si celui-ci, retiré, ne saurait avoir force obligatoire en lieu et place du rapport de 1996, il y a toutefois lieu de s'en inspirer dans la mesure utile (arrêt 1C_260/2016 du 6 juin 2017 consid. 3.6, in DEP 2018 p. 22).
5.2.
5.2.1. En l'occurrence, les recourants critiquent la prise en compte d'un facteur de correction de 1,0 et non de 1,2 par rapport à la distance minimale calculée, alors que la topographie du terrain imposait selon eux de tenir compte du second chiffre. Tant le rapport FAT de 1996 que le projet de 2005 prescrivent, une fois la distance minimale calculée, un facteur de correction de 1,0 lorsque l'exploitation est située en terrain relativement plat et un facteur de correction de 1,2 lorsque celle-ci est située en pente, au bord d'une pente ou dans une vallée encaissée. La cour cantonale a confirmé l'appréciation de la DGE selon laquelle le facteur 1,0 était adéquat en l'espèce, le facteur de correction 1,2 étant appliqué dans des contextes de pentes particulièrement marquées à l'exemple d'un pâturage alpin, ce qui n'est pas le cas ici, le terrain du constructeur présentant une légère pente amplement insuffisante pour modifier significativement la dispersion des odeurs.
Le seul argument que les recourants font valoir à l'encontre de cette appréciation est que le contexte alpin ferait l'objet d'un facteur de correction spécifique, soit celui de l'altitude, de sorte que l'explication donnée par les autorités précédentes (soit l'exemple de fortes pentes de caractère alpin) pour ne pas retenir le facteur de correction 1,2 lié à la topographie serait sans pertinence. Ce faisant, les recourants méconnaissent la raison d'être du facteur de correction lié à l'altitude: il s'agit en réalité de tenir compte de températures moins élevées lorsque l'altitude augmente, la sensibilité de l'odorat humain diminuant en conséquence (projet FAT 2005, p. 11). Ce facteur de correction étant sans rapport avec la pente, on ne saurait exclure, comme l'affirment les recourants, que le facteur de correction 1,2 soit appliqué avant tout à de fortes pentes en milieu alpin. On ne saurait ainsi critiquer le point de vue des autorités spécialisées, confirmé par l'OFEV, qu'en conséquence le facteur de correction n'a pas à être appliqué à certaines pentes plus douces du plateau, dépendant de la configuration plus générale dans laquelle elles se trouvent. En effet, l'OFEV confirme que l'appréciation de la cour cantonale est plausible, la déclivité du terrain, avérée, n'étant selon l'office pas suffisante pour justifier un facteur de correction de 1,2.
En définitive, on ne voit pas - et les recourants n'en font en réalité pas valoir - de raisons de s'écarter de l'appréciation des premiers juges qui se sont rendus sur place pour apprécier la topographie des lieux.
5.2.2. Les recourants critiquent également la prise en considération d'une réduction de 30 % de la distance minimale en vertu de la règle du ch. 2.3 du rapport FAT n° 476. Celle-ci prescrit que les distances minimales calculées peuvent être réduites de 30 %, dès lors qu'elles sont prescrites pour des zones d'habitation pures, alors que les habitants des zones dans lesquelles sont admises des entreprises moyennement gênantes doivent accepter des immissions d'odeurs dans une mesure plus large, le supplément de sécurité intégré au calcul ne devant alors pas être pris en considération.
Contrairement à ce que font valoir les recourants, cette règle subsiste dans le projet de 2005. Le chiffre 2.1 du projet prévoyait en effet que les distances minimales s'appliquaient à hauteur de 100 % dans des zones strictement d'habitation, de 70 % dans des zones mixtes avec habitations et artisanat modérément dérangeant et de 50 % dans les zones agricoles, les distances aux limites de zones devant être pondérées en conséquence. Les instances précédentes n'ont ainsi pas méconnu "les progrès de la technique résultant du projet de rapport de 2005", comme l'affirment les recourants. En outre, vu la situation des habitations concernées en bordure de la zone agricole, la réduction de la distance minimale à raison de la mixité de l'affectation du territoire peut être confirmée.
5.2.3. Vu ce qui précède, les prescriptions de la LPE et de l'OPair, en particulier les recommandations de la FAT auxquelles celle-ci se réfère, sont respectées.
6.
Les recourants se plaignent également d'une violation des art. 2 al. 5 let. b et 5 OPair.
6.1. S'il est à prévoir qu'une installation projetée entraînera des immissions excessives, quand bien même elle respecte la limitation préventive des émissions, l'autorité impose une limitation d'émissions complémentaire ou plus sévère (<ref-law> et 5 al. 1 OPair). Des immissions sont considérées comme excessives lorsque, notamment, sur la base d'une enquête, il est établi qu'elles incommodent sensiblement une importante partie de la population (<ref-law>). Une limitation plus sévère des émissions d'odeurs peut alors être exigée par des prescriptions concernant la construction (enveloppe du bâtiment, système d'aération, épuration de l'air vicié) ou le mode d'élevage (autre forme de stabulation, réduction du nombre d'animaux, etc.) (rapport FAT n° 476 ch. 1.2 p. 3).
Les mesures de limitation préventive des émissions fondées sur l'<ref-law> ne doivent pas être appliquées de manière rigide et absolue, mais dans le respect du principe de la proportionnalité garanti notamment par cette disposition, en particulier lorsqu'elles empêcheraient une exploitation normale de l'installation polluante. Dans cette perspective, l'autorité chargée d'appliquer les prescriptions du chiffre 512 de l'annexe 2 OPair ne saurait faire abstraction des circonstances concrètes en exigeant impérativement que la distance minimale soit respectée par rapport à la limite de la zone habitée voisine (arrêt 1P.336/1996 du 25 novembre 1996 consid. 3d, in DEP 1997 p. 205).
6.2. En l'occurrence, la cour cantonale a tenu pour avéré le fait que plusieurs voisins s'étaient plaints des nuisances olfactives de l'exploitation agricole litigieuse. Elle a toutefois considéré qu'il n'y avait pas lieu en l'état de retenir que les installations litigieuses entraîneront des immissions excessives, au vu, essentiellement, des mesures actives et passives imposées par la DGE-DIREV-ARC. Parmi les mesures actives, il s'agit, outre la fermeture de la nouvelle fosse à purin à l'instar de l'ancienne, d'assurer une bonne dispersion des odeurs par une ventilation et une évacuation d'air vicié convenables, de bien exploiter les volumes de fosses à purin et de fumières pour pouvoir choisir un moment d'évacuation favorable, de faire ce choix en fonction de conditions météorologiques et des jours de semaine propices pour les vidanges et évacuations (éviter les temps lourds et les directions de vent défavorables, éviter les week-ends). L'autorité a ajouté comme condition, à titre de mesure passive, d'entretenir correctement un écran de protection visuel (végétal ou fixe). A cet égard, après une première consultation des services cantonaux, il avait été imposé une arborisation supplémentaire aux alentours des constructions et installations.
Dans ces conditions, on ne saurait considérer, comme le font les recourants, que l'<ref-law> n'a pas été respecté, des mesures particulières étant imposées à l'exploitant. Comme l'ont relevé tant la DGE que la cour cantonale, si des nuisances olfactives devaient se révéler excessives une fois l'exploitation en activité, d'autres mesures pourraient être prises au sens de l'<ref-law> qui règle la situation des installations existantes. En l'état, il n'y a toutefois pas lieu de s'écarter de l'appréciation des premiers juges confirmant celle de la DGE en ce sens que les prescriptions de l'OPair sont respectées quant à ce qui est exigible au stade de la délivrance de l'autorisation de construire.
7.
Les recourants se plaignent d'arbitraire dans l'application de l'art. 83 de la loi cantonale du 28 octobre 2008 sur la procédure administrative (LPA; RSV 173.36). Ils considèrent que la cour cantonale ne pouvait valider le procédé de la commune qui a rendu, en cours d'instance cantonale, une décision dans une composition modifiée pour statuer sur la demande de récusation présentée par les recourants. Poserait notamment problème le fait qu'ils avaient également des motifs de récusation à faire valoir contre les conseillers municipaux ayant pris part à la seconde décision.
7.1. Sous réserve des cas visés à l'art. 95 let. c à e LTF, la violation du droit cantonal ou communal ne constitue pas un motif de recours. Il est néanmoins possible de faire valoir que l'application des dispositions cantonales ou communales consacre une violation d'une norme de droit fédéral au sens de l'<ref-law>, telle que l'art. 9 Cst. garantissant la protection contre l'arbitraire (<ref-ruling> consid. 2.2 p. 69; <ref-ruling> consid. 3 p. 351). Appelé à revoir l'application faite d'une norme cantonale ou communale sous l'angle de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue que si celle-ci apparaît insoutenable ou en contradiction manifeste avec la situation effective, ou encore si elle a été adoptée sans motifs objectifs et en violation d'un droit certain. En outre, il ne suffit pas que les motifs de la décision critiquée soient insoutenables, encore faut-il que celle-ci soit arbitraire dans son résultat. Si l'application de la loi défendue par l'autorité cantonale ne se révèle pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - éventuellement plus judicieuse - paraît possible (<ref-ruling> consid. 2.1 p. 168; <ref-ruling> consid. 4.3 p. 319; <ref-ruling> consid. 6.1 p. 379).
L'art. 83 al. 1 LPA prévoit que, dans la procédure de recours, en lieu et place de ses déterminations, l'autorité intimée peut rendre une nouvelle décision partiellement ou totalement à l'avantage du recourant.
7.2. Alors que les recourants se plaignaient d'une violation des règles sur la récusation dans le cadre de la décision prise le 12 mai 2016 par la municipalité, celle-ci a rendu une nouvelle décision le 22 juillet 2016 dans une composition modifiée, sans les conseillers municipaux dont les recourants demandaient initialement la récusation. La cour cantonale a considéré que cette nouvelle décision, rendue sans motivation, mais confirmant la teneur de la précédente et précisant la composition dans laquelle elle était rendue, valait décision sur la demande de récusation - de sorte que ce grief déposé devant elle devenait sans objet -, les autres questions demeurant régies par la décision du 12 mai 2016.
Les recourants exposent qu'ils avaient annoncé à la Juge instructrice de la cour cantonale qu'ils avaient des motifs de récusation à faire valoir à l'égard des conseillers municipaux ayant pris part à la seconde décision, G._ et H._, et avaient exposé lesquels. En pareil cas, et dès lors que, ne pouvant s'attendre à une nouvelle décision, ils n'avaient pu faire valoir leurs motifs de récusation auparavant, la cour cantonale aurait selon eux dû examiner le bien-fondé des nouveaux griefs d'apparence de prévention.
Il résulte de l'arrêt attaqué que la voie de droit ordinaire, s'agissant de la contestation d'une décision revêtant un caractère politique prépondérant ou portant sur des vices de procédures ou d'autres irrégularités susceptibles d'avoir affecté la décision de la municipalité, est le recours administratif au Conseil d'Etat. Récemment, le Tribunal cantonal a toutefois jugé qu'il était compétent par attraction de compétence pour statuer sur le grief de récusation de membres d'une municipalité dans le cadre d'un recours contre une décision relevant de sa compétence au fond (cf. la jurisprudence citée dans l'arrêt attaqué, consid. 2a p. 13: arrêt AC.2016.0045 du 11 avril 2017). En l'occurrence, les recourants avaient fait valoir leurs griefs relatifs à la récusation pour la première décision dans leur recours à la CDAP. En revanche, s'agissant des griefs dirigés contre les conseillers municipaux ayant pris part à la seconde décision, les recourants ne les ont fait valoir ni dans une demande formelle adressée dès la connaissance du vice (art. 10 al. 2 LPA; cf. <ref-ruling> consid. 2.2 p. 4), leur (simple) lettre à la juge instructrice ayant été adressée près d'un mois après le prononcé de cette décision, ni dans le cadre d'un recours administratif auprès du Conseil d'Etat. Dans de telles circonstances, si cela résulte certes d'un formalisme relativement sévère à l'égard des recourants, la cour cantonale pouvait considérer qu'elle n'avait pas à statuer sur les motifs de récusation allégués à l'encontre des conseillers municipaux de la seconde décision. Cette pratique n'est en effet pas constitutive d'arbitraire.
Quant à la question plus directement liée à l'art. 83 LPA de savoir si la nouvelle décision, même non motivée, pouvait suffire à valider la précédente sans la remplacer au fond, elle peut demeurer indécise, les recourants ne détaillant aucune argumentation en ce sens, ce en dépit des exigences de motivation de l'<ref-law>.
8.
Les recourants se plaignent d'une application arbitraire de l'art. 54 du règlement sur le plan général d'affectation de la Commune de Vulliens (RPGA), qui prévoit que, "dans toutes les zones, les chenils, les parcs avicoles et agricoles, les porcheries industrielles ou autres élevages industriels, ainsi que les entreprises pouvant porter préjudice au voisinage (bruits, odeurs, fumée, trafic, dangers, etc) ou compromettre le caractère des lieux sont interdits". Il serait selon eux manifeste que l'autorisation litigieuse viole cette interdiction.
La cour cantonale a considéré qu'il était douteux que cette disposition ait une portée propre s'agissant des exigences fédérales relatives aux constructions sises en zone agricoles. Elle a par conséquent rejeté le grief sans plus ample explication.
L'art. 22 al. 3 LAT prévoit que le droit fédéral et le droit cantonal peuvent prévoir d'autres conditions à la délivrance d'une autorisation de construire un objet conforme à l'affectation de la zone. Cela suppose que les cantons exercent une souveraineté en matière d'autorisation de construire, dans les limites du droit fédéral (DFJP/OFAT, op. cit., n° 35 ad art. 22). Cette souveraineté peut notamment se concrétiser par une délégation de compétence aux communes. Certes, s'agissant de l'admissibilité des constructions en zone agricole, le droit fédéral a largement et dans le détail réglementé les possibilités de construire. Il n'en demeure pas moins que l'aménagement du territoire est une tâche du canton (art. 75 al. 1 Cst.). Il n'est ainsi pas manifeste que le droit fédéral applicable proscrive une telle règle communale interdisant certaines exploitations d'une certaine intensité, malgré leur conformité à l'affectation de la zone. Cela étant, la question du sort à réserver, sous l'angle d'un examen limité à l'arbitraire, à la décision cantonale qui n'applique pas la disposition communale posant des conditions plus strictes à la construction agricole en zone agricole que le droit fédéral, peut demeurer indécise.
En tout état en effet, les recourants ne démontrent pas en quoi l'art. 54 RPGA aurait été violé en l'espèce, moins encore en quoi le résultat de son application serait arbitraire. Il n'est en effet d'une part pas établi que le projet litigieux doive être qualifié d'exploitation industrielle au sens du règlement communal. Comme le relève la municipalité, le projet litigieux est en-dessous du seuil des exploitations soumises à l'étude d'impact (cf. art. 1 de l'ordonnance du 19 octobre 1988 relative à l'étude de l'impact sur l'environnement [OEIE; 814.011], ch. 80.4 annexe OEIE). Il n'est d'autre part pas établi que le projet doive être considéré comme portant préjudice au voisinage vu le respect des législations topiques en matière d'immissions (consid. 5 et 6 ci-dessus). Les recourants n'apportent aucun élément permettant de le présumer de sorte que leur grief, examiné sous l'angle de l'arbitraire, doit être rejeté.
9.
Les recourants évoquent encore une mauvaise application des art. 46 al. 3 et 47 al. 1 LPNMS.
9.1. Les griefs de violation du droit cantonal sont soumis à des exigences de motivation accrues (<ref-law>).
L'art. 46 al. 3 LPNMS prescrit qu'aucune atteinte ne peut être portée aux objets protégés qui en altère le caractère. L'art. 47 al. 1 LPNMS prévoit que lorsqu'un danger imminent menace un tel objet, le département en charge des monuments, sites et archéologie prend les mesures nécessaires à sa sauvegarde.
9.2. La cour cantonale n'a discuté ni l'une ni l'autre de ces dispositions. Les recourants ne font valoir aucune violation de leur droit d'être entendus à cet égard et il ne ressort pas du dossier qu'ils auraient allégué de violation de ces dispositions dans leur recours auprès de la CDAP. Il est ainsi douteux qu'ils puissent se prévaloir d'une violation du droit cantonal pour la première fois devant le Tribunal fédéral. Quoi qu'il en soit, les recourants n'exposent pas en quoi le rapprochement du nouveau bâtiment porterait concrètement atteinte au caractère de l'objet protégé. Ils se contentent d'affirmer qu'il "saute aux yeux que la construction de la halle agricole à 50 m du monument historique altère massivement celui-ci" sans expliquer pour quelles raisons cette distance serait insuffisante. Il en va de même de la compétence de statuer sur une atteinte au patrimoine. En effet, sur ce point, les recourants font valoir que l'art. 47 al. 1 LPNMS "paraît" fonder la compétence exclusive du département en charge des monuments, sites et archéologie pour la sauvegarde des monuments classés, sans développer cette affirmation. Ils ne démontrent, ni même ne font valoir, s'être plaints d'un vice dans la répartition des compétences pour la délivrance des autorisations, ce qu'il leur appartenait pourtant de soulever immédiatement, s'agissant d'un problème de compétence.
Tardif, puisqu'il n'a pas été soulevé par les recourants auprès de l'instance judiciaire cantonale, et insuffisamment motivé, le grief d'application d'arbitraire de la LPNMS est ainsi irrecevable.
10.
Il résulte des considérants qui précèdent que le recours doit être rejeté dans la mesure de sa recevabilité. Les recourants, qui succombent, s'acquitteront des frais de justice (<ref-law>) et verseront des dépens à l'intimé, qui a agi par l'intermédiaire d'un avocat (<ref-law>). La commune, quand bien même elle a recouru aux services d'un avocat, n'a pas droit à des dépens, dès lors qu'elle a agi dans l'exercice de ses attributions officielles (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants.
3.
Les recourants verseront à l'intimé une indemnité de 3'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux mandataires des parties et de la Municipalité de Vulliens, au Service du développement territorial du canton de Vaud, à la Direction générale de l'environnement du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, à l'Office fédéral de l'environnement et à l'Office fédéral du développement territorial.
Lausanne, le 11 juillet 2018
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Merkli
La Greffière : Sidi-Ali