Faits: Faits: A. X._, né en 1944, est marié et père de quatre enfants, âgés de cinq à treize ans. Il dirige un domaine agricole d'un peu plus de 32 hectares, dont le centre d'exploitation se trouve sur la parcelle n° 61 de la commune de Corcelles-sur-Chavornay, en zone agricole. L'exploitation était principalement axée sur les grandes cultures et la production laitière. La poursuite de cette dernière activité nécessitant l'engagement de main-d'oeuvre supplémentaire et de lourds investissements, X._ a décidé d'abandonner le bétail laitier au profit de l'engraissement de poulets, après s'être assuré de la viabilité économique de l'entreprise auprès de l'office de conseil agricole de l'Association vaudoise de promotion des métiers de la terre (ci-après: Prométerre). Le 14 janvier 2002, X._ a requis l'autorisation de construire sur la parcelle n° 61 une halle d'engraissement pour 12'000 poulets de chair, de 825 mètres carrés, flanquée d'un jardin d'hiver de 167 mètres carrés, ainsi que trois silos pour le stockage des aliments et une citerne à gaz de 7'500 litres. Soumis à l'enquête publique du 1er au 21 mars 2002, avec le rapport d'impact sur l'environnement établi en décembre 2001 par Prométerre, ce projet a suscité de nombreuses oppositions, dont celles de A._ et B._ ainsi que de C._ et D._, propriétaires voisins de la parcelle n° 61 (ci-après: A._ et consorts). En date du 14 mai 2002, le Département des infrastructures du canton de Vaud, par l'intermédiaire du Service de l'aménagement du territoire, a rendu une décision finale au sens des art. 17 à 21 de l'ordonnance relative à l'étude de l'impact sur l'environnement (OEIE; RS 814.011). Dans ce cadre, ledit service a délivré l'autorisation spéciale requise pour les constructions hors zone à bâtir sous diverses conditions non litigieuses en l'espèce. Il a considéré que la halle d'engraissement de poulets projetée constituait un développement interne de l'exploitation au sens des art. 16a al. 2 de la loi fédérale sur l'aménagement du territoire (LAT; RS 700) et 36 al. 1 de l'ordonnance fédérale sur l'aménagement du territoire (OAT; RS 700.1) et qu'elle était conforme à la zone agricole. Le 3 juin 2002, la Municipalité de Corcelles-sur-Chavornay a informé les opposants qu'elle avait décidé, dans sa séance du 25 mars 2002, de lever leurs oppositions et d'accorder le permis de construire à X._. A._ et consorts ont recouru contre ces décisions auprès du Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif ou la cour cantonale). Ils contestaient la conformité de la construction litigieuse à la vocation agricole de la zone, estimant que le revenu complémentaire obtenu grâce à l'élevage de poulets n'était pas nécessaire pour assurer la viabilité à long terme de l'exploitation. Ils prétendaient également que le projet aurait dû faire l'objet d'une planification spéciale en raison de son importance et de son impact sur l'environnement. Statuant par arrêt du 11 février 2004, le Tribunal administratif a rejeté le recours et confirmé les décisions attaquées. Se fondant sur les budgets d'exploitation et le plan de financement établis par Prométerre, il a admis que la halle d'engraissement projetée servait au développement interne de l'exploitation au sens des art. 16a al. 2 LAT et 36 OAT et qu'elle était ainsi conforme à la zone agricole. Il a écarté les autres arguments opposés à la réalisation de cette installation. Statuant par arrêt du 11 février 2004, le Tribunal administratif a rejeté le recours et confirmé les décisions attaquées. Se fondant sur les budgets d'exploitation et le plan de financement établis par Prométerre, il a admis que la halle d'engraissement projetée servait au développement interne de l'exploitation au sens des art. 16a al. 2 LAT et 36 OAT et qu'elle était ainsi conforme à la zone agricole. Il a écarté les autres arguments opposés à la réalisation de cette installation. B. Agissant par la voie du recours de droit administratif, A._ et B._, C._ et D._, auxquels se sont joints E._, F._, G._ et H._ avant de se désister, demandent au Tribunal fédéral d'annuler les décisions rendues le 3 juin 2002 par la Municipalité de Corcelles-sur-Chavornay, la décision finale prise le 14 mai 2002 par le Département des infrastructures du canton de Vaud et l'autorisation spéciale délivrée le même jour par le Service de l'aménagement du territoire. Subsidiairement, ils concluent à l'annulation de l'arrêt du Tribunal administratif du 11 février 2004 et au renvoi de la cause à cette autorité pour nouvelle décision au sens des considérants. Ils soutiennent que la halle d'engraissement de poulets projetée n'est pas indispensable à la survie de l'exploitation de l'intimé, de sorte qu'elle ne pourrait être admise en zone agricole. Le Tribunal administratif, le Service de l'aménagement du territoire et X._ concluent au rejet du recours. La Municipalité de Corcelles-sur-Chavornay s'en remet à justice. Invité à se déterminer, l'Office fédéral du développement territorial a déclaré ne pas être en mesure de se prononcer sur l'admissibilité de la construction litigieuse au regard des art. 16a al. 2 LAT et 36 al. 1 OAT. Les recourants ont répliqué. Les recourants ont répliqué. C. Par ordonnance du 21 avril 2004, le Président de la Ire Cour de droit public a admis la demande d'effet suspensif présentée par les recourants.