Faits:
Faits:
A. Le 24 septembre 2002, A._ a demandé l'autorisation d'assainir une étable, sur la parcelle n° 7267 dont il est propriétaire à Ayent. La parcelle est située en zone d'extension de village (densité 0.3), au sens du règlement communal des constructions approuvé le 13 juin 2000 (RCC). Le bâtiment existant est composé d'une étable centrale d'environ 47 m2 surmontée d'une grange, avec deux annexes d'environ 16 m2 chacune sur les côtés est et ouest. Le projet tend à l'assainissement du rural par la reconstruction des deux annexes, dont le volume est conservé; l'annexe ouest doit abriter un "local concentré" ainsi qu'une pièce pouvant recevoir quatre veaux en stabulation; l'annexe est comprend des sanitaires, un vestiaire et un local technique. Le projet tend en outre à l'installation d'une fosse à purin étanche de 102 m3, au sud du bâtiment, ainsi qu'un enclos de 120 m2 sur la parcelle n° 7288 - également propriété de A._ -, pour la stabulation libre du bétail.
Le projet a suscité les oppositions de B._, propriétaire de la parcelle contiguë n° 7268, des époux C._, habitants d'une maison située à 60 m, et des époux D._, propriétaires de la parcelle n° 7282 et dont la maison est située à environ 100 m. Les opposants faisaient valoir que les annexes avaient été construites sans autorisation; ils se plaignaient des gênes et nuisances occasionnées par l'exploitation du rural.
Le 2 juillet 2003, le Conseil d'Etat valaisan a approuvé le projet et délivré l'autorisation de construire, moyennant diverses réserves, charges et conditions concernant en particulier l'épandage du lisier, les mesures de protection contre l'incendie et la taille des couches pour le bétail. Une subvention cantonale a été allouée, à raison de 32% des dépenses arrêtées à 161'000 fr., également sous conditions (insonorisation de la machine de traite, rangement des machines et utilisation du domaine public). Le Conseil d'Etat s'est fondé sur les préavis favorables des services de l'aménagement du territoire, des forêts et du paysage, des bâtiments, monuments et archéologie, de protection de l'environnement, des routes et cours d'eau, ainsi que des préavis favorables, sous conditions reportées dans la décision, des services de protection de l'environnement, de la sécurité civile et militaire et du service vétérinaire. Le Conseil d'Etat s'est également référé au préavis positif du Conseil communal d'Ayen, communiqué le 7 mars 2003, pour écarter les oppositions: la zone à bâtir avait été instaurée en 1979, alors que le rural existait depuis près de 40 ans; les droits acquis devaient être respectés. La stabulation du bétail dans l'enclos était limitée à la période hivernale, et l'utilisation de la route pour le bétail ne présentait pas de risques particuliers. L'assainissement permettrait une diminution sensible des nuisances, en raison notamment de la suppression de la fumière. Des conditions supplémentaires concernant le respect des règles de voisinage ont été posées.
Le 2 juillet 2003, le Conseil d'Etat valaisan a approuvé le projet et délivré l'autorisation de construire, moyennant diverses réserves, charges et conditions concernant en particulier l'épandage du lisier, les mesures de protection contre l'incendie et la taille des couches pour le bétail. Une subvention cantonale a été allouée, à raison de 32% des dépenses arrêtées à 161'000 fr., également sous conditions (insonorisation de la machine de traite, rangement des machines et utilisation du domaine public). Le Conseil d'Etat s'est fondé sur les préavis favorables des services de l'aménagement du territoire, des forêts et du paysage, des bâtiments, monuments et archéologie, de protection de l'environnement, des routes et cours d'eau, ainsi que des préavis favorables, sous conditions reportées dans la décision, des services de protection de l'environnement, de la sécurité civile et militaire et du service vétérinaire. Le Conseil d'Etat s'est également référé au préavis positif du Conseil communal d'Ayen, communiqué le 7 mars 2003, pour écarter les oppositions: la zone à bâtir avait été instaurée en 1979, alors que le rural existait depuis près de 40 ans; les droits acquis devaient être respectés. La stabulation du bétail dans l'enclos était limitée à la période hivernale, et l'utilisation de la route pour le bétail ne présentait pas de risques particuliers. L'assainissement permettrait une diminution sensible des nuisances, en raison notamment de la suppression de la fumière. Des conditions supplémentaires concernant le respect des règles de voisinage ont été posées.
B. Par arrêt du 12 février 2004, la Cour de droit public du Tribunal cantonal valaisan a admis le recours des opposants et annulé l'arrêté du Conseil d'Etat en tant qu'il délivrait l'autorisation de construire. La protection de la situation acquise permettait le maintien ou l'entretien des constructions réalisées conformément à l'ancien droit, mais non l'aggravation d'une situation non conforme. En l'occurrence, l'annexe est ne figurait pas sur l'extrait du cadastre délivré en juillet 2002; l'annexe ouest y figurait, mais sans mention d'une autorisation de construire. L'enclos prévu était une installation nouvelle. Par ailleurs, l'autorité avait ignoré la question des immissions excessives soulevée par les opposants à propos des poussières de fourrage, des odeurs de la fosse à lisier et de la présence de bétail à 30 m de la villa des époux C._. De ce point de vue, le Conseil d'Etat avait commis un déni de justice formel. L'installation devait en outre être assainie conformément à l'art. 13 al. 1 OPB, car il s'agissait d'une modification notable. Enfin, l'état vétuste du rural et les exigences découlant de l'annexe 1 de l'OPair rendaient l'exploitation incompatible avec la zone E 30; restait posée la question d'un déplacement de cette exploitation dans une zone agricole.
B. Par arrêt du 12 février 2004, la Cour de droit public du Tribunal cantonal valaisan a admis le recours des opposants et annulé l'arrêté du Conseil d'Etat en tant qu'il délivrait l'autorisation de construire. La protection de la situation acquise permettait le maintien ou l'entretien des constructions réalisées conformément à l'ancien droit, mais non l'aggravation d'une situation non conforme. En l'occurrence, l'annexe est ne figurait pas sur l'extrait du cadastre délivré en juillet 2002; l'annexe ouest y figurait, mais sans mention d'une autorisation de construire. L'enclos prévu était une installation nouvelle. Par ailleurs, l'autorité avait ignoré la question des immissions excessives soulevée par les opposants à propos des poussières de fourrage, des odeurs de la fosse à lisier et de la présence de bétail à 30 m de la villa des époux C._. De ce point de vue, le Conseil d'Etat avait commis un déni de justice formel. L'installation devait en outre être assainie conformément à l'art. 13 al. 1 OPB, car il s'agissait d'une modification notable. Enfin, l'état vétuste du rural et les exigences découlant de l'annexe 1 de l'OPair rendaient l'exploitation incompatible avec la zone E 30; restait posée la question d'un déplacement de cette exploitation dans une zone agricole.
C. A._ forme un recours de droit administratif et de droit public contre ce dernier arrêt, dont il demande l'annulation. Le recours de droit administratif conclut également à l'approbation de son projet.
La cour cantonale a renoncé à se déterminer. Les opposants concluent au rejet des deux recours dans la mesure où ils sont recevables.
L'Office fédéral de l'environnement, des forêts et du paysage s'est déterminé sur l'application de l'OPB et de l'OPair. Il considère qu'il n'y a pas de modification notable de l'installation, de sorte que les limitations des immissions de bruit devraient se limiter à ce qui est techniquement réalisable et économiquement supportable. S'agissant des odeurs, la fosse à purin souterraine constituerait une installation nouvelle soumise à la limitation des émissions selon l'annexe 1 OPair ainsi que les distances minimales à la zone habitée (annexe 2 ch. 512 OPair). La charge polluante serait très inférieure à la charge pour laquelle une distance de 20 m doit être observée.
Les parties ont pris position sur ces déterminations. Les opposants ont répondu, sans y avoir été autorisés, aux dernières écritures du recourant.
Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. Le recours, de droit administratif et de droit public, a donné lieu à l'ouverture de deux dossiers. Cela étant, les causes peuvent être jointes afin qu'il soit statué par un même arrêt. Le Tribunal fédéral examine d'office et librement la recevabilité des deux recours qui lui sont soumis (ATF 130 II 321 consid. 1 p. 324).
1.1 Le recourant agit par la voie du recours de droit administratif pour ce qui concerne l'application de l'OPB et de l'OPair, et par la voie du recours de droit public pour ce qui concerne la protection de la situation acquise et la violation de divers droits constitutionnels. Cette manière de faire est admissible dans la mesure où les arguments à l'appui de chaque voie de droit sont exposés de manière distincte.
1.2 Le recours de droit administratif est ouvert contre une décision au sens de l'art. 5 PA, prise en dernière instance cantonale (cf. art. 98 let. g OJ), fondée sur le droit public fédéral, notamment sur les dispositions de la loi fédérale sur la protection de l'environnement (LPE [RS 814.01] - cf. art. 54 LPE; ATF 126 II 300 consid. 1a p. 301; 123 II 231 consid. 2 p. 233). L'arrêt attaqué constitue une telle décision puisqu'à côté des motifs tenant à la non-conformité de la construction à la zone à bâtir, il retient que la question des immissions a été ignorée et que les prescriptions de l'OPB et de l'OPair ne seraient pas respectées. Le recourant, qui s'est vu annuler un permis de construire octroyé en première instance, a qualité pour recourir (art. 103 let. a OJ).
1.3 En tant qu'il invoque la garantie de la situation acquise, le recourant doit agir par la voie, subsidiaire, du recours de droit public. En effet, l'arrêt attaqué ne porte pas sur la reconnaissance de la conformité à l'affectation de la zone de constructions et d'installations sises hors de la zone à bâtir ou sur une demande de dérogation visée aux art. 24 à 24 d LAT (art. 34 al. 1 LAT); la garantie invoquée par le recourant a été examinée sur la seule base du droit cantonal, soit l'art. 3 de la loi valaisanne sur les constructions (LC). Les autres griefs d'ordre constitutionnel sont également recevables dans ce cadre. Le recourant a qualité pour agir au sens de l'art. 88 OJ. Le recours de droit public est par conséquent lui aussi recevable. Il doit même être examiné en premier lieu, en dépit de son caractère subsidiaire, car le refus de mettre le recourant au bénéfice d'une situation acquise constitue le motif essentiel d'annulation du permis de construire.
1.3 En tant qu'il invoque la garantie de la situation acquise, le recourant doit agir par la voie, subsidiaire, du recours de droit public. En effet, l'arrêt attaqué ne porte pas sur la reconnaissance de la conformité à l'affectation de la zone de constructions et d'installations sises hors de la zone à bâtir ou sur une demande de dérogation visée aux art. 24 à 24 d LAT (art. 34 al. 1 LAT); la garantie invoquée par le recourant a été examinée sur la seule base du droit cantonal, soit l'art. 3 de la loi valaisanne sur les constructions (LC). Les autres griefs d'ordre constitutionnel sont également recevables dans ce cadre. Le recourant a qualité pour agir au sens de l'art. 88 OJ. Le recours de droit public est par conséquent lui aussi recevable. Il doit même être examiné en premier lieu, en dépit de son caractère subsidiaire, car le refus de mettre le recourant au bénéfice d'une situation acquise constitue le motif essentiel d'annulation du permis de construire.
2. La cour cantonale a appliqué l'art. 3 LC, intitulé "droits acquis" et dont la teneur est la suivante:
1 Les constructions et installations existantes réalisées conformément au droit antérieur mais devenues contraires aux plans ou aux prescriptions en vigueur peuvent être entretenues et modernisées, transformées ou agrandies pour autant que les travaux n'engendrent pas une aggravation de leur non-conformité au droit.
2 LES CONSTRUCTIONS ET INSTALLATIONS NON CONFORMES AUX NOUVELLES PRESCRIP-TIONS OU AUX NOUVEAUX PLANS NE DOIVENT êTRE ADAPTÉES QUE LORSQUE LA LOI OU LE RÈGLEMENT COMMUNAL DES CONSTRUCTIONS LE PRÉVOIT EXPRESSÉMENT, OU LORSQUE L'ADAPTATION EST IMPOSÉE DANS LE BUT DE PRÉSERVER L'ORDRE PUBLIC.
2 LES CONSTRUCTIONS ET INSTALLATIONS NON CONFORMES AUX NOUVELLES PRESCRIP-TIONS OU AUX NOUVEAUX PLANS NE DOIVENT êTRE ADAPTÉES QUE LORSQUE LA LOI OU LE RÈGLEMENT COMMUNAL DES CONSTRUCTIONS LE PRÉVOIT EXPRESSÉMENT, OU LORSQUE L'ADAPTATION EST IMPOSÉE DANS LE BUT DE PRÉSERVER L'ORDRE PUBLIC.
... 2.1 La cour cantonale a jugé qu'il était en tout cas exclu d'autoriser les aménagements extérieurs qui allaient au-delà du bâti existant. En outre, le constructeur ne pouvait bénéficier d'une situation acquise que pour les bâtiments réalisés conformément au droit antérieur. En l'occurrence, l'annexe est ne figurait pas sur l'extrait cadastral, et aucune autorisation n'était mentionnée pour la construction de l'annexe ouest. Enfin, les travaux ne devaient pas aggraver la non-conformité de la construction ce qui empêchait la réalisation d'un nouvel enclos ainsi que des annexes.
2.2 Le recourant relève que son exploitation n'est pas nouvelle; le bâtiment central existerait depuis 40 ans et les annexes auraient été édifiées bien avant l'instauration du régime actuel des zones. Les travaux prévus consisteraient dans l'entretien, voire la modernisation du bâtiment existant. Il n'y aurait aucune aggravation, s'agissant des annexes, et l'aménagement de l'enclos serait nécessaire à l'exploitation.
2.3 L'art. 3 LC consacre, en droit public cantonal des constructions, la garantie de la protection de la situation acquise, qui découle du droit constitutionnel (cf. ATF 113 Ia 119 consid. 2a p. 122). S'agissant d'une disposition du droit cantonal, le Tribunal fédéral en examine l'application sous l'angle restreint de l'arbitraire. Il ne saurait annuler l'arrêt attaqué que si celui-ci méconnaît gravement une norme ou un principe juridique clair et indiscuté ou heurte de manière choquante le sentiment de la justice ou de l'équité. Le Tribunal fédéral ne s'écarte de la solution retenue en dernière instance cantonale que si elle est insoutenable, en contradiction manifeste avec la situation effective, si elle a été adoptée sans motif objectif ou en violation d'un droit certain. Il ne suffit pas que la motivation de la décision soit insoutenable; encore faut-il qu'elle soit arbitraire dans son résultat (ATF 129 I 9 consid. 2.1 p. 9; 128 I 273 consid. 2.1 p. 275 et la jurisprudence citée).
2.4 Le recourant se contente d'affirmer que le bâtiment central existerait depuis 40 ans. L'essentiel des travaux prévus ne concerne toutefois pas ce bâtiment, mais ses deux annexes, probablement construites ultérieurement. Tout en estimant que, pour des bâtiments anciens, une preuve stricte du respect des exigences légales ne pouvait être exigée, la cour cantonale a retenu qu'aucune autorisation de construire n'était mentionnée, l'une des annexes ne figurant pas sur l'extrait cadastral. Pour sa part, le recourant ne fournit aucun indice qui permettrait de supposer que l'une ou l'autre de ces annexes aurait été édifiée conformément aux règles en vigueur à l'époque. Dans ces conditions, quand bien même les bâtiments litigieux n'auraient jamais fait l'objet de contestations, il n'est pas arbitraire de considérer que la condition initiale posée par l'art. 3 LC n'est pas satisfaite. S'agissant des aménagements extérieurs entièrement nouveaux, il n'est pas non plus insoutenable d'y voir une aggravation de l'état de non-conformité à l'affectation actuelle de la zone. Même si, comme le soutient le recourant, la création d'un enclos proche du local abritant le bétail est nécessaire pour l'exploitation, cela ne constitue pas un motif d'ordre public tel qu'il est réservé à l'art. 3 al. 2 in fine LC.
2.5 Selon la cour cantonale, la question du déplacement de l'exploitation en zone agricole resterait posée. Le recourant y voit une violation des art. 9 Cst. (arbitraire et protection de la bonne foi), 26 Cst. (garantie de la propriété), 8 Cst. (égalité de traitement) et du principe de la proportionnalité, en tant qu'il serait forcé d'abandonner l'exploitation existante. L'ensemble de cette argumentation tombe à faux, dès lors que les considérations émises sur ce point ne constituent qu'un obiter dictum. En l'état, le recourant n'est pas empêché de poursuivre son exploitation selon le mode actuel.
2.6 Les arguments à l'appui du recours de droit public doivent par conséquent être écartés. Dès lors que le recourant ne peut se prévaloir d'une situation acquise pour assainir son exploitation agricole en zone à bâtir, la question des nuisances, évoquée à titre subsidiaire par la cour cantonale, n'a pas à être examinée. Le recours de droit administratif devient ainsi sans objet.
2.6 Les arguments à l'appui du recours de droit public doivent par conséquent être écartés. Dès lors que le recourant ne peut se prévaloir d'une situation acquise pour assainir son exploitation agricole en zone à bâtir, la question des nuisances, évoquée à titre subsidiaire par la cour cantonale, n'a pas à être examinée. Le recours de droit administratif devient ainsi sans objet.
3. Sur le vu de ce qui précède, le recours de droit public doit être rejeté, et le recours de droit administratif déclaré sans objet. Conformément à l'art. 156 al. 1 OJ, un émolument judiciaire est mis à la charge du recourant, de même qu'une indemnité de dépens allouée aux intimés (art. 159 al. 1 OJ).
Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours de droit public est rejeté.
1. Le recours de droit public est rejeté.
2. Le recours de droit administratif est sans objet.
2. Le recours de droit administratif est sans objet.
3. Un émolument judiciaire de 3000 fr. est mis à la charge du recourant.
3. Un émolument judiciaire de 3000 fr. est mis à la charge du recourant.
4. Une indemnité de dépens de 2000 fr. est allouée aux intimés B._ et consorts, à la charge du recourant.
4. Une indemnité de dépens de 2000 fr. est allouée aux intimés B._ et consorts, à la charge du recourant.
5. Le présent arrêt est communiqué en copie aux mandataires des parties, à la Commune d'Ayent, au Conseil d'Etat et au Tribunal cantonal du canton du Valais, ainsi qu'à l'Office fédéral de l'environnement, des forêts et du paysage.
Lausanne, le 21 octobre 2004
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le juge présidant: Le greffier: