Faits: Faits: A. Le 24 septembre 2002, A._ a demandé l'autorisation d'assainir une étable, sur la parcelle n° 7267 dont il est propriétaire à Ayent. La parcelle est située en zone d'extension de village (densité 0.3), au sens du règlement communal des constructions approuvé le 13 juin 2000 (RCC). Le bâtiment existant est composé d'une étable centrale d'environ 47 m2 surmontée d'une grange, avec deux annexes d'environ 16 m2 chacune sur les côtés est et ouest. Le projet tend à l'assainissement du rural par la reconstruction des deux annexes, dont le volume est conservé; l'annexe ouest doit abriter un "local concentré" ainsi qu'une pièce pouvant recevoir quatre veaux en stabulation; l'annexe est comprend des sanitaires, un vestiaire et un local technique. Le projet tend en outre à l'installation d'une fosse à purin étanche de 102 m3, au sud du bâtiment, ainsi qu'un enclos de 120 m2 sur la parcelle n° 7288 - également propriété de A._ -, pour la stabulation libre du bétail. Le projet a suscité les oppositions de B._, propriétaire de la parcelle contiguë n° 7268, des époux C._, habitants d'une maison située à 60 m, et des époux D._, propriétaires de la parcelle n° 7282 et dont la maison est située à environ 100 m. Les opposants faisaient valoir que les annexes avaient été construites sans autorisation; ils se plaignaient des gênes et nuisances occasionnées par l'exploitation du rural. Le 2 juillet 2003, le Conseil d'Etat valaisan a approuvé le projet et délivré l'autorisation de construire, moyennant diverses réserves, charges et conditions concernant en particulier l'épandage du lisier, les mesures de protection contre l'incendie et la taille des couches pour le bétail. Une subvention cantonale a été allouée, à raison de 32% des dépenses arrêtées à 161'000 fr., également sous conditions (insonorisation de la machine de traite, rangement des machines et utilisation du domaine public). Le Conseil d'Etat s'est fondé sur les préavis favorables des services de l'aménagement du territoire, des forêts et du paysage, des bâtiments, monuments et archéologie, de protection de l'environnement, des routes et cours d'eau, ainsi que des préavis favorables, sous conditions reportées dans la décision, des services de protection de l'environnement, de la sécurité civile et militaire et du service vétérinaire. Le Conseil d'Etat s'est également référé au préavis positif du Conseil communal d'Ayen, communiqué le 7 mars 2003, pour écarter les oppositions: la zone à bâtir avait été instaurée en 1979, alors que le rural existait depuis près de 40 ans; les droits acquis devaient être respectés. La stabulation du bétail dans l'enclos était limitée à la période hivernale, et l'utilisation de la route pour le bétail ne présentait pas de risques particuliers. L'assainissement permettrait une diminution sensible des nuisances, en raison notamment de la suppression de la fumière. Des conditions supplémentaires concernant le respect des règles de voisinage ont été posées. Le 2 juillet 2003, le Conseil d'Etat valaisan a approuvé le projet et délivré l'autorisation de construire, moyennant diverses réserves, charges et conditions concernant en particulier l'épandage du lisier, les mesures de protection contre l'incendie et la taille des couches pour le bétail. Une subvention cantonale a été allouée, à raison de 32% des dépenses arrêtées à 161'000 fr., également sous conditions (insonorisation de la machine de traite, rangement des machines et utilisation du domaine public). Le Conseil d'Etat s'est fondé sur les préavis favorables des services de l'aménagement du territoire, des forêts et du paysage, des bâtiments, monuments et archéologie, de protection de l'environnement, des routes et cours d'eau, ainsi que des préavis favorables, sous conditions reportées dans la décision, des services de protection de l'environnement, de la sécurité civile et militaire et du service vétérinaire. Le Conseil d'Etat s'est également référé au préavis positif du Conseil communal d'Ayen, communiqué le 7 mars 2003, pour écarter les oppositions: la zone à bâtir avait été instaurée en 1979, alors que le rural existait depuis près de 40 ans; les droits acquis devaient être respectés. La stabulation du bétail dans l'enclos était limitée à la période hivernale, et l'utilisation de la route pour le bétail ne présentait pas de risques particuliers. L'assainissement permettrait une diminution sensible des nuisances, en raison notamment de la suppression de la fumière. Des conditions supplémentaires concernant le respect des règles de voisinage ont été posées. B. Par arrêt du 12 février 2004, la Cour de droit public du Tribunal cantonal valaisan a admis le recours des opposants et annulé l'arrêté du Conseil d'Etat en tant qu'il délivrait l'autorisation de construire. La protection de la situation acquise permettait le maintien ou l'entretien des constructions réalisées conformément à l'ancien droit, mais non l'aggravation d'une situation non conforme. En l'occurrence, l'annexe est ne figurait pas sur l'extrait du cadastre délivré en juillet 2002; l'annexe ouest y figurait, mais sans mention d'une autorisation de construire. L'enclos prévu était une installation nouvelle. Par ailleurs, l'autorité avait ignoré la question des immissions excessives soulevée par les opposants à propos des poussières de fourrage, des odeurs de la fosse à lisier et de la présence de bétail à 30 m de la villa des époux C._. De ce point de vue, le Conseil d'Etat avait commis un déni de justice formel. L'installation devait en outre être assainie conformément à l'art. 13 al. 1 OPB, car il s'agissait d'une modification notable. Enfin, l'état vétuste du rural et les exigences découlant de l'annexe 1 de l'OPair rendaient l'exploitation incompatible avec la zone E 30; restait posée la question d'un déplacement de cette exploitation dans une zone agricole. B. Par arrêt du 12 février 2004, la Cour de droit public du Tribunal cantonal valaisan a admis le recours des opposants et annulé l'arrêté du Conseil d'Etat en tant qu'il délivrait l'autorisation de construire. La protection de la situation acquise permettait le maintien ou l'entretien des constructions réalisées conformément à l'ancien droit, mais non l'aggravation d'une situation non conforme. En l'occurrence, l'annexe est ne figurait pas sur l'extrait du cadastre délivré en juillet 2002; l'annexe ouest y figurait, mais sans mention d'une autorisation de construire. L'enclos prévu était une installation nouvelle. Par ailleurs, l'autorité avait ignoré la question des immissions excessives soulevée par les opposants à propos des poussières de fourrage, des odeurs de la fosse à lisier et de la présence de bétail à 30 m de la villa des époux C._. De ce point de vue, le Conseil d'Etat avait commis un déni de justice formel. L'installation devait en outre être assainie conformément à l'art. 13 al. 1 OPB, car il s'agissait d'une modification notable. Enfin, l'état vétuste du rural et les exigences découlant de l'annexe 1 de l'OPair rendaient l'exploitation incompatible avec la zone E 30; restait posée la question d'un déplacement de cette exploitation dans une zone agricole. C. A._ forme un recours de droit administratif et de droit public contre ce dernier arrêt, dont il demande l'annulation. Le recours de droit administratif conclut également à l'approbation de son projet. La cour cantonale a renoncé à se déterminer. Les opposants concluent au rejet des deux recours dans la mesure où ils sont recevables.