Faits:
A. A._ exploite un domaine agricole sur le territoire de la Commune de Vuadens (FR). Il est propriétaire de la parcelle n° 1119 du registre foncier, un bien-fonds de 60'000 m2 situé en zone agricole. Le 5 mars 2004, le prénommé a requis l'autorisation de construire sur ce terrain une écurie pour trente vaches et huit génisses en stabulation libre, ainsi qu'une fosse à purin de 500 m3. La façade nord du bâtiment projeté aurait une longueur de 35,90 m et une hauteur d'au moins 10 m par rapport au terrain naturel. Il est prévu d'implanter cette construction dans le voisinage immédiat des villas qui bordent la parcelle au nord. Elle serait située à 11,90 m de la parcelle n° 1033, propriété de B._ et C._. Ces derniers ont formé opposition contre le projet, en se plaignant de la proximité de l'écurie et des nuisances qui en découleront. Ils demandaient que le bâtiment soit implanté plus au sud sur la parcelle n° 1119.
La Commune de Vuadens a préavisé négativement le projet en raison du fait qu'il ne tenait pas compte du voisinage. Les services cantonaux consultés ont donné des préavis positifs, mais ils ont pour la plupart émis des réserves au sujet de l'endroit choisi par A._ pour implanter son projet. Le Service des améliorations foncières a relevé que le projet n'était pas adapté aux besoins de l'exploitation et a invité le requérant à revoir son implantation. Le Service de l'environnement a souligné que l'emplacement choisi ne permettrait probablement pas une extension de l'exploitation. Le Service des constructions et de l'aménagement a constaté que l'implantation du rural était particulièrement préjudiciable aux époux B._ et C._ et qu'elle compromettrait de manière irrémédiable le dégagement visuel depuis leur parcelle. De plus, même si les nuisances engendrées par l'exploitation étaient considérées comme conformes aux normes, elles seraient néanmoins bien présentes et sources de litiges. Ce service invitait donc A._ à modifier l'implantation de son projet.
Par décision du 23 juin 2004, la Direction de l'aménagement de l'environnement et des constructions du canton de Fribourg a constaté que le projet était conforme à l'affectation de la zone agricole au sens des art. 16a et 22 al. 2 de la loi sur l'aménagement du territoire du 22 juin 1979 (LAT; RS 700) et de l'art. 34 de l'ordonnance sur l'aménagement du territoire du 28 juin 2000 (OAT; RS 700.1). Elle a donc délivré l'autorisation spéciale nécessaire pour construire hors de la zone à bâtir, en application de l'art. 59 de la loi cantonale sur l'aménagement du territoire et les constructions (LATeC; RS/FR 710.1).
Compte tenu du préavis négatif de la commune et des réserves émises par les services consultés, le Préfet du district de la Gruyère (ci-après: le préfet) a invité le requérant à entrer en discussion sur une éventuelle modification de l'implantation de son projet. Cette démarche n'a cependant pas abouti. Par décision du 9 août 2004, le préfet a délivré le permis de construire et rejeté les oppositions. Il a considéré que le projet était conforme aux dispositions légales et réglementaires applicables et que, même si l'atteinte portée à la qualité de vie des voisins était regrettable, aucune raison objective ne permettait de refuser l'autorisation sollicitée.
B. B._ et C._ ont recouru contre cette décision auprès du Tribunal administratif du canton de Fribourg. Ils ont également formé un recours contre la décision du 23 juin 2004 de la Direction de l'aménagement de l'environnement et des constructions octroyant l'autorisation spéciale. Par arrêt du 19 septembre 2007, le Tribunal administratif a admis les recours et il a annulé les décisions attaquées. Il a considéré en substance que l'implantation du nouveau rural à proximité immédiate de la zone à bâtir empêchait toute possibilité de véritable agrandissement et qu'on ne pouvait dès lors pas admettre que cette construction était nécessaire à l'exploitation au sens de l'<ref-law>. De plus, procédant à une pesée des intérêts en présence, le Tribunal administratif a considéré que l'implantation choisie par A._ ne répondait à aucun intérêt digne de protection et qu'elle portait atteinte à divers intérêts publics. La construction litigieuse devait donc être refusée également sur la base de l'<ref-law>.
C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler cet arrêt et de confirmer les décisions délivrant l'autorisation spéciale et le permis de construire. Il invoque une violation de l'art. 34 al. 4 let. a et b OAT et se plaint d'un établissement inexact des faits. B._ et C._ se sont déterminés; ils concluent au rejet du recours dans la mesure de sa recevabilité. Le Préfet du district de la Gruyère a présenté des observations. La Direction de l'aménagement de l'environnement et des constructions du canton de Fribourg y a renoncé. Le Tribunal administratif se réfère aux considérants de son arrêt. L'Office fédéral du développement territorial s'est déterminé; il conclut a l'admission partielle du recours, en ce sens que l'autorisation de construire serait assortie d'une condition résolutoire prévoyant que, "dans le cas où un agrandissement devrait ultérieurement s'avérer nécessaire sous la forme d'une nouvelle construction à un autre endroit, il ne pourrait être autorisé que pour autant que le recourant procède à ses frais à la démolition du rural autorisé". Le Tribunal administratif, les époux B._ et C._ ainsi que A._ ont présenté des observations complémentaires.

Considérant en droit:
1. Dirigé contre une décision rendue dans le domaine du droit public des constructions, le recours est recevable comme recours en matière de droit public conformément aux art. 82 ss de la loi sur le Tribunal fédéral (LTF; RS 173.110) et à l'art. 34 al. 1 LAT dans sa teneur actuelle selon le ch. 64 de l'annexe à la loi sur le Tribunal administratif fédéral (<ref-ruling> consid. 2 p. 356, 249 consid. 1.2 p. 251). Aucune des exceptions prévues à l'<ref-law> n'est réalisée. Le recourant est particulièrement touché par la décision attaquée, qui annule l'autorisation de construire qui lui avait été octroyée. Il a donc la qualité pour agir au sens de l'<ref-law>. Pour le surplus, interjeté en temps utile et dans les formes requises contre une décision finale prise en dernière instance cantonale non susceptible de recours devant le Tribunal administratif fédéral, le recours est recevable au regard des art. 42, 86 al. 1 let. d, 90 et 100 al. 1 LTF.
2. Dans un grief qu'il convient d'examiner en premier lieu, le recourant se plaint d'un établissement inexact des faits au sens de l'<ref-law>.
2.1 Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Cette disposition lui donne la faculté de rectifier ou compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs dans l'établissement de celui-ci lui apparaîtraient d'emblée comme manifestes. Quant au recourant, il ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte (<ref-law>), c'est-à-dire arbitraire (cf. Message concernant la révision totale de l'organisation judiciaire fédérale du 28 février 2001, FF 2001 p. 4135), ce qu'il lui appartient de démontrer par une argumentation répondant aux exigences de l'<ref-law>, respectivement de l'<ref-law> (<ref-ruling> consid. 1.4.3 p. 254 s.). L'existence de faits constatés de manière inexacte ou en violation du droit doit en outre être susceptible d'avoir une influence déterminante sur l'issue de la procédure (art. 97 al. 1 in fine LTF). Selon la jurisprudence, l'appréciation des preuves ou l'établissement des faits sont arbitraires (art. 9 Cst.; pour une définition de l'arbitraire cf. <ref-ruling> consid. 3.1 p. 153) lorsque l'autorité n'a manifestement pas compris le sens et la portée d'un moyen de preuve, si elle ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision ou lorsqu'elle tire des constatations insoutenables des éléments recueillis (<ref-ruling> consid. 2.1 p. 9; <ref-ruling> consid. 2a p. 41).
2.2 Le recourant reproche d'abord à l'autorité intimée d'avoir constaté de manière arbitraire que le lieu choisi pour implanter la construction litigieuse était "une aberration sous l'angle de la gestion de l'entreprise agricole". Il y a toutefois lieu de relever que l'emplacement choisi par le recourant avait déjà été critiqué dans le cadre d'une procédure relative au subventionnement de la construction litigieuse. En effet, le 13 septembre 2005, le Conseil d'Etat du canton de Fribourg avait rejeté la demande de subvention, au motif que l'emplacement en question n'était pas rationnel du point de vue de la politique agricole et des exigences économiques, car il compromettait un futur agrandissement du rural. La décision du Conseil d'Etat se fondait notamment sur le préavis défavorable de la Commission cantonale pour l'amélioration des structures en agriculture. Le Tribunal administratif, IIIe Cour administrative, a confirmé cette décision par arrêt du 6 septembre 2006. Dans ces conditions, on ne saurait considérer que la constatation de fait critiquée par le recourant est dénuée de fondement.
De plus, le recourant ne conteste pas que l'écurie projetée ne comporte que trente-huit places, alors qu'environ septante places seraient nécessaires pour abriter l'ensemble de son cheptel. Il n'apparaît donc pas invraisemblable qu'un agrandissement de l'écurie soit nécessaire à moyen terme, une certaine souplesse étant au demeurant de mise en raison de l'évolution actuelle de l'agriculture suisse. Or, dans la mesure où il n'est pas non plus contesté que l'implantation choisie − en bordure immédiate de la zone à bâtir − empêcherait une possibilité raisonnable d'agrandir l'installation, la constatation du Tribunal administratif n'apparaît pas manifestement insoutenable. Les considérations du recourant selon lesquelles ce défaut ne compromettrait pas la survie de l'entreprise agricole ne changent rien à cet égard. Ce grief doit donc être rejeté.
2.3 Le recourant critique également la constatation du Tribunal administratif selon laquelle le choix de l'emplacement du projet serait motivé par un "désir de rétorsion" à l'encontre des intimés. Il peine cependant à convaincre lorsqu'il allègue que l'implantation choisie répondrait à d'autres motifs, à savoir le souci de construire au plus près de la seule voie d'accès utilisable menant à sa parcelle. Il n'est en effet aucunement démontré que les autres voies d'accès ne seraient pas praticables, la Commune de Vuadens expliquant au contraire qu'une route asphaltée permettait d'accéder au fond de la parcelle en cause (lettre du 22 juillet 2004 au préfet). Il est d'ailleurs significatif de relever que le recourant avançait d'autres raisons dans la procédure cantonale, en particulier le souhait de ne pas couper son bien-fonds avec une route pour conserver intacte sa parcelle "particulièrement remarquable par sa grande longitude" (lettre du 23 juillet 2004 au préfet). Dans le courrier précité, le recourant a en outre jugé utile de mentionner le fait que les intimés avaient refusé une requête de son père tendant à modifier une limite de propriété, de sorte que, en l'absence d'autres raisons convaincantes, c'est sans arbitraire que le Tribunal administratif a vu dans ce refus une motivation du choix du recourant. Par conséquent, ce moyen doit également être rejeté.
3. Le recourant fait grief au Tribunal administratif d'avoir violé l'art. 34 al. 4 let. a et b OAT, en considérant que la construction litigieuse n'était pas nécessaire à l'exploitation agricole en cause et en retenant qu'un intérêt prépondérant s'opposait à son implantation à l'endroit prévu.
3.1 L'art. 16a LAT fixe les conditions générales auxquelles des constructions et des installations peuvent être considérées comme conformes à l'affectation de la zone agricole. L'<ref-law> précise ces conditions, en disposant en particulier que l'autorisation de construire ne peut être délivrée que si la construction ou l'installation est nécessaire à l'exploitation (<ref-law>), si aucun intérêt prépondérant ne s'oppose à leur implantation à l'endroit prévu (let. b) et s'il est prévisible que l'exploitation pourra subsister à long terme (let. c).
En exigeant que la construction soit nécessaire à l'exploitation en cause, (<ref-law>, reprenant la condition posée à l'art. 16a al. 1 LAT), le Conseil fédéral entendait limiter les constructions nouvelles à celles qui sont réellement indispensables à l'exploitation agricole ou horticole afin de garantir que la zone agricole demeure une zone non constructible (cf. Message du Conseil fédéral relatif à une révision partielle de la loi fédérale sur l'aménagement du territoire du 22 mai 1996, FF 1996 III 502 s.). La nécessité de nouvelles constructions s'apprécie en fonction de critères objectifs. Elle dépend notamment de la surface cultivée, du genre de cultures et de production (dépendante ou indépendante du sol), ainsi que de la structure, de la taille et des nécessités de l'exploitation (arrêts 1C_27/2008 du 25 juin 2008, consid. 2.3; 1A.106/2003 du 12 janvier 2004, consid. 3.2). En définitive, ces constructions doivent être adaptées, notamment par leur importance et leur implantation, aux besoins objectifs de l'exploitation en cause (<ref-ruling> consid. 3 p. 133 s. et les références citées).
En principe, le droit fédéral n'exige pas l'étude de variantes en ce qui concerne l'emplacement d'une construction agricole (arrêt 1A.177/ 2003 du 22 octobre 2003, consid. 3). Le requérant ne dispose pas pour autant d'un libre choix absolu du lieu d'implantation à l'intérieur de sa parcelle, même si les normes légales et réglementaires - notamment les distances aux limites - sont respectées. En effet, la zone agricole est en principe inconstructible. Or, à l'extérieur des zones constructibles, le fait qu'une construction soit reconnue conforme à l'affectation de la zone ne signifie pas encore que le permis doit être délivré; il faut en plus que le besoin d'une telle construction soit établi et que les autres conditions spécifiques à la zone concernée soient réunies (cf. <ref-ruling> consid. 2.7 p. 20). Concernant en particulier la zone agricole, il découle de l'<ref-law> que le requérant doit démontrer un intérêt digne de protection à implanter la construction ou l'installation à l'endroit prévu; l'autorisation de construire ne peut être délivrée que si les bâtiments litigieux se justifient à cet endroit et si aucune autre implantation n'est envisageable au terme d'une pesée des intérêts en présence (cf. arrêts 1A.213/2005 du 27 mars 2006, consid. 3.1; 1A.86/2001 du 21 mai 2002, consid. 4.3 publié in RDAF 2003 I 234; Valérie Scheuchzer, La construction agricole en zone agricole, thèse Lausanne 1992, p. 133 s.).
3.2 En l'occurrence, le Tribunal administratif a considéré que le projet litigieux ne répondait pas aux nécessités de l'entreprise agricole au sens de l'<ref-law>, dans la mesure où le rural était dépourvu de toute possibilité de véritable agrandissement, alors même qu'il ne permettrait pas d'abriter tout le cheptel actuellement présent sur l'exploitation en cause. Procédant à une pondération des intérêts en présence, il a en outre estimé que l'implantation choisie était contraire à l'art. 3 al. 2 LAT, dès lors qu'elle obligerait à terme la construction d'une nouvelle écurie à un autre emplacement. Elle contrevenait en outre au principe de prévention de l'<ref-law>, car même si les nuisances provoquées par le rural respectent les valeurs limites, elles ne seraient pas négligeables et dérangeraient les voisins habitant la zone à bâtir toute proche. Quant à l'intéressé, il ne pouvait pas se prévaloir d'un intérêt digne de protection à ce que son projet soit réalisé à l'endroit choisi. Le Tribunal administratif a donc estimé que les intérêts publics précités l'emportaient et qu'ils s'opposaient à l'implantation à l'endroit prévu (<ref-law>).
Cette pesée des intérêts ne prête pas le flanc à la critique. En effet, le recourant ne fait pas valoir de raisons sérieuses permettant de retenir qu'il a un intérêt légitime à implanter son projet à l'endroit qu'il a choisi. Dans son recours, il se borne à affirmer qu'il peut choisir librement le lieu d'implantation au sein de sa parcelle et il conteste en vain les faits établis par le Tribunal administratif, en se prévalant de difficultés d'accès à sa parcelle sans aucunement les démontrer (cf. supra consid. 2.3). Pour le surplus, il alléguait dans la procédure cantonale que l'endroit choisi était moins productif que le reste de sa parcelle, mais cet élément n'est pas davantage vérifié. Quant au souci de ne pas couper la longitude "particulièrement remarquable" de sa parcelle avec une route, il ne saurait être sérieusement pris en considération. En effet, le recourant se borne à alléguer qu'une parcelle de ce type serait "de plus en plus rare en Gruyère" et à affirmer qu'il tient à conserver ce patrimoine en l'état, sans présenter de motif pertinent, en particulier sous l'angle des besoins de l'exploitation.
Les autres intérêts en jeu l'emportent sur l'intérêt du recourant. Les intimés ont un intérêt évident à jouir de leur propriété dans des conditions acceptables et à ne pas perdre le dégagement visuel depuis leur parcelle à cause d'une construction imposante placée juste devant celle-ci. A cela s'ajoutent les intérêts publics mentionnés par l'arrêt attaqué. Il découle en effet de l'art. 3 al. 2 LAT que le territoire situé hors de la zone à bâtir doit être gardé autant que possible libre de toute construction. Or, l'emplacement choisi par le recourant empêche toute possibilité raisonnable d'agrandissement d'un rural déjà trop exigu, de sorte qu'une nouvelle construction en zone agricole serait vraisemblablement nécessaire pour abriter son bétail. De plus, il est probable que la situation à proximité immédiate des villas existantes entraînera des nuisances non négligeables, si bien que, même si les normes en vigueur seraient encore respectées, c'est à juste titre que l'autorité intimée a pris en compte le principe de prévention au sens de l'<ref-law>.
3.3 L'Office fédéral du développement territorial mentionne encore un intérêt public découlant de l'impératif d'une occupation rationnelle du territoire (art. 75 al. 1 Cst.) selon lequel, de façon générale, les constructions doivent être autant que possible regroupées et non pas dispersées. Ce principe n'apparaît pas particulièrement pertinent dans le cas d'espèce. En effet, l'intérêt d'éviter la dispersion des constructions doit s'analyser en relation avec l'objectif d'une délimitation claire des zones constructibles, mais il ne vise pas à accoler les constructions agricoles aux zones à bâtir. Autrement dit, il s'agit de regrouper les constructions agricoles entre elles et non pas de les implanter à proximité immédiate des villes et des villages. De plus, comme on vient de le rappeler, dans le cas d'espèce cet intérêt entre en concurrence avec le principe visant à éviter autant que possible les constructions en zone agricole (art. 3 al. 2 LAT). L'intérêt public évoqué par l'Office fédéral du développement territorial ne change dès lors pas le résultat de la pesée des intérêts.
Enfin, l'office précité propose d'autoriser la construction litigieuse moyennant une condition résolutoire prévoyant qu'un agrandissement ultérieur sous la forme d'une nouvelle construction à un autre endroit ne serait autorisé que pour autant que le recourant procède à ses frais à la démolition du premier rural. Cette solution n'apparaît guère réaliste d'un point de vue économique. En effet, à supposer que l'exploitation en cause soit encore gérée par le recourant lorsqu'un agrandissement sera nécessaire, il est douteux que l'intéressé puisse envisager de le faire en démolissant le rural litigieux pour reconstruire un rural plus grand. Vu l'issue du recours, il n'y a cependant pas lieu d'examiner cette question plus avant.
3.4 En définitive, il y a lieu de constater que des intérêts prépondérants s'opposent à l'implantation de la construction litigieuse à l'endroit prévu, de sorte que l'autorisation de construire ne pouvait pas être délivrée (<ref-law>). Il n'est donc pas nécessaire d'examiner les autres conditions de l'<ref-law>.
4. Il s'ensuit que le recours doit être rejeté. Le recourant, qui succombe, doit supporter les frais de la présente procédure (<ref-law>). Il versera en outre une indemnité à titre de dépens aux intimés, qui obtiennent gain de cause avec l'assistance d'un avocat (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3000 fr., sont mis à la charge du recourant.
3. Une indemnité de 2000 fr. est allouée aux intimés à titre de dépens, à la charge du recourant.
4. Le présent arrêt est communiqué aux mandataires des parties, au Préfet du district de la Gruyère, à la Direction de l'aménagement, de l'environnement et des constructions et au Tribunal administratif du canton de Fribourg, IIème Cour administrative, ainsi qu'à l'Office fédéral du développement territorial.
Lausanne, le 11 août 2008
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Féraud Rittener