Faits:
A. C._ exploite un domaine agricole sur le territoire de la Commune de Vuadens. Il est propriétaire de la parcelle 1'119 du registre foncier, un bien-fonds de 60'000 m2 situé en zone agricole. Le 5 mars 2004, le prénommé a requis l'autorisation de construire sur ce terrain une écurie pour trente vaches et huit génisses en stabulation libre, ainsi qu'une fosse à purin de 500 m3. La façade nord du bâtiment projeté aurait une longueur de 35,90 m et une hauteur d'au moins 10 m par rapport au terrain naturel. Il était prévu d'implanter cette construction dans le voisinage immédiat des villas qui bordent la parcelle au nord. Elle serait située à 11,90 m de la parcelle 1'033, propriété de A._ et B._. Ces derniers ont formé opposition contre le projet, en se plaignant de la proximité de l'écurie et des nuisances qui en découleraient. Ils demandaient que le bâtiment soit implanté plus au sud sur la parcelle 1'119.
Par arrêt du 19 septembre 2007, le Tribunal administratif du canton de Fribourg, actuellement remplacé par le Tribunal cantonal, a admis le recours formé par les époux A._ et B._ contre l'autorisation de construire le projet litigieux. Il a considéré en substance que l'implantation du nouveau rural à proximité immédiate de la zone à bâtir empêchait toute possibilité de véritable agrandissement et qu'on ne pouvait dès lors pas admettre que cette construction était nécessaire à l'exploitation au sens de l'art. 34 al. 4 let. a de l'ordonnance sur l'aménagement du territoire du 28 juin 2000 (OAT; RS 700.1). De plus, procédant à une pesée des intérêts en présence, les juges cantonaux ont considéré que l'implantation choisie par C._ ne répondait à aucun intérêt digne de protection et qu'elle portait atteinte à divers intérêts publics. La construction litigieuse devait donc être refusée également sur la base de l'<ref-law>.
Le Tribunal fédéral a confirmé ce jugement par arrêt du 11 août 2008 (cause 1C_372/2007).
B. Le 23 septembre 2009, C._ a déposé une autorisation de construire une nouvelle installation consistant en une écurie en stabulation libre prévue pour septante têtes de bétail, une fosse à lisier de 500 m3 ainsi qu'un hangar où il pourrait stationner ses engins agricoles, accolé au nord du nouveau rural. Le projet mis à l'enquête se situait 13 m plus au sud que le précédent, soit à une distance de 25 m de la limite du fonds des époux A._ et B._. D'un volume de 11'270 m3, il était également de dimensions plus imposantes, soit 39,60 m de long au nord pour 11,60 m de hauteur au faîte.
Les époux A._ et B._ ont formé opposition. La commune et les services consultés ont émis un préavis favorable. En particulier, le service cantonal de l'environnement a constaté que le projet était conforme aux prescriptions en matière olfactives et que les valeurs limites en matière de protection contre le bruit seraient respectées.
Par décision du 12 août 2010, la Direction de l'aménagement, de l'environnement et des constructions du canton de Fribourg (ci-après: la DAEC) a octroyé l'autorisation spéciale de construire l'installation projetée. Elle a considéré pour l'essentiel que les exigences posées par l'art. 16a de la loi sur l'aménagement du territoire du 22 juin 1979 (LAT; RS 700) et précisées par l'<ref-law> étaient remplies.
Le 5 novembre 2010, le Préfet du district de la Gruyère (ci-après: le préfet) a délivré le permis de construire et rejeté les oppositions.
C. A._ et B._ ont recouru contre la décision du préfet auprès du Tribunal cantonal. Ils ont également formé un recours contre la décision du 12 août 2010 de la DAEC octroyant l'autorisation spéciale.
Par arrêt du 14 novembre 2011, le Tribunal cantonal a rejeté les recours, considérant en substance que le projet litigieux différait singulièrement de l'installation initialement souhaitée mise à l'enquête en 2004 et s'avérait conforme aux prescriptions légales topiques. Du moment que la construction projetée obéissait aux exigences d'une exploitation agricole raisonnable tout en respectant les normes sur la protection de l'environnement, notamment en matière d'immissions de bruits et d'odeurs, il n'y avait pas lieu d'imposer au constructeur le choix d'un autre emplacement pour son rural. La solution retenue ne heurtait au demeurant aucun intérêt prépondérant.
D. Agissant par la voie du recours en matière de droit public, A._ et B._ demandent au Tribunal fédéral d'annuler l'arrêt précité ainsi que la décision de la DAEC du 12 août 2010 et celle du préfet du 5 novembre 2010. Les recourants se plaignent d'un établissement inexact des faits et d'une violation de l'<ref-law>, en relation avec l'art. 16a LAT, et de l'art. 11 al. 2 de la loi fédérale du 7 octobre 1983 sur la protection de l'environnement (LPE; RS 814.01).

Le Tribunal cantonal renvoie aux considérants de son arrêt et conclut au rejet du recours. La DAEC renonce à formuler des observations et conclut au rejet du recours. Le préfet renonce à se déterminer. L'intimé conclut au rejet du recours, sous suite de dépens. Invité à prendre position, l'Office fédéral du développement territorial (ci-après: l'ARE) considère en bref que l'emplacement prévu présente quelques aspects très positifs au regard de la protection des terres agricoles. Les recourants et l'intimé ont présenté des observations complémentaires.
Considérant en droit:
1. Dirigé contre une décision rendue dans le domaine du droit public de l'aménagement du territoire et des constructions, le recours est recevable comme recours en matière de droit public conformément aux <ref-law> et à l'art. 34 al. 1 LAT. Aucune des exceptions prévues à l'<ref-law> n'est réalisée.
Selon la jurisprudence, le voisin a qualité pour agir lorsque son terrain jouxte celui du constructeur ou se trouve à proximité immédiate de celui-ci (<ref-ruling> consid. 2b p. 174; <ref-ruling> consid. 5c p. 511). Tel est le cas des recourants, propriétaires de la parcelle 1'033, directement adjacente à celle où l'intimé projette les constructions litigieuses.
Les autres conditions de recevabilité sont remplies si bien qu'il y a lieu d'entrer en matière.
2. Dans un grief qu'il convient d'examiner en premier lieu, les recourants se plaignent d'un établissement inexact des faits.
2.1 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Le recourant ne peut critiquer ceux-ci que s'ils ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.3 p. 62) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), ce qu'il lui appartient d'exposer et de démontrer de manière claire et circonstanciée. La correction du vice soulevé doit en outre être susceptible d'influer sur le sort de la cause (<ref-law>).
2.2 En l'espèce, les recourants reprochent au Tribunal cantonal d'avoir constaté de manière arbitraire que le déplacement de l'implantation à l'extrémité sud de la parcelle provoquerait un mitage inadéquat de la terre agricole, dans la mesure où l'accès à l'exploitation en question serait rendu impossible par le chemin de dévestiture existant et nécessiterait l'aménagement d'une nouvelle voie d'accès. Ce fait serait totalement erroné, la simple lecture du plan de situation permettrait de constater que la route projetée peut très bien être allongée de quelque dizaines de mètres pour permettre l'implantation de la construction au sud de la parcelle. L'utilisation du chemin de dévestiture existant et son agrandissement ou son amélioration ne seraient absolument pas nécessaires.
Les recourants ne contestent pas que l'accès à l'installation litigieuse, si celle-là était déplacée au sud de la parcelle, ne serait pas envisageable par le chemin de dévestiture existant, inadapté au passage des véhicules agricoles. Ils estiment en revanche que la route projetée, dont le départ se situe entre les parcelles 368 et 1033, pourrait être allongée de quelques dizaines de mètres. Or, il ressort justement du plan de situation que le prolongement de cette route serait inadéquat, dans la mesure où celle-ci traverserait le bien-fonds de l'intimé et le partagerait sur toute sa largeur. Quoi qu'il en soit, il apparaît que le déplacement du nouveau rural projeté à l'extrémité sud de la parcelle l'éloignerait des routes existantes. Dans ces conditions, il n'est pas arbitraire de considérer que cette solution provoquerait un mitage du terrain agricole, et ce quel que soit l'accès envisagé.
Mal fondé, le grief doit être rejeté et le Tribunal fédéral est lié par les faits retenus dans l'arrêt attaqué, conformément à l'<ref-law>.
3. Les recourants font ensuite valoir une violation de l'<ref-law>, en relation avec l'art. 16a LAT.
3.1 L'art. 16a LAT fixe les conditions générales auxquelles des constructions et des installations peuvent être considérées comme conformes à l'affectation de la zone agricole. L'<ref-law> précise ces conditions, en disposant en particulier que l'autorisation de construire ne peut être délivrée que si la construction ou l'installation est nécessaire à l'exploitation (<ref-law>), si aucun intérêt prépondérant ne s'oppose à leur implantation à l'endroit prévu (let. b) et s'il est prévisible que l'exploitation pourra subsister à long terme (let. c).
En principe, le droit fédéral n'exige pas l'étude de variantes en ce qui concerne l'emplacement d'une construction agricole (arrêt 1A.177/ 2003 du 22 octobre 2003, consid. 3). Le requérant ne dispose pas pour autant d'un libre choix absolu du lieu d'implantation à l'intérieur de sa parcelle, même si les normes légales et réglementaires - notamment les distances aux limites - sont respectées. En effet, la zone agricole est en principe inconstructible. Or, à l'extérieur des zones constructibles, le fait qu'une construction soit reconnue conforme à l'affectation de la zone ne signifie pas encore que le permis doit être délivré; il faut en plus que le besoin d'une telle construction soit établi et que les autres conditions spécifiques à la zone concernée soient réunies (cf. <ref-ruling> consid. 2.7 p. 20). Concernant en particulier la zone agricole, il découle de l'<ref-law> que le requérant doit démontrer un intérêt digne de protection à implanter la construction ou l'installation à l'endroit prévu; l'autorisation de construire ne peut être délivrée que si les bâtiments litigieux se justifient à cet endroit et si aucune autre implantation n'est envisageable au terme d'une pesée des intérêts en présence (cf. arrêts 1A.213/2005 du 27 mars 2006, consid. 3.1; 1A.86/2001 du 21 mai 2002, consid. 4.3 publié in RDAF 2003 I 234; VALÉRIE SCHEUCHZER, La construction agricole en zone agricole, thèse Lausanne 1992, p. 133 s.).
3.2 En l'espèce, les recourants estiment que l'empiètement de la construction litigieuse sur la zone agricole ne serait pas supérieur si celle-ci était située plus au sud de la parcelle. Le seul recul de 13 m ne pouvait par ailleurs rendre licite un projet, qualifié d'aberrant, ce d'autant que le volume était accru d'environ 70 %. A leur avis, les intérêts pris en considération lors de l'analyse du premier projet ne sont pas sauvegardés par le nouveau projet et, en fin de compte, leurs intérêts privés (éloignement des nuisances sonores, olfactives et visuelles) l'emportent largement sur le souci d'éviter un mitage du terrain agricole.
Comme l'a relevé le Tribunal cantonal, le projet actuel ne constitue pas une aberration du point de vue de l'aménagement agricole, contrairement à l'ancien (taille trop restreinte et emplacement trop proche de la parcelle des recourants). Située 13 m plus au sud sur la parcelle de l'intimé, l'installation litigieuse se trouve dorénavant à 25 m de la limite du bien-fonds des recourants. De dimensions plus importantes, elle permet d'accueillir l'ensemble du bétail de l'intimé. Les recourants ne contestent pas que le projet respecte les valeurs limites applicables en matière de protection de l'environnement et est conforme aux prescriptions légales topiques. Par ailleurs, une implantation à l'extrémité sud de la parcelle 1'119, telle que suggérée par les recourants, conduirait à un mitage inadéquat de la terre agricole (cf. consid. 2.2 ci-dessus).
Selon les recourants, l'intimé n'aurait pas démontré en quoi la construction devait être érigée à l'endroit choisi. Or, avec les juges cantonaux, il y a lieu de relever qu'il ne se justifie pas d'imposer à l'intimé le choix d'un autre emplacement pour son rural, dans la mesure où le projet obéit aux exigences d'une exploitation agricole raisonnable, tout en respectant les normes sur la protection de l'environnement. Les recourants n'établissent au demeurant pas que la solution retenue heurterait des intérêts prépondérants, qui auraient pu s'opposer à l'implantation de la construction à l'endroit prévu. A cet égard, on peut tout d'abord rappeler qu'en venant s'installer en bordure de la zone agricole, ils ont accepté les inconvénients liés à l'exploitation de la zone. Ils sont dès lors mal venus de contester le droit à un agriculteur de développer son entreprise en conformité avec les prescriptions de la zone et doivent se laisser opposer la construction d'un bâtiment nécessaire à l'exploitation (<ref-law>). A cela s'ajoute que les intéressés ne disposent d'aucun droit qui leur garantirait un espace libre de constructions agricoles dans le voisinage de leur villa. L'ARE relève au surplus que l'emplacement prévu présente quelques aspects très positifs au regard de la protection des terres agricoles, dont notamment celui de ne pas entraîner le besoin d'un bâtiment d'habitation en zone agricole, au vu de la proximité de la zone à bâtir. Enfin, dans la mesure où le planificateur local a choisi de juxtaposer la zone résidentielle à la zone agricole, il ne se justifie pas d'interpréter plus restrictivement l'<ref-law> en raison de cet état de fait et de la proximité d'un quartier de villas. Il résulte de ce qui précède qu'en l'occurrence, l'intérêt privé des recourants à obtenir un déplacement du rural plus au sud de la parcelle 1'119 n'est pas prépondérant face à celui de l'intimé à éviter un mitage accru de son domaine agricole. Le Tribunal cantonal a ainsi correctement appliqué l'<ref-law> et le recours doit être rejeté sur ce point.
4. Les recourants se prévalent enfin de l'<ref-law>. En vertu de cette disposition, il importe, à titre préventif et indépendamment des nuisances existantes, de limiter les émissions dans la mesure que permettent l'état de la technique et les conditions d'exploitation et pour autant que cela soit économiquement supportable.
En l'espèce, il a été jugé que l'emplacement du rural à l'endroit prévu est justifié du point de vue de l'aménagement du territoire et qu'on ne peut imposer à l'intimé un déplacement de l'installation à l'extrémité sud de sa parcelle (consid. 3.2 ci-dessus). De même, les impératifs liés à la protection de l'environnement, notamment en ce qui concerne les immissions de bruit et d'odeurs, ne s'opposent pas à l'emplacement du projet à l'endroit envisagé. Dans ces conditions, l'implantation choisie ne prête pas à discussion et les recourants ne sauraient y faire échec en invoquant l'<ref-law>. Il sied au demeurant de relever que la décision d'autorisation spéciale de la DAEC du 12 août 2010 respecte le principe de la prévention, en tant qu'elle reprend les conditions figurant dans les préavis de services concernés. Le service cantonal de l'environnement impose ainsi à l'intimé, dans son préavis du 26 juillet 2010, de prendre toutes les mesures nécessaires pour minimiser les nuisances sonores, notamment en utilisant des appareils techniques silencieux et en limitant autant que possible les mouvements d'engins agricoles pendant la période nocturne. Il apparaît dès lors qu'en autorisant l'installation litigieuse, les autorités concernées ont pris en compte le principe de la prévention au sens de l'<ref-law>. Mal fondé, le grief doit être rejeté.
5. Il s'ensuit que le recours doit être rejeté. Les recourants, qui succombent, doivent supporter les frais de la présente procédure (<ref-law>). Ils verseront en outre une indemnité à titre de dépens à l'intimé, qui obtient gain de cause avec l'assistance d'un avocat (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3'000 fr, sont mis à la charge des recourants.
3. Une indemnité de 3'000 fr. est allouée à l'intimé à titre de dépens, à la charge des recourants.
4. Le présent arrêt est communiqué aux mandataires des parties, au Préfet de la Gruyère, à la Direction de l'aménagement, de l'environnement et des constructions et au Tribunal cantonal du canton de Fribourg, IIe Cour administrative, ainsi qu'à l'Office fédéral du développement territorial.
Lausanne, le 20 septembre 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Mabillard