Faits:
A. C._, né en 1952, est propriétaire d'une entreprise agricole sise à X._. Le 12 mars 2009, il a conclu avec les cousins A._ et B._, agriculteurs, un contrat de bail à ferme pour entreprise agricole portant sur une surface de 16,5 hectares et des bâtiments agricoles, sans l'habitation principale. La durée du contrat a été fixée à douze ans et le fermage à 23'700 fr. Par courrier du 19 mars 2009, A._ et B._ ont demandé l'approbation du bail à l'Autorité foncière cantonale fribourgeoise (ci-après: l'Autorité foncière).
Le 22 avril 2009, lors d'une inspection des lieux par une délégation de l'Autorité foncière, il fut constaté que C._ et sa famille occupaient l'habitation et qu'ils n'avaient pas l'intention de la quitter. Le bailleur a également indiqué, à cette occasion, qu'il ne voulait plus affermer ses terres.
C._, le 30 avril 2009, a confirmé à l'Autorité foncière son intention de se retirer du contrat. Son fils D._ a, le même jour, également écrit à cette autorité pour affirmer qu'il terminait une formation d'agriculteur et qu'il souhaitait reprendre le domaine à bref délai. Il a dès lors demandé que l'autorisation sollicitée ne soit pas accordée. Pour leur part, les cousins A._ et B._ ont précisé, le 13 mai 2009, qu'ils avaient d'ores et déjà procédé à d'importants investissements à la suite de la conclusion du contrat.
Le 19 mai 2009, l'Autorité foncière a constaté que C._ renonçait à ce qu'il soit statué sur l'autorisation d'affermage par parcelles de son domaine agricole. Elle a également refusé d'approuver, en l'état, le fermage de cette entreprise agricole, les parties étant invitées à saisir le juge civil pour que celui-ci examine la validité du contrat qu'elles avaient conclu.
Le 25 juin 2009, A._ et B._ ont déposé une demande de reconsidération de la décision du 19 mai 2009, arguant que le juge civil avait été saisi de la cause au fond. Par décision du 16 juillet 2009, l'Autorité foncière a refusé d'autoriser l'affermage par parcelles de l'entreprise agricole propriété de C._ et a résilié le contrat de bail conclu le 12 mars 2009 pour la fin février 2010. A l'appui de cette décision, l'Autorité foncière a tout d'abord retenu que la maison d'habitation était liée à l'exploitation et qu'elle constituait un élément important de celle-ci. Par ailleurs, selon elle, aucune des conditions légales n'était en l'espèce réalisée pour autoriser l'affermage des terres seules sans cet immeuble.
B. Recourant contre cette décision auprès de la Cour administrative du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal), A._ et B._ ont pour l'essentiel fait valoir que la maison d'habitation, liée à l'entreprise agricole, n'était pas indispensable à l'exploitation, dans la mesure où elle était d'ores et déjà en partie louée à un tiers. En outre, le domaine de C._ était voisin de celui de A._ et du lieu où il résidait, tout en étant au surplus situé à un kilomètre du domicile de B._. Dans la mesure où, en définitive, les biens pris à bail formaient d'ores et déjà une entreprise agricole sans l'habitation, une autorisation n'était pas nécessaire pour l'affermage de cette entreprise. Selon eux, subsidiairement, le bail ayant été conclu pour une durée de douze ans, il s'agirait d'un affermage par parcelles temporaire; les conditions légales d'un tel affermage étant réalisées, l'autorisation devait leur être accordée. C._ a produit le jugement du 16 juin 2010 du Président du Tribunal civil de la Veveyse l'autorisant, par mesures provisionnelles, à laisser paître son bétail aux endroits indiqués par les cousins A._ et B._; il a également déposé une lettre de son fils D._ confirmant la volonté de celui-ci de reprendre l'exploitation familiale, de même que le certificat de capacité d'agriculteur que celui-ci avait obtenu en 2010.
Par jugement du 30 septembre 2011, le Tribunal cantonal a rejeté le recours. A cette occasion, il a notamment retenu, en se référant au rapport du 22 avril 2009 de la délégation de l'Autorité foncière, que la maison d'habitation, les bâtiments agricoles et les terres formaient une unité économique agricole, le domaine étant "d'un seul mas autour de la ferme". Le Tribunal cantonal a également pris en compte des faits ultérieurs à la conclusion du contrat de base, tel que l'accord conclu par les parties en cours de procédure permettant à C._, qui continuait à vivre dans l'habitation, de conserver les terres nécessaires à l'affouragement de son bétail, soit environ 4 hectares sur 16,5 hectares. Tant la distraction de l'habitation que des 4 hectares de terrain agricole nécessitaient, selon le Tribunal cantonal, la soumission à la procédure d'autorisation du droit sur le bail à ferme agricole. Or, les conditions présidant à l'octroi de cette autorisation n'étaient pas remplies. Le Tribunal cantonal a fixé un délai au 31 mars 2012 aux recourants pour évacuer le domaine.
C. Agissant par la voie du recours en matière de droit public, A._ et B._ demandent au Tribunal fédéral, sous suite de frais et dépens, principalement, de constater que le contrat de bail à ferme a pour objet une entreprise agricole au sens du droit foncier rural et qu'il n'est, partant, pas soumis à la procédure d'autorisation d'affermage par parcelles et de renvoyer la cause à l'Autorité foncière pour décision d'approbation du fermage. Subsidiairement, ils requièrent d'approuver le contrat d'affermage par parcelles temporaire de l'entreprise agricole, avec une échéance au 31 mars 2021 et de renvoyer la cause à l'Autorité foncière pour décision d'approbation du fermage. Plus subsidiairement, ils demandent d'annuler la décision du Tribunal cantonal confirmant la résiliation du contrat de bail à ferme agricole pour le 28 février 2010 et de renvoyer la cause à l'Autorité foncière pour nouvelle décision de résiliation conforme au droit sur le bail à ferme agricole.
C._, le Tribunal cantonal et l'Autorité foncière, comme l'Office fédéral de la justice, concluent au rejet du recours.
Par ordonnance du 6 décembre 2011, le Président de la IIe Cour de droit public du Tribunal fédéral a octroyé l'effet suspensif au recours.

Considérant en droit:
1. 1.1 Le recours porte sur une matière dont le traitement incombe à la IIe Cour de droit public en application de l'<ref-law>.
Dans la mesure où la problématique des autorisations d'affermage par parcelles ne tombe pas dans les exclusions de l'art. 83 lit. s LTF, le recours en matière de droit public, qui remplit les conditions des art. 42 et 82 ss LTF, est recevable.
1.2 Le Tribunal fédéral fonde son raisonnement juridique sur les faits constatés par l'autorité précédente (<ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>), en particulier en contrevenant à l'interdiction de l'arbitraire (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 2.1 p. 450). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente (cf. <ref-law>), il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées. Sinon, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur les critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 3 p. 104; <ref-ruling> consid. 5.2.2 p. 322).
2. 2.1 Selon les recourants, les faits pertinents auraient été constatés d'une façon manifestement inexacte. Ils reprochent au Tribunal cantonal d'avoir tenu compte du jugement du 16 juin 2010 du Président du Tribunal civil de la Veveyse autorisant l'intimé, par mesures provisionnelles, à laisser paître son bétail aux endroits indiqués par les recourants et d'avoir, ainsi, pris en considération des fais survenus plus de deux ans et sept mois après la conclusion du contrat litigieux.
2.2 On ne peut reprocher à l'instance précédente une constatation manifestement inexacte des faits pertinents puisque le jugement du 16 juin 2010 susmentionné existe bel et bien.
Les recourants se plaignent en fait non pas d'une telle constatation inexacte mais estime que c'est à tort que le Tribunal cantonal, pour juger de la cause, a pris en compte des faits postérieurs à la conclusion du contrat de bail à ferme du 12 mars 2009. Il s'agit, dès lors, d'une question de procédure cantonale. Il appartenait donc aux recourants d'alléguer que le Tribunal cantonal avait appliqué le Code fribourgeois du 23 mai 1991 de procédure et de juridiction administrative (RS/FR 150.1) d'une façon violant le droit fédéral, en particulier de façon arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.2 p. 145; <ref-ruling> consid. 1.3 p. 60; <ref-ruling> consid. 4.3 p. 521/522). Les recourants n'ayant pas invoqué ce grief, qui doit être motivé de manière précise (<ref-law>; ATF <ref-ruling> consid. 1.3 p. 60; <ref-ruling> consid. 1.4.2 p. 254), le Tribunal fédéral ne l'examinera pas.
En conclusion, le grief relatif à une constatation manifestement inexacte des faits pertinents doit être rejeté.
3. Les recourants font valoir qu'ils ont conclu un contrat portant sur une entreprise agricole complète et non pas sur de simples immeubles agricoles. Ils estiment que l'existence d'une habitation n'est pas une condition absolue à l'existence d'une entreprise agricole. Ayant leur propre habitation à proximité immédiate des terres affermées, la distraction de celle du bailleur ne serait en rien préjudiciable à l'exploitation de l'entreprise en une seule unité économique agricole. Le régime de l'affermage par parcelles des art. 30 ss de la loi fédérale du 4 octobre 1985 sur le bail à ferme agricole (LBFA; RS 221.213.2) ne serait, ainsi, pas applicable.
3.1 L'<ref-law>, dont la note marginale est "Régime de l'autorisation", prévoit:
"1. Nul ne peut, sans autorisation, distraire d'une entreprise agricole des immeubles ou des parties d'immeubles en vue de leur affermage.
2. L'autorisation n'est pas nécessaire lorsque la surface totale affermée n'atteint pas 10 pour cent de la surface initiale utile et que la chose affermée ne comprend aucun bâtiment."
Cette disposition constitue une exception au principe voulant que la conclusion d'un bail à ferme agricole n'est pas soumise à un régime général d'autorisation. Elle vise à éviter la dissolution d'entités agricoles indépendantes dont la structure correspond aux standards de l'entreprise agricole au sens de l'art. 7 de la loi fédérale du 4 octobre 1991 sur le droit foncier rural (LDFR; RS 211.412.11).
Selon l'<ref-law>, par entreprise agricole, on entend une unité composée d'immeubles, de bâtiments et d'installations agricoles qui sert de base à la production agricole et qui exige, dans les conditions d'exploitation usuelles dans le pays, au moins une unité de main d'oeuvre standard.
3.2 Il n'est pas contesté que les bâtiments auxquels se réfère l'<ref-law> incorporent ceux d'habitation (ATF <ref-ruling> consid. 5.2.1 p. 321). Cela ne signifie toutefois pas que, dans tous les cas, une entreprise agricole ne puisse exister qu'en présence d'une telle habitation. En droit successoral paysan, par exemple, le Tribunal fédéral a considéré qu'il ne fallait pas juger de manière trop schématique et nier dans tous les cas l'existence d'une entreprise agricole à défaut d'une telle habitation sur le domaine (<ref-ruling> consid. 3c p. 78). Le caractère d'entreprise agricole des parcelles mises en bail ne saurait être nié au regard de la seule emprise au sol, prétendument insuffisante, que représenteraient les immeubles bâtis (cf. <ref-ruling> consid. 2 où cette question a finalement été laissée ouverte). En définitive, c'est essentiellement la nécessité d'une telle infrastructure pour l'exploitation normale du domaine qui doit faire l'objet de l'analyse. Ainsi, s'il s'avère nécessaire, sauf circonstances particulières, de disposer d'un tel logement sur le domaine à proximité des étables, dès lors que l'agriculteur se charge de production animale, il n'en ira pas nécessairement de même en matière de viticulture. C'est une question de fait que de juger de cette nécessité dans un cas d'espèce.
3.3 Estimant que l'habitation n'est pas nécessaire à l'existence d'une entreprise agricole, les recourants devaient démontrer que, contrairement à ce qu'a retenu le Tribunal cantonal, on est présence d'une entreprise agricole indépendamment de l'habitation et que cette dernière n'était pas indispensable à l'entreprise, par exemple au regard du type de production. Or, les intéressés se contentent d'affirmer que l'habitation de l'un se trouve à proximité immédiate des "terres et ruraux" affermés et que celle de l'autre se trouve à un kilomètre. Cette argumentation appellatoire ne remplit pas les exigences en la matière (cf. consid. 1.2). Il en résulte que la Cour de céans ne peut pas tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué et doit retenir, à la base de son raisonnement juridique, que l'habitation constitue en la cause un élément essentiel de l'entreprise agricole du propriétaire. A la distraction du bâtiment d'habitation, s'ajoute celle des 4 hectares dont l'intimé bénéficie pour son bétail. En conséquence, le Tribunal cantonal pouvait, sans violer le droit fédéral, juger que la mise à bail du solde de l'exploitation tombait sous le régime de l'affermage par parcelles et nécessitait l'obtention d'une autorisation.
Partant, le grief relatif à la violation de l'<ref-law> doit être rejeté dans la mesure où il est recevable.
4. Les recourants invoquent la violation de l'art. 31 al. 2 lit. e LBFA. Ils soulignent que le contrat a été conclu pour une durée déterminée de douze ans, renouvelable pour six ans, et qu'il prendra fin au plus tard en 2028, ce qui correspondrait encore à la définition d'un affermage par parcelles temporaire.
4.1 L'art. 31 al. 2 lit. e LBFA dispose:
"L'autorisation n'est accordée que si l'une des conditions suivantes est remplie:
(...)
e. l'entreprise n'est affermée par parcelles que temporairement et sera, plus tard, reconstituée comme unité économique;
(...)."
4.2 Le Tribunal cantonal a estimé que le contrat conclu pour une durée de douze ans, renouvelable pour six ans aux mêmes conditions, ne permettait pas de retenir une durée prévisible de location au terme de laquelle l'unité de base serait reconstituée. Parallèlement, il a retenu, dans l'analyse de l'<ref-law>, qu'il était "établi que le fils de l'intimé a terminé sa formation d'agriculteur", que celui-ci "a indiqué qu'il souhaitait reprendre les rênes de l'entreprise agricole aux côtés de son père" et que rien ne permettait de douter de ces faits.
4.3 L'affermage temporaire par parcelles constitue généralement une solution transitoire, d'une durée relativement brève, à la fin de laquelle intervient souvent la reprise de toute l'entreprise par une personne qui n'est pas en mesure de le faire pendant la période de transition. Ainsi en va-t-il, par exemple, lorsque le propriétaire exploitant décède en laissant des enfants mineurs qui ne pourront décider qu'ultérieurement si et quand ils exploiteront l'entreprise de manière indépendante (BENNO STUDER/EDUARD HOFER, Das landwirtschaftliche Pachtrecht, 2ème éd., 2007, ch. 670 p. 196; FRANCIS MICHON, La conclusion et l'extinction du contrat de bail à ferme agricole, in: 9ème séminaire sur le droit de bail, 1996, p. 7). Cet affermage par parcelles ne constitue qu'une phase transitoire, sachant que ce terme ne se réfère pas à une durée minimum fixe mais à un délai tenant compte des particularités du cas d'espèce. Ainsi, l'autorité doit fixer la durée du bail en prenant en considération les circonstances. Avant l'expiration de la durée consentie, les parties peuvent déposer une autre demande, faisant valoir que les conditions pour un affermage par parcelles sont toujours remplies (CHRISTINA SCHMID-TSCHIRREN, Bail à ferme agricole II, FJS 841, 2000, p. 7; cf. aussi BRIGITTE STÄMPFLI CHEVALLEY, Le régime des autorisations et des oppositions dans la loi fédérale sur le bail à ferme agricole, 1991, p. 151).
4.4 Dès lors que le fils de l'intimé achevait sa formation d'agriculteur, l'Autorité foncière se trouvait potentiellement confrontée à un motif d'autorisation au sens de l'art. 31 al. 2 lit. e LBFA. Pratiquement, celle-ci aurait pu fixer une durée maximale du bail à ferme, puisque, lors de la première instance, le fils était encore en cours de formation d'agriculteur.
Il n'en demeure pas moins que les recourants n'ont requis l'affermage par parcelles temporaire que devant le Tribunal cantonal. Or, lorsque cette autorité a rendu son arrêt, le fils de l'intimé avait d'ores et déjà terminé sa formation d'agriculteur et affirmé vouloir exploiter le domaine. Dans cette mesure, celle-ci ne pouvait pas accorder une autorisation pour un affermage temporaire puisque la situation ne correspondait plus à celles visées par l'art. 31 al. 2 let. e LBFA. On relèvera encore qu'il incombe à l'autorité de fixer la durée du contrat admissible au vu des circonstances et qu'elle n'est pas liée par celle décidée par les parties. En ce sens, les considérations du Tribunal cantonal sur le caractère reconductible et non à terme fixe du contrat de bail ne sont pas déterminantes. A l'inverse, dans la mesure où tout contrat a, en principe, une échéance, c'est à juste titre que cette autorité ne s'est pas contentée de constater, comme le voulaient les recourants, que l'entreprise de l'intimé n'avait été affermée que temporairement et qu'elle retrouverait son intégralité au terme du bail. Tel est, en effet, toujours le cas de sorte qu'une telle considération est dénuée de pertinence au regard du but de la norme ici analysée.
Le grief de violation de l'art. 31 al. 2 lit. e LBFA est donc rejeté.
5. 5.1 Les recourants estiment enfin qu'aucune autorité ne peut résilier le contrat de bail avant que la décision de refus d'autorisation ne soit définitive et exécutoire. Ils invoquent en ce sens une violation de l'<ref-law> selon lequel si elle refuse l'autorisation, l'autorité cantonale résilie le bail à ferme pour le prochain terme raisonnable de printemps ou d'automne et ordonne l'évacuation de l'immeuble. Se référant à l'avis de Schmid-Tschirren (op. cit., consid. 4.3), ils semblent soutenir que la résiliation du bail à ferme par l'autorité ne pourrait intervenir qu'après l'entrée en force de la décision refusant l'autorisation d'affermage par parcelles. Ils déduisent cette conséquence du fait que, selon cet auteur, la résiliation n'intervient "ni ex tunc, ni ex nunc mais in futuro".
5.2 Selon le texte clair de l'<ref-law>, l'autorité cantonale résilie le bail si elle refuse l'autorisation. Cette disposition ne réserve pas les cas où la décision refusant l'autorisation est attaquée et, par conséquent, où elle n'est pas définitive et exécutoire. Dès lors, conformément à cette disposition, le Tribunal cantonal pouvait fixer un délai aux recourants pour évacuer le domaine (cf., à cet égard, BRIGITTE STÄMPFLI CHEVALLEY, op. cit., p. 158 ss; URS NUSSBAUMER, Parzellenweise Verpachtung und Zupacht, in: Das neue landwirtschaftliche Pachtrecht, 1986, p. 43). Au demeurant, compte tenu de son pouvoir de réforme, le Tribunal fédéral est à même, si le terme prévu pour l'évacuation ne pouvait être respecté du fait du recours, d'en fixer un nouveau.
Partant, un tel mode de faire est conforme au droit fédéral et le grief doit être rejeté.
6. Les considérants qui précèdent conduisent au rejet du recours, dans la mesure de sa recevabilité.
Succombant, les recourants supporteront, solidairement entre eux, les frais judiciaires (art. 66 al. 1 et 5 LTF). Ils verseront également des dépens réduits à l'intimé compte tenu de la détermination très courte (une page) de son avocat (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3. Une indemnité de 500 fr., à payer à C._ à titre de dépens, est mise à la charge des recourants, solidairement entre eux.
4. Le présent arrêt est communiqué aux mandataires des recourants et de C._, à l'Autorité foncière cantonale et au Tribunal cantonal du canton de Fribourg, IIIe Cour administrative, ainsi qu'à l'Office fédéral de la justice.
Lausanne, le 7 février 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Kurtoglu-Jolidon