Faits: Faits: A. Situé en zone agricole sur le territoire de la Commune d'Ependes dans le canton de Fribourg, le château du Petit-Ependes a été construit en 1693. Dès son origine, cette bâtisse comportait une annexe à son angle nord, faisant un retour en équerre vers le sud-est. Construite sur pilotis, cette annexe (ci-après: l'annexe n°1), comportait à l'étage, adossé au château, un appentis dit "chambre du fiancé", ainsi qu'une galerie qui menait aux latrines. Le rez-de-chaussée de la galerie était fermé par des claies et des planches, sauf sur le côté sud-est. A. Situé en zone agricole sur le territoire de la Commune d'Ependes dans le canton de Fribourg, le château du Petit-Ependes a été construit en 1693. Dès son origine, cette bâtisse comportait une annexe à son angle nord, faisant un retour en équerre vers le sud-est. Construite sur pilotis, cette annexe (ci-après: l'annexe n°1), comportait à l'étage, adossé au château, un appentis dit "chambre du fiancé", ainsi qu'une galerie qui menait aux latrines. Le rez-de-chaussée de la galerie était fermé par des claies et des planches, sauf sur le côté sud-est. B. En 1970, la famille A._, alors propriétaire des lieux, a construit en dur le rez-de-chaussée de la galerie, tout en maintenant en l'état l'appentis. B. En 1970, la famille A._, alors propriétaire des lieux, a construit en dur le rez-de-chaussée de la galerie, tout en maintenant en l'état l'appentis. C. Sur la base d'un permis de construire obtenu le 9 août 1973, la famille A._ a procédé à la démolition de la totalité de la galerie, sauf la chambre du fiancé, pour agrandir le 1er étage de l'annexe n° 1. Au lieu de créer des combles d'une hauteur d'environ 1 m 20 au faîte, telles que prévues par le permis, un deuxième étage habitable a été construit sans autorisation, avec une toiture en forme de "shed". Il en est résulté une construction particulièrement disgracieuse, accolée au bâtiment historique. C. Sur la base d'un permis de construire obtenu le 9 août 1973, la famille A._ a procédé à la démolition de la totalité de la galerie, sauf la chambre du fiancé, pour agrandir le 1er étage de l'annexe n° 1. Au lieu de créer des combles d'une hauteur d'environ 1 m 20 au faîte, telles que prévues par le permis, un deuxième étage habitable a été construit sans autorisation, avec une toiture en forme de "shed". Il en est résulté une construction particulièrement disgracieuse, accolée au bâtiment historique. D. En 1978, la famille A._ a présenté une nouvelle demande en vue d'agrandir le bâtiment construit en 1973. Son projet a été refusé par l'ancienne Commission des monuments historiques et des édifices publics (actuellement: la Commission des biens culturels; ci-après: la Commission), qui l'a jugé d'une esthétique déplorable. Sur la base d'esquisses élaborées par la Commission, de nouveaux plans pour une première étape des travaux ont été produits et un permis de construire a été délivré le 20 mars 1979. Les travaux ont consisté en la construction d'une nouvelle villa (annexe n° 2) faisant équerre avec l'annexe n° 1, modifiée en conséquence. L'autorisation spéciale accordée le 14 mars 1979 par l'Office cantonal de l'aménagement du territoire soulignait cependant que "l'achèvement de l'ensemble des travaux, soit les 1ère et 2ème étapes, devait se faire sur la base des esquisses établies en avril 1978 par la Commission et qui faisaient partie intégrante de l'autorisation. D'autre part, le requérant était invité à assurer le raccordement des toitures entre le nouveau bâtiment et l'ancien de manière satisfaisante sur le plan esthétique". Dans une note du 20 mars 1979 figurant au dossier, D._ a précisé que les plans, objets du permis de 1979, concernaient la première étape des transformations; l'étape finale devait être entreprise ultérieurement et devrait donc faire l'objet d'une nouvelle demande de permis de construire. Dans une note du 20 mars 1979 figurant au dossier, D._ a précisé que les plans, objets du permis de 1979, concernaient la première étape des transformations; l'étape finale devait être entreprise ultérieurement et devrait donc faire l'objet d'une nouvelle demande de permis de construire. E. En 1985, F._ a acquis la parcelle n° 457 RF supportant le château (immeuble n° 34). Il a également acheté, le 25 septembre 1991, l'annexe n° 1 (immeuble n° 36). La famille A._ est actuellement propriétaire de l'annexe n° 2 (immeuble n° 38). E. En 1985, F._ a acquis la parcelle n° 457 RF supportant le château (immeuble n° 34). Il a également acheté, le 25 septembre 1991, l'annexe n° 1 (immeuble n° 36). La famille A._ est actuellement propriétaire de l'annexe n° 2 (immeuble n° 38). F. Après avoir déposé plusieurs demandes, F._ a requis le 8 mai 2004, un nouveau permis de construire visant la transformation de l'annexe n° 1. Le 9 juin 2004, la famille A._ a déposé une opposition reprenant les critiques qu'elle avait déjà formulées à l'encontre des requêtes antérieures. En substance, le projet visait l'amélioration de l'esthétique de l'ensemble en enlevant le 2ème étage de l'annexe n° 1 et "son intégration dans l'annexe n° 2"; la restitution du volume original de l'élément historique encore existant de l'annexe n° 1, à savoir le passage entre le château et l'annexe, tout en y rétablissant les anciens volumes à l'intérieur également; l'aménagement d'un accès sur l'axe principal du château. La Direction de l'aménagement, de l'environnement et des constructions (DAEC) a accordé l'autorisation spéciale requise par F._ par décision du 1er décembre 2004. Elle s'est fondée sur les préavis positifs, avec conditions, de la commune et de tous les services consultés - notamment de la Commission. Cette dernière s'est référée au rapport de base du Service des biens culturels du 3 mai 2001 selon lequel: "Bref historique du dossier La Commission a émis en 1978 un préavis dans le cadre d'une demande de permis pour la construction d'une annexe. L'objectif de la Commission était la mise en valeur de l'édifice du château en précarisant l'existence de l'annexe n° 36. Sur la base des besoins et des droits du propriétaire de l'époque, la Commission avait envisagé la démolition de l'annexe au profit de la construction d'un nouveau bâtiment indépendant. Le propriétaire de l'époque a construit partiellement le bâtiment indépendant tout en conservant l'annexe n° 36. L'autorisation spéciale a été délivrée notamment à la condition que les travaux ultérieurs sur les annexes se fassent sur la base des esquisses établies à l'époque par le Service des monuments historiques. Le propriétaire de l'époque a vendu l'édifice principal avec l'annexe n° 36. Il est resté propriétaire du bâtiment n° 38, adossé à l'annexe n° 36. Examen du projet présenté La mise en valeur de l'édifice du château doit rester l'objectif prépondérant. Les moyens pour atteindre cet objectif doivent toutefois être évalués dans le respect du principe de la proportionnalité en tenant compte des droits du propriétaire actuel en application des dispositions légales et réglementaires relatives aux constructions hors zone à bâtir. L'annexe dont la Commission avait demandé la démolition en 1978 comprend encore des éléments d'une ancienne galerie qui conduisait aux latrines. Le projet déposé prévoit la conservation des éléments de l'ancienne galerie et la reconstruction de l'annexe dans une forme qui s'adapte au bâtiment n° 38. Il présente l'avantage de dégager la façade de l'édifice principal. Le projet améliore de manière sensible la situation non seulement en réduisant l'effet de l'annexe sur le bâtiment principal, mais également en réhabilitant l'accès originel à l'édifice (...)". Sur cette base, le DAEC a considéré que l'extension de la surface habitable apparaissait conforme aux principes fixés par le droit fédéral, que le projet améliorait sensiblement l'aspect architectural du bâtiment existant et qu'il pouvait être admis au titre de transformation partielle. Le 13 janvier 2005, le Préfet du district de la Sarine (ci-après: le Préfet) a accordé le permis de construire sollicité. Il a considéré que la demande du 8 mai 2004 consistait en une demande de permis à part entière et non pas en une modification des demandes antérieures. Partant, il a décidé que ce permis annulait et remplaçait les deux précédents. Le 16 février 2005, la famille A._ a recouru auprès du Tribunal administratif du canton de Fribourg (ci-après: le Tribunal administratif) contre les décisions du DAEC du 1er décembre 2004 et du Préfet du 13 janvier 2005. Par arrêt du 6 juillet 2006, le Tribunal administratif a rejeté le recours. Il a estimé que, en tenant compte de toutes les circonstances, comparé à la situation actuelle, le projet litigieux améliorait grandement le site historique du château dans son ensemble et celui de l'annexe en particulier. La surface brute habitable n'étant pas augmentée et le projet améliorant sensiblement le site, la transformation en cause satisfaisait aux exigences majeures de l'aménagement du territoire et s'avérait par conséquent conforme à l'art. 24c LAT. Afin de respecter l'interdiction d'augmenter la surface brute habitable, F._ devait toutefois procéder à une modification interne. Ce détail ne justifiait cependant pas une nouvelle enquête. Par arrêt du 6 juillet 2006, le Tribunal administratif a rejeté le recours. Il a estimé que, en tenant compte de toutes les circonstances, comparé à la situation actuelle, le projet litigieux améliorait grandement le site historique du château dans son ensemble et celui de l'annexe en particulier. La surface brute habitable n'étant pas augmentée et le projet améliorant sensiblement le site, la transformation en cause satisfaisait aux exigences majeures de l'aménagement du territoire et s'avérait par conséquent conforme à l'art. 24c LAT. Afin de respecter l'interdiction d'augmenter la surface brute habitable, F._ devait toutefois procéder à une modification interne. Ce détail ne justifiait cependant pas une nouvelle enquête. G. Agissant par la voie du recours de droit administratif et de droit public, A._, B._, C._, D._ et E._ demandent au Tribunal fédéral d'annuler l'arrêt rendu par le Tribunal administratif le 6 juillet 2006 et de renvoyer la cause à cette autorité pour nouvelle décision dans le sens des considérants. A l'appui de leur recours de droit administratif, ils se plaignent d'une violation des art. 105 OJ et 24c LAT. Dans le cadre de leur recours de droit public, ils invoquent l'arbitraire dans l'appréciation des preuves et dans l'application du droit cantonal et font valoir une violation de leur droit d'être entendus. Le Tribunal administratif et le Préfet ont conclu au rejet des recours en renvoyant à la décision attaquée. La Commune d'Ependes n'a pas formulé d'observations. Le DAEC a proposé le rejet des recours. F._ s'est quant à lui prononcé en faveur du rejet des recours dans la mesure de leur recevabilité. L'Office fédéral du développement territorial (ARE), eu égard à la complexité du dossier et aux questions ouvertes, a conclu à l'admission du recours et au renvoi du dossier aux autorités cantonales. Le Tribunal administratif a persisté dans ses conclusions. Les consorts A._ ont précisé les conclusions de leur recours de droit administratif. Ils demandent en plus au Tribunal fédéral de dire que les autorisations spéciales du 2 mai 2002 et du 17 novembre 2003 sont caduques, subsidiairement annulées; que le permis de construire du 12 juillet 2002, la décision préfectorale du 28 juillet 2002 et le permis de construire du 28 novembre 2003 sont annulés par le permis de construire du 13 janvier 2005, subsidiairement que ces décisions sont annulées; que l'autorisation spéciale du 1er décembre 2004 et le permis de construire du 13 janvier 2005 sont annulés; en particulier que la construction d'une barrière métallique et de trois pylônes au bout du chemin de servitude n'est pas autorisée et que l'abri à vélos sera reculé d'un mètre vers l'ouest pour dégager la place et permettre la sortie des véhicules du requérant en marche avant sur la route communale; la transformation du bâtiment érigé sur l'article 459 du registre foncier d'Ependes suivra dans sa volumétrie et dans le raccordement de toiture, les plans autorisés, d'une part, par le permis de construire du 22 mars 1979 sur la base des plans esquissés en avril 1978 par le service des monuments historiques et sur la base d'un nouveau plan de situation du 11 mai 1978 et, d'autre part, par l'autorisation spéciale de l'office cantonal de l'aménagement du territoire du 14 mars 1979, ce qui inclut la démolition de la partie intermédiaire entre le château (art. 457) et la partie devant de la villa (art. 458). Elle sera exécutée dans le délai fixé par le juge afin de terminer la construction selon lesdites autorisations; la restitution de l'appentis soutenu par des piliers de bois, appelé "chambre du fiancé" est cependant autorisée. Son toit d'un seul pan s'appuiera sur la poutre horizontale adossée au mur oriental du château. En plan, il aura les dimensions approximatives suivantes; couloir: 2 m 70 x 1 m 20; chambre: 2 m 70 x 2 mètres. F._ a maintenu ses conclusions et a conclu à l'irrecevabilité de celles nouvellement présentées par les consorts A._. Par ordonnance du 11 octobre 2006, le Président de la Ire Cour de droit public a admis la demande d'effet suspensif formulée par les consorts A._.