Faits : A. Le 9 mai 2008, A._ a déposé une demande de permis de construire afin de transformer en restaurant et gîte le chalet d'alpage sis au lieu-dit "Tissiniva" de la commune de Charmey. Ce chalet était jusqu'alors affecté à la garde de génisses pendant la période estivale. Il est situé hors zone à bâtir, au milieu des pâturages, à environ 600 mètres de l'arrivée de la télécabine Charmey-Vounetz, où se trouve le restaurant "Les Dents Vertes". Lors de la mise à l'enquête publique, l'association Pro Natura a formé opposition au projet. La commune de Charmey, l'Union fribourgeoise du tourisme et tous les services spécialisés de l'Etat qui avaient été consultés ont préavisé favorablement le projet, souvent avec conditions. A.a. Le 13 février 2009, la Direction de l'aménagement, de l'environnement et des constructions du canton de Fribourg (la DAEC) a accordé au requérant une autorisation spéciale et le permis de construire lui a été délivré par le Préfet de la Gruyère le 8 avril 2009. A la suite de cette décision non entrée en force, l'intéressé a entrepris les travaux de transformation du chalet d'alpage. Sur recours de Pro Natura Fribourg et Pro Natura Suisse, le Tribunal cantonal du canton de Fribourg a annulé ces décisions par arrêt du 27 juin 2011 et renvoyé le dossier à la DAEC pour instruction et nouvelle décision concernant l'autorisation spéciale. La cour cantonale estimait que c'était uniquement sous l'angle d'une dérogation au sens de l'art. 24 LAT (RS 700) que le projet litigieux devait être examiné et non en tant que construction conforme à la zone agricole au sens de l'art. 22 LAT ni à titre d'activités accessoires au sens de l'art. 24b LAT. A.b. Par ordonnance de mesures super-provisionnelles urgentes du 16 juin 2009, le Juge délégué du Tribunal cantonal a autorisé les travaux nécessaires à l'estivage du bétail et à la consolidation du bâtiment. Il s'agissait d'éviter de mettre en péril des vies humaines ou animales et de voir le bâtiment s'écrouler en cas d'intempéries, en maintenant toutefois l'interdiction prononcée dans une précédente ordonnance du 5 juin 2009 pour d'autres travaux. En avril 2010, A._ a demandé par voie de mesures provisionnelles urgentes à pouvoir utiliser les infrastructures de l'alpage de Tissiniva durant la période d'estivage (exploitation de l'alpage, fabrication de fromage, vente des produits de l'alpage et accueil de la clientèle touristique). Lors de l'inspection des lieux du 12 mai 2010, il a été constaté que, outre les travaux autorisés par l'ordonnance du 16 juin 2009, l'intéressé avait également effectué d'autres travaux ni urgents ni nécessaires, tels que la pose de certaines cloisons, l'aménagement de douches et WC, l'installation de mobilier dans les chambres, à la cuisine ainsi que dans la salle du restaurant et que divers éléments décoratifs avaient été placés à l'intérieur du bâtiment; en d'autres termes, le projet contesté était entièrement achevé et prêt à être exploité. Par ordonnance du 1er juin 2010, le Tribunal cantonal a admis la requête de mesures provisionnelles de A._ et autorisé l'exploitation de l'alpage, la fabrication de fromage, la vente des produits d'alpage ainsi que l'accueil de la clientèle touristique (vente de boissons, restauration et hébergement) jusqu'au 25 septembre 2010. Cette autorisation a été renouvelée pour l'été 2011. Le restaurant a été exploité à chaque saison d'hiver et d'été depuis lors. A.c. A la demande de la DAEC, l'exploitant a remis un rapport de la HES-SO Sierre et de la société Interconsulting à Montreux en septembre 2011. Dans sa prise de position du 15 décembre 2011, la DAEC a estimé que l'étude ne démontrait pas clairement de manière chiffrée qu'il y avait un besoin objectif de disposer de nouvelles possibilités de restauration et d'hébergement hors de la zone à bâtir, à l'endroit en question, et que, sur la base de cette seule étude, une autorisation spéciale ne pouvait pas être accordée. Une séance s'est tenue le 16 mai 2012 entre la DAEC et l'exploitant, qui a transmis en juin 2012 un rapport contenant des compléments chiffrés sur la demande objective en matière de restauration et d'hébergement. B. Le 9 juillet 2012, la DAEC a accordé l'autorisation spéciale requise pour la réalisation du projet hors zone à bâtir, à l'exception de la transformation relative à l'hébergement. Le 11 juillet 2012, le Service cantonal des constructions et de l'aménagement a émis un préavis favorable pour la transformation liée à la restauration et un préavis défavorable pour celle liée à l'hébergement. Par décision du 24 juillet 2012, le Préfet a écarté les oppositions formées à l'encontre du projet et, par décision du 25 juillet 2012, a autorisé la transformation du chalet la Tissiniva en restaurant d'alpage ainsi que l'aménagement d'une écurie et d'une fosse à lisier. Pro Natura Fribourg et Pro Natura Suisse ont recouru contre ces décisions auprès du Tribunal cantonal, concluant à leur annulation et au rejet de l'autorisation de construire. A._ a également interjeté un recours, concluant à l'octroi de l'autorisation spéciale et du permis de construire nécessaires à l'activité liée à l'hébergement. La IIe Cour administrative du Tribunal cantonal a rejeté les deux recours par arrêt du 24 octobre 2013. S'agissant des griefs soulevés par Pro Natura, elle a considéré qu'un besoin réel en restauration était avéré tant en hiver qu'en été, l'offre proposée par l'établissement litigieux étant complémentaire à celle du restaurant existant à l'arrivée des télécabines. La cour cantonale a toutefois estimé nécessaire de préciser que la limitation d'accès à l'établissement public par la route alpestre existante comprenait l'interdiction de tout système de transport par navette de la clientèle. C.