Faits: A. A._ a cédé en 2007 à ses fils C._ et B._ l'alpage du Lappé, situé dans le vallon du Petit-Mont, sur la commune de Charmey. Cet alpage supporte le chalet du Lappé, servant à l'exploitation agricole et au logement des personnes qui y estivent. Sis en zone agricole, le chalet a été bâti ou reconstruit en 1742 et est recensé en valeur A à l'inventaire des chalets d'alpage. Il constitue l'un des deux seuls chalets dans le canton de Fribourg coiffés d'un imposant toit souvent qualifié, à tort selon A._, de toit à la Mansart. Une chute de grêle a endommagé la toiture de bardeaux du chalet du Lappé en juillet 2005. A la fin de l'été et durant l'automne 2006, A._ a fait poser une couverture de métal thermolaqué sur le toit de bardeaux, d'une teinte proche de celle des anciens tavillons. Un espace entre l'ancien et le nouveau revêtement a été maintenu afin de permettre une circulation d'air et la conservation de la couverture d'origine. Le coût total de la réparation du toit s'est élevé à 93'351 fr. 75. Les 23 et 30 novembre 2006, le Conseil communal de la commune de Charmey (ci-après: le Conseil communal) a constaté que ladite couverture de tôle avait été posée sans autorisation par l'intéressé. Conscient du coût d'une réfection traditionnelle de la bâtisse en tavillons, il a regretté que ce dernier n'ait pas pris contact avec les services communaux, cantonaux ou fédéraux compétents afin de rechercher une solution financière adéquate. Il l'a également invité à déposer une requête de permis de construire au Préfet du district de la Gruyère (ci-après: le Préfet) et à lui adresser un dossier complet en vue d'une mise à l'enquête. B. A._ a sollicité un permis de construire le 27 février 2007 et le dossier a été mis à l'enquête publique par avis publié dans la Feuille officielle du 16 mars 2007. Au terme de la mise à l'enquête, le projet de réfection du toit du chalet du Lappé a suscité quatre oppositions émanant notamment des associations Patrimoine Gruyère-Veveyse et Pro Fribourg. En substance, ces associations ont estimé que la couverture de tôle, posée sans autorisation, violait la législation relative à la conservation du patrimoine architectural alpestre et altérait gravement la silhouette du chalet et le caractère du site. Par ailleurs, l'argument économique évoqué par le requérant ne serait pas recevable car une rénovation traditionnelle aurait pu obtenir un subventionnement de l'ordre de 40 %. Le Conseil communal s'est prononcé défavorablement sur le projet en cause, qui a également fait l'objet d'un préavis négatif de la Commission cantonale des biens culturels. Celle-ci a constaté que la législation applicable aux transformations des chalets d'alpage ne permettait pas la rénovation des toitures à l'aide de métal. De plus, la réfection du toit en tôle thermolaquée portait préjudice au caractère originel du chalet d'alpage. Par décision du 3 septembre 2007, la Direction cantonale de l'aménagement, de l'environnement et des constructions (ci-après: la Direction cantonale) a refusé de mettre le requérant au bénéfice d'une autorisation spéciale pour la couverture en tôle de la toiture du chalet du Lappé. Le 12 septembre 2007, le Préfet a refusé la demande de permis de construire sollicitée par A._. Il a imparti un délai aux intéressés pour se déterminer sur le principe et les modalités d'un éventuel rétablissement de l'état de droit et fournir un devis chiffré sur les travaux nécessaires. C. A._, C._ et B._ ont recouru auprès du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal) contre la décision de la Direction cantonale du 3 septembre 2007 et la décision préfectorale du 12 septembre 2007. Après des débats publics limités aux plaidoiries, le Tribunal cantonal a rejeté le recours et confirmé les décisions attaquées par arrêt du 17 février 2010. Il a considéré en substance que la couverture en tôle litigieuse ne respectait pas l'art. 11 de l'arrêté du Conseil d'Etat du 10 avril 1990 relatif à la conservation du patrimoine architectural alpestre. Les intéressés ne pouvaient par ailleurs remettre en question la mesure de protection prise à l'endroit de leur chalet en vertu du règlement communal d'urbanisme, puisqu'ils n'avaient pas fait opposition en temps utile; le chalet du Lappé avait été inventorié en valeur A selon ce règlement, principalement en raison de son toit en bardeaux, qui méritait par conséquent d'être protégé. Les restrictions du droit de propriété générées par la mesure de protection en question étaient en outre aptes à sauvegarder l'intégrité de l'objet et sa valeur historique, lesquelles ne pouvaient être préservées par des mesures moins incisives que la réfection traditionnelle du toit en tavillons. Enfin, l'intérêt public visé était prépondérant par rapport aux intérêts privés compromis et les arguments purement financiers invoqués étaient sans pertinence au regard de la procédure de régularisation; il appartiendrait à l'autorité compétente d'en examiner les mérites dans le cadre spécifique de la procédure de rétablissement de l'état de droit. D. Agissant par la voie du recours en matière de droit public, A._, C._ et B._ demandent au Tribunal fédéral d'annuler l'arrêt du Tribunal cantonal du 17 février 2010 et de leur délivrer une autorisation spéciale ainsi qu'un permis de construire pour une couverture en métal thermolaqué du toit du chalet du Lappé. Subsidiairement, ils concluent au renvoi de l'affaire au Tribunal cantonal pour complément d'instruction et nouvelle décision dans le sens des considérants. Ils reprochent aux juges cantonaux d'avoir violé la garantie de la propriété (art. 26 al. 1 Cst.) en méconnaissant le principe de la proportionnalité (art. 36 al. 3 Cst.) et d'avoir mal appliqué la législation fédérale en matière d'aménagement du territoire. Ils se plaignent en outre d'un déni de justice (art. 29 al. 1 Cst.) ainsi que d'une violation de leur droit d'être entendus (art. 29 al. 2 Cst.) et de la garantie de l'accès au juge (art. 29a Cst. et art. 6 CEDH). Le Tribunal cantonal, le Préfet, la Direction cantonale, la commune de Charmey ainsi que l'association Patrimoine Gruyère-Veveyse concluent au rejet du recours. L'association Pro Fribourg ne s'est pas prononcée. L'Office fédéral du développement territorial a considéré que l'affaire ne soulevait pas, au regard du droit fédéral de l'aménagement du territoire et de la planification, des questions de principe nécessitant des observations de sa part.