Faits :
A.
A.A._ est propriétaire de la parcelle n° 17594 du registre foncier de la commune de Fribourg. Ce bien-fonds est répertorié en catégorie 1 des périmètres construits avec un objectif de sauvegarde A comme site d'importance nationale à l'Inventaire fédéral des sites construits à protéger en Suisse (ISOS), en catégorie 1 des périmètres construits à protéger au sens du plan directeur cantonal fribourgeois (PDCant), en valeur A au recensement des biens culturels immeubles tenu en application de la loi cantonale du 7 novembre 1991 sur la protection des biens culturels (LPBC; RSF 482.1) et en zone de Ville I selon le plan d'aménagement local de la Ville de Fribourg (ci-après: PAL).
Le 28 juin 2018, B.A._ et A.A._ ont déposé une demande de permis pour des transformations intérieures et extérieures (construction d'un ascenseur, agrandissement de balcons et création de lucarnes) ainsi que le changement d'affectation des combles - de galetas en habitat - de l'immeuble sis à la rue des Alpes 40 sur la parcelle précitée. Ce projet de construction a fait l'objet d'une enquête préalable, en vertu du règlement d'urbanisme de la Ville de Fribourg (RCU). Dans ce contexte, des discussions et une vison locale avec le Service des biens culturels du canton de Fribourg (SBC) et la Commission du patrimoine de la Ville de Fribourg ont eu lieu. Le projet a été retravaillé en tenant compte des remarques formulées en ce qui concerne les transformations intérieures. Mis à l'enquête publique du 21 juillet au 3 août 2018, le projet a suscité six oppositions, dont celles de C._, D._, E._ et F._ (ci-après: C._ et consorts).
Le 13 novembre 2018, le Conseil communal de la Ville de Fribourg (ci-après: le Conseil communal) a rendu un préavis positif sous conditions. Il a notamment relevé que sa Commission du patrimoine avait, dans un premier temps, émis un préavis défavorable au projet tel que présenté, au motif en particulier que les arcatures ne pouvaient pas être supprimées, que les balcons proposés étaient trop profonds et que le puits de lumière devait donc être conservé: l'ensemble des éléments mentionnés avait cependant fait l'objet d'une modification du projet respectant les préavis de la Commission du patrimoine, de sorte que le préavis défavorable de la Commission pouvait être écarté.
Par décision du même jour, le Conseil communal a accordé une dérogation à la distance de construction à la route communale, soit la route des Alpes, en se référant à la demande de dérogation au plan des alignements, pour la création d'un ascenseur et le changement d'affectation des combles de galetas en habitat. Cette décision n'a pas été contestée.
Le 16 novembre 2018, une révision du plan d'aménagement local de la Ville de Fribourg a été mise à l'enquête.
Dans le cadre de la consultation de la demande du permis de construire par les services de l'Etat concernés, le Service des biens culturels du canton de Fribourg (SBC) a émis, le 18 décembre 2018, un préavis favorable avec conditions (notamment que les dimensions de toutes les fenêtres de toiture de 2 ème rangée soient réduites à 55x78 cm). Il a précisé, dans son rapport, que "l'avant-projet [avait] déjà été discuté avec l'architecte mandaté lors d'une consultation préalable et retravaillé en tenant compte des remarques formulées en ce qui concerne les transformations intérieures. [...] La création de l'ascenseur est acceptée".
Par décision incidente du 12 février 2019, le Préfet de la Sarine a délivré une autorisation de début anticipé des travaux uniquement pour le réaménagement d'une salle de bain dans le volume existant, le déplacement de la cuisine, la création d'une nouvelle salle de bain et la rénovation des sols, murs et plafonds dans l'immeuble en cause. Cette décision est entrée en force.
Pour sa part, le Service des constructions et de l'aménagement du canton de Fribourg (SeCA) a émis, le 26 février 2019, un préavis défavorable à la construction projetée. Il a notamment considéré "qu'il ne peut pas examiner si l'implantation du volume comprenant l'ascenseur et l'agrandissement du balcon peuvent être admis en l'état ou si ceux-ci nécessitent l'établissement d'une convention de dérogation aux prescriptions sur les distances aux limites de fonds". Il a en outre invité l'autorité de décision à requérir un nouveau préavis communal, lequel pourra prendre en considération le dossier de révision générale du PAL et se déterminer quant à l'application de l'effet anticipé des plans.
Dans un nouveau préavis du 12 mars 2019, le Conseil communal de la Ville de Fribourg a constaté que les oppositions déposées à l'encontre du PAL mis à l'enquête n'avaient pas d'incidence sur le projet de transformation et que rien ne s'opposait dès lors à l'octroi d'un effet anticipé positif. Le 1 er avril 2019, le Conseil communal a émis un nouveau préavis favorable sous conditions et a donné son accord à l'application de l'effet anticipé des plans. Il a notamment exposé que:
"le projet est conforme au PAL mis à l'enquête le 17 novembre 2018. Les limites de construction du PAL en révision n'ayant pas fait l'objet d'opposition dans ce secteur, la dérogation sollicitée à l'art. 217 du règlement communal d'urbanisme de la Ville de Fribourg (RCU) (art. 246 al. 3 du RCU révisé) est sans objet. La dérogation à l'art. 37 du RCU approuvé le 3 décembre 1991 se porte sur l'art. 34 dans le RCU en révision. La création d'un ascenseur étant objectivement fondée, l'Inspectorat des constructions fait siennes les considérations de la Direction de l'Edilité et son préavis favorable, appuyé par la Commission du Patrimoine et le préavis favorable du SBC. Le secteur demeure en zone de Ville I, donc la situation est inchangée et il n'y a pas d'opposition à l'enquête du PAL susceptible de compromettre le projet. Au sens de l'art. 22 du RCU révisé, l'ordre contigu doit être maintenu là où il existe. Sur ce point, le secteur est clairement en ordre contigu et le projet est conforme à la réglementation. (...) Considérant que: la dérogation nécessaire à l'implantation de l'ascenseur permet d'atteindre un intérêt public important, permettant l'accès aux personnes à mobilité réduite; que le SBC et la Commission du patrimoine ont préavisé favorablement la demande préalable incluant les balcons, l'ascenseur et les interventions en toiture, estimant ainsi que l'intégration de ces éléments n'altère pas de façon significative la substance du bâtiment ni de la zone; que les craintes des opposants quant aux potentielles nuisances sonores, perte de ventilation naturelle et d'intimité, elles ne relèvent pas du droit de la construction mais du droit privé; la Direction de l'Edilité propose au Conseil communal (...) de demander à l'Autorité de décision de rejeter les oppositions, dans la mesure de leur recevabilité.".
Le SeCA a émis, le 7 juin 2019, un nouveau préavis, favorable, annulant et remplaçant celui du 26 février 2019. Il a exposé ce qui suit:

"Le projet n'est pas conforme aux art. 24 et 34 RCU car il présente une augmentation du volume autre que les exceptions prévues par le RCU. S'agissant de la création d'une mezzanine dans les combles, le SeCA se rallie à la Commune et considère que, dans le cas d'espèce, il ne s'agit pas d'un nouveau niveau à part entière mais plutôt d'un aménagement intérieur. [...] S'agissant de la dérogation à l'ancien art. 37 RCU, la Commune considère qu'elle devient une dérogation à l'art. 34 RCU puisque cette disposition n'a que très sensiblement évolué dans le dossier de la révision générale du PAL. Compte tenu de la situation très particulière prévalant dans ce secteur hautement protégé et du fait que la Ville et le SBC sont favorables à la transformation projetée, dont la réalisation ne générerait aucun impact négatif du point de vue urbanistique et architectural, le SeCA n'est pas opposé à ce que le projet puisse bénéficier de la dérogation susmentionnée. [...] Le SeCA prend acte de la détermination de la Commune telle qu'elle ressort de son nouveau préavis du 12 mars 2019 et, constatant également que les oppositions déposées à l'encontre du PAL n'ont pas d'incidence sur le projet de transformation, ne s'oppose pas à l'application de l'art. 91 al. 2 LATeC".
Une deuxième mise à l'enquête publique de la révision du PAL est intervenue le 21 juin 2019, en relation avec les alignements.
B.
Par décision du 24 juillet 2019, le Préfet du District de la Sarine a accordé le permis de construire requis. Par décision du même jour, il a rejeté les oppositions. En substance, il a considéré que l'effet anticipé positif pouvait être accordé à la réglementation communale mise à l'enquête le 16 novembre 2018, que les distances aux limites ne s'appliquaient pas dans un secteur en ordre continu, que la réalisation de l'ascenseur était justifiée par des circonstances particulières (rendre le bâtiment accessible aux personnes à mobilité réduite tout en limitant l'atteinte portée au bâtiment protégé, en plaçant l'ascenseur à l'extérieur et non pas à l'intérieur), qu'elle ne générait aucun impact négatif du point de vue architectural et urbanistique comme le relevaient la Ville, le SBC et le SeCA, qu'elle pouvait être considérée comme la continuation volumétrique de la cage d'escalier existante et que les lucarnes et les balcons projetés respectaient les prescriptions communales topiques.
C.
Par arrêt du 13 mai 2020, la IIe Cour administrative du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal) a admis le recours déposé par C._ et consorts et a annulé les décisions du 24 juillet 2019.
D.
Agissant par la voie du recours en matière de droit public, A.A._ et B.A._ demandent principalement au Tribunal fédéral d'annuler l'arrêt du 13 mai 2020 et de confirmer les décisions du 24 juillet 2019 moyennant uniquement le redimensionnement de la fenêtre de toiture "Stebler" à 66 cm/118 cm. Ils concluent subsidiairement à ce que les décisions préfectorales sont annulées uniquement dans la mesure où elles concernent la création d'un ascenseur aux normes pour les handicapés, qui est supprimé (conclusions subsidiaires 1), ou dans la mesure où elles concernent les balcons, qui sont supprimés (conclusions subsidiaires 2), ou dans la seule mesure où elles concernent la création d'un ascenseur et les balcons, qui sont supprimés (conclusions subsidiaires 3), ou encore dans la mesure où elles concernent la création d'un ascenseur aux normes pour les handicapés, les balcons, le changement d'affectation des combles de galetas en habitat (conclusions subsidiaires 4). A titre de "conclusions subsidiaires 5", les recourants demandent le renvoi de la cause à l'instance précédente pour nouvelle décision au sens des considérants.
Le Tribunal cantonal et les intimés concluent au rejet du recours. Le Préfet de la Sarine renonce à se déterminer. Un deuxième échange d'écritures a eu lieu, au terme duquel les parties ont maintenu leurs positions respectives.
E.
Une troisième révision du PAL a été mise à l'enquête publique le 18 septembre 2020.
Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 lit. d LTF) dans le domaine du droit public des constructions (art. 82 lit. a LTF), le recours est en principe recevable comme recours en matière de droit public selon les <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Les recourants ont pris part à la procédure de recours devant le Tribunal cantonal. En tant que requérants de l'autorisation de construire annulée par l'instance précédente, ils sont particulièrement touchés par l'arrêt attaqué et peuvent ainsi se prévaloir d'un intérêt digne de protection à son annulation. Ils ont donc en principe qualité pour agir au sens de l'<ref-law>.
Les autres conditions de recevabilité du recours en matière de droit public étant remplies, il convient d'entrer en matière.
2.
Les recourants demandent au Tribunal fédéral de procéder à une inspection locale de l'emplacement prévu pour la construction de l'ascenseur. Il n'y a toutefois pas lieu de donner suite à cette requête car le dossier comprend un photomontage, des plans et de nombreuses photographies qui permettent à la Cour de céans de traiter utilement les griefs portés devant elle (art. 37 de la loi sur la procédure civile fédérale du 4 décembre 1947 [PCF; RS 273], applicable par renvoi de l'<ref-law>).
3.
Les recourants se plaignent d'une constatation manifestement inexacte des faits pertinents et d'une appréciation arbitraire des preuves (<ref-law>).
3.1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3 p. 156). Les recourants ne peuvent critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6 p. 358).
En outre, il y a arbitraire (art. 9 Cst.) dans l'appréciation des preuves si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables. Il appartient aux recourants de démontrer l'arbitraire par une argumentation répondant aux exigences de l'<ref-law>, respectivement de l'<ref-law> (<ref-ruling> consid. 1.3 p. 30).
3.2. Les recourants reprochent d'abord au Tribunal cantonal de ne pas avoir tenu compte de ce que le projet avait fait l'objet d'une enquête préalable. Ils font aussi grief à l'instance précédente de ne pas avoir exposé certains éléments figurant dans la décision d'octroi de dérogation à la distance de construction à la route communale du Conseil communal du 13 novembre 2018, dans le préavis du SBC du 18 décembre 2018, dans le préavis de synthèse du 1er avril 2019 de la Ville de Fribourg, dans le préavis du SeCA du 7 juin 2019 ainsi que dans les décisions préfectorales du 24 juillet 2019. Différents éléments avancés par les recourants ont été pris en compte dans l'état de fait du présent arrêt (voir supra "Faits"), sans pour autant qu'ils aient une quelconque influence sur l'issue du litige (voir infra consid. 5 et 6). En réalité, les recourants ne contestent pas l'établissement de faits mais plutôt une appréciation juridique. Il s'agit ainsi d'une question de droit qui sera examinée avec le fond (voir infra consid. 5 et 6). Il en va de même de la prise en compte de l'intérêt public à rendre un appartement accessible aux personnes à mobilité réduite et de ce que le projet de rénovation viserait à affecter les locaux commerciaux situés au rez-de chaussée de l'immeuble à l'accueil de réunions de personnes âgées et à disposer d'un séjour propre à accueillir des concerts dans l'appartement des combles, l'ascenseur permettant d'assurer le lien pour les personnes à mobilité réduite entre l'espace aménagé dans les combles pour des concerts et le rez-de-chaussée pour leur accueil (voir infra consid. 5.3).
Les recourants reprochent encore au Tribunal cantonal de ne pas avoir tenu compte de l'argumentaire du 28 juin 2018 de leur architecte quant à l'octroi de la dérogation, lequel exposait notamment que la parcelle contenait une configuration spécifique et exceptionnelle permettant la construction de l'ascenseur, sans porter atteinte au site construit, grâce à un retrait architectural. A nouveau, les recourants ne s'en prennent pas tant à l'appréciation factuelle de la configuration particulière de la parcelle qu'à son poids dans la pesée des intérêts en présence. Ils soulèvent ainsi une question de droit qui sera examinée ci-dessous (voir infra consid. 5.3 et 5.4).
Le grief d'appréciation arbitraire des faits et des preuves doit donc être rejeté.
4.
Dans un second grief d'ordre formel, les recourants se plaignent d'une violation de leur droit d'être entendus (art. 29 al. 2 Cst.).
4.1. Le droit d'être entendu consacré à l'art. 29 al. 2 Cst. implique pour l'autorité l'obligation de motiver sa décision. Il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 5.2 p. 70). L'autorité n'a toutefois pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige (<ref-ruling> consid. 4.2 p. 157). La motivation peut pour le reste être implicite et résulter des différents considérants de la décision (<ref-ruling> consid. 3.2.1 p. 565; arrêt 1C_150/2019 du 24 février 2020 consid. 2.1).
4.2. En l'espèce, les recourants reprochent à l'instance précédente d'avoir insuffisamment motivé les raisons pour lesquelles elle s'était écartée des différents préavis positifs. Le Tribunal cantonal a toutefois exposé les arguments sur lesquels il s'était appuyé pour ne pas suivre les différents préavis (voir infra consid. 5.3 et 6.2). Cela est suffisant, sous l'angle du droit d'être entendu. Mal fondé, le grief doit être écarté.
5.
S'agissant de la construction d'un volume comprenant un ascenseur, les recourants font valoir une application arbitraire des art. 148 de la loi fribourgeoise du 2 décembre 2008 sur l'aménagement du territoire et les constructions (LATeC; RSF 710.1), 24 al. 2 RCU et 46 al. 1 du code fribourgeois de procédure et de juridiction administrative du 23 mai 1991 (CPJA; RSF 150.1).
5.1. Appelé à revoir l'interprétation d'une norme sous l'angle restreint de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. Il peut notamment s'avérer arbitraire d'interpréter une notion juridique de manière contraire à la doctrine et à la jurisprudence dominantes et de s'écarter en même temps, sans motivation objective, d'une jurisprudence cantonale bien établie en relation avec cette notion (<ref-ruling> consid. 4.4.1 p. 113; <ref-ruling> consid. 2 p. 139). En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - même préférable - paraît concevable (cf. <ref-ruling> consid. 4.4.1 p. 113; <ref-ruling> consid. 1.2 p. 177).
Le grief de violation du droit cantonal est soumis à des exigences de motivation accrue (<ref-law>; cf <ref-ruling> consid. 2.1 p. 372).
Le Tribunal fédéral s'impose une certaine retenue lorsqu'il s'agit de trancher de pures questions d'appréciation ou de tenir compte de circonstances locales dont les autorités cantonales ont une meilleure connaissance que lui (cf. <ref-ruling> consid. 6.4 p. 89; <ref-ruling> consid. 6.1 p. 182; <ref-ruling> consid. 4.3 p. 416 et les arrêts cités).
5.2. L'art. 24 al. 2 RCU prévoit que les bâtiments protégés au sens du plan de protection du site ne peuvent être agrandis.
En vertu de l'art. 148 al. 1 LATeC, des dérogations aux dispositions de la loi et du règlement d'exécution ou aux plans et à leur réglementation peuvent être accordées, à condition qu'elles soient justifiées par des circonstances particulières et qu'elles ne portent pas atteinte à des intérêts prépondérants publics ou privés.
Selon la jurisprudence, les dispositions exceptionnelles ou dérogatoires, telles que l'art. 148 al. 1 LATeC, ne doivent pas nécessairement être interprétées de manière restrictive, mais selon les méthodes d'interprétation ordinaire. Une dérogation importante peut ainsi se révéler indispensable pour éviter les effets rigoureux de la réglementation ordinaire. En tous les cas, la dérogation doit servir la loi ou, à tout le moins, les objectifs recherchés par celle-ci. L'autorisation exceptionnelle doit permettre d'adopter une solution reflétant l'intention présumée du législateur s'il avait été confronté au cas particulier. L'octroi d'une dérogation suppose tout d'abord une situation exceptionnelle et ne saurait devenir la règle, à défaut de quoi l'autorité compétente pour délivrer des permis de construire se substituerait au législateur cantonal ou communal par le biais de sa pratique dérogatoire. Il implique ensuite une pesée entre les intérêts publics et privés de tiers au respect des dispositions dont il s'agirait de s'écarter et les intérêts du propriétaire privé à l'octroi d'une dérogation, étant précisé que des raisons purement économiques ou l'intention d'atteindre la meilleure solution architecturale, ou une utilisation optimale du terrain, ne suffisent pas à elles seules à justifier une dérogation (arrêt 1C_279/2018 du 17 décembre 2018 consid. 4.1.3 et les références citées). En revanche, l'autorisation dérogatoire se justifie lorsque l'application d'une prescription irait à l'encontre du but visé ou causerait au propriétaire un préjudice excessif (<ref-ruling> consid. 6d).
5.3. Les recourants reprochent d'abord au Tribunal cantonal de s'être écarté de tous les préavis techniques favorables (qui constituent des rapports officiels au sens de l'art. 46 al. 1 let. b CPJA et par là même un moyen de preuve), sans faire valoir de motifs suffisants. Ils critiquent le fait que la cour cantonale ne s'est appuyée sur aucun avis d'expert pour écarter ces moyens de preuve et a refusé de procéder à une inspection locale. Ils lui font encore grief d'avoir retenu que les Services de l'Etat n'avaient pas indiqué en quoi la situation était exceptionnelle. Ils relèvent au contraire que la configuration spécifique et exceptionnelle de la parcelle (avec la possibilité de réaliser l'ascenseur aux normes handicapés dans un retrait architectural sans impact négatif) permettait, compte tenu de l'intérêt public visé par l'accès aux personnes à mobilité réduite, d'autoriser la construction même si elle avait plus de 1 niveau.
Il est vrai, comme le relèvent les recourants, que les juges cantonaux ont retenu à tort qu'aucune des autorités spécialisées n'avait exposé en quoi la situation du cas d'espèce présenterait un caractère exceptionnel. Il ressort en effet du préavis du 1er avril 2019 du Conseil communal que la configuration particulière des bâtiments permettait de réaliser cette annexe dans le retrait créé en prolongement de la cage d'escalier existante datant du début du XXème siècle. Le Préfet a en outre procédé à une pesée des intérêts dans laquelle il a retenu que la réalisation de l'ascenseur pouvait être considérée comme la continuation volumétrique de la cage d'escaliers existante.
Le Tribunal cantonal a cependant motivé pourquoi il s'écartait de ces préavis: il a fait primer que, dans ce secteur hautement protégé et particulièrement exposé, un bloc de béton de cette envergure (190/235/616 cm) entraînait un dommage visuel. Il a ensuite exposé en quoi cet intérêt public l'emportait sur les autres intérêts publics et privés: il a d'abord relevé que la construction d'un ascenseur répondait certes à l'intérêt public évident de permettre l'accessibilité des logements aux personnes à mobilité réduite. Il a cependant jugé que la situation du cas d'espèce ne présentait aucun caractère exceptionnel pour fonder une dérogation au sens de l'art. 148 al. 1 LATeC: le motif invoqué par les constructeurs, à savoir rendre l'appartement des combles accessible à des personnes à mobilité réduite pour leur permettre d'assister à des concerts privés ainsi qu'à la mère de la recourante pour ses visites, était d'ordre strictement privé et ne saurait dans cette mesure justifier l'existence d'une situation exceptionnelle. La cour cantonale a ajouté qu'accéder à la requête des recourants signifierait devoir autoriser l'équipement d'un ascenseur pour de nombreux immeubles de la vieille ville de Fribourg: avec une telle pratique dérogatoire, le Préfet se substituait au législateur communal, ce qui n'était pas admissible.
La cour cantonale a encore estimé que l'intérêt public à vouloir protéger le patrimoine bâti que représente la cage d'escalier permettait seulement de préférer l'emplacement dans le retrait de la construction existante à l'emplacement dans ladite cage, mais en aucune façon de justifier l'annexe en elle-même. Autrement dit, l'instance précédente a considéré que le fait de disposer d'un emplacement dans le retrait - "idéal" en ce sens qu'il ne serait aucunement dommageable d'un point de vue architectural - ne permettait en rien de conclure à l'existence d'une situation exceptionnelle au sens de la jurisprudence précitée.
Les recourants ne peuvent ainsi être suivis lorsqu'ils soutiennent que la cour cantonale n'a pas donné de motifs suffisants pour s'écarter des différents préavis positifs.
5.4. Les recourants critiquent ensuite la balance des intérêts opérée par le Tribunal cantonal. Ils soutiennent que l'annulation de la dérogation ne viserait pas d'autre intérêt public que la stricte application du RCU; l'intérêt à la sauvegarde et à la protection du patrimoine serait atteint puisque, de l'avis de tous les services spécialisés, le projet ne générait aucun impact négatif du point de vue urbanistique et architectural. Pour les recourants, l'intérêt public et privé de rendre accessible à des personnes à mobilité réduite le bâtiment qui comporte 4 logements sur 5 niveaux devrait, dans ces conditions, l'emporter.
La pesée des intérêts opérée par les recourants est certes défendable. Elle n'est toutefois pas de nature à démontrer le caractère manifestement insoutenable de celle du Tribunal cantonal. En effet, elle ne permet pas de conclure qu'il serait arbitraire au sens de la jurisprudence susmentionnée de faire prévaloir l'intérêt public à la préservation d'un bâtiment qui se trouve dans un site avec un objectif de sauvegarde A dans l'inventaire fédéral des sites construits d'importance nationale (ISOS) : l'objectif de sauvegarde A tend à la sauvegarde de la substance, ce qui signifie sauvegarder intégralement toutes les constructions et installations et tous les espaces libres ainsi que supprimer les interventions parasites (art. 23 al. 1 let. a de la directive concernant l'Inventaire fédéral des sites construits d'importance nationale à protéger en Suisse ISOS [DISOS] du 1er janvier 2020). Le bâtiment en question fait en effet partie du périmètre désigné par l'ISOS comme le "coeur de la ville médiévale", lequel est protégé tant pour ses qualités spatiales que pour ses qualités historico-architecturales.
5.5. Les recourants font encore valoir le droit d'obtenir des aménagements raisonnables pour les personnes handicapées dans le domaine de la construction, au sens de l'art. 5 al. 3 de la Convention de l'ONU sur les droits des personnes handicapées (CDPH; RS 0.109).
L'art. 5 al. 3 CDPH prévoit que "les Etats Parties prennent toutes les mesures appropriées pour faire en sorte que des aménagements raisonnables soient apportés". Cette disposition a cependant un caractère de clause générale et est de nature programmatoire: elle peut être considérée comme une norme subsidiaire (Message du 19 décembre 2012 portant approbation de la Convention du 13 décembre 2006 relative aux droits des personnes handicapées, FF 2013 601, 622 ch. 3.3). Dépourvu de caractère "self executing" (Message op cit., FF 2013 601, 614), elle ne peut pas être invoquée au titre de droit fondamental. Elle est concrétisée par la loi fédérale du 13 décembre 2002 sur l'élimination des inégalités frappant les personnes handicapées (LHand; RS 151.3), et, dans le canton de Fribourg, par l'art. 129 al. 2 LATeC (l'accès pour les personnes handicapées doit être garanti dans les bâtiments destinés à l'habitation collective comptant au moins huit unités de logement ou au moins six unités de logement dès trois niveaux habitables). Le projet litigieux, en raison de son nombre de logements, n'est cependant soumis ni à la LHand, ni à l'art. 129 al. 2 LATec. Pour les mêmes motifs, les recourants ne peuvent rien tirer non plus de la violation de l'égalité de traitement (art. 8 al. 2 et 4 Cst.).
S'ajoute à cela que l'intérêt public tendant à permettre l'accessibilité des logements aux personnes à mobilité réduite a été pris en compte dans la pesée des intérêts opérée par l'instance précédente.
5.6. En définitive, en jugeant que l'octroi d'une dérogation au sens de l'art. 148 al. 1 LATeC devait être refusé, le Tribunal cantonal n'a pas fait preuve d'arbitraire. Il n'a pas non plus violé l'égalité de traitement ni la CDPH.
6.
S'agissant de l'agrandissement de 1 m de deux balcons existants aux niveaux 2 et 3 et de la création d'un petit balcon pour l'appartement des combles, les recourants se plaignent d'une application arbitraire de l'art. 31 RCU. Ils font aussi valoir une violation de la garantie de la propriété (art. 26 Cst.).
6.1. L'art. 31 al. 1 RCU dispose que les façades des bâtiments sont protégées. L'alinéa 2 de cette disposition prévoit qu'exceptionnellement, une transformation de façade peut être autorisée aux conditions suivantes:
a) la modification ou la création de percements, tels que les portes, fenêtres ou autres ouvertures, doit être respectueuse de la typologie et de l'architecture du bâtiment, tant par ses dimensions, un rapport équilibré entre les pleins et les vides de la façade ainsi que, notamment, les matériaux;
b) la création d'ajouts architecturaux de minime importance, tels que les tambours d'entrée, couverts, balcons, galeries et escaliers notamment, n'est autorisée que sur les seules façades qui ne donnent pas sur un espace ouvert au public, tels que les rues, places ou autres espaces libres; leur intégration correcte à l'architecture du bâtiment en est la condition.
Toute transformation de façade d'un bâtiment doit s'harmoniser avec celles des bâtiments voisins (art. 31 al. 3 RCU).
6.2. En l'espèce, contrairement au Préfet, la cour cantonale a considéré que l'agrandissement des deux balcons et la création d'un nouveau balcon ne respectaient pas l'art. 31 RCU.
Pour le Tribunal cantonal, si les deux balcons projetés dans les arcades protégées donnent bien sur une courette privée, ils donnent aussi sur la route des Alpes et donc sur un espace ouvert au public au sens de l'art. 31 al. 2 let. b 1 ère phrase RCU. La cour cantonale a jugé que l'on ne saurait en effet exclure du champ d'application de la norme précitée tout bâtiment se trouvant quelques mètres en retrait d'une route ou d'un espace ouvert au public: la création ou l'agrandissement de balcons entraînant une modification de la façade du bâtiment apparaissait en cela exclue au regard de la norme précitée.
En ce qui concerne le balcon destiné à l'appartement des combles, le Tribunal cantonal n'a pas suivi le préavis de la Ville (qui avait exposé que les plans déposés pour la création dudit balcon ne faisaient aucunement mention de plexiglas mais seulement d'un sol translucide, ce qui ne dénotait pas un manque d'intégration). L'instance précédente a jugé au contraire que l'exigence de l'intégration correcte à l'architecture du bâtiment, explicitement mentionnée à l'art. 31 al. 2 let. b seconde phrase RCU, consistait nécessairement dans une conditio sine qua non, vu le caractère hautement protégé du secteur concerné: il n'apparaissait dans cette mesure guère admissible de réserver dans l'autorisation de construire le choix des matériaux ou des teintes utilisés et ainsi de différer l'examen de la condition susmentionnée; a fortiori en l'espèce, parce que le projet prévoyait un sol translucide et qu'une construction de ce type nécessitait vraisemblablement l'utilisation de matériaux modernes dont l'intégration à l'architecture et à la typologie existante n'était pas évidente.
Le Tribunal cantonal a encore ajouté que ni la Ville ni les services spécialisés ne s'étaient explicitement prononcés sur la question de l'intégration des modifications envisagées à l'architecture du bâtiment (art. 31 al. 2 let. b 2 ème phrase RCU) et de leur harmonisation avec celles des bâtiments voisins (art. 31 al. 3 RCU), ce qui, au regard de l'importance de la protection dont est gratifié l'immeuble, ne saurait raisonnablement se concevoir: le SBC en particulier, dans son préavis du 18 décembre 2018, bien qu'il précise initialement que l'immeuble est classé en recensement A et catégorie de protection 1 et que la protection s'étend notamment aux façades et toiture, semblait ne pas avoir traité du tout de la question des balcons: "Le projet prévoit une remise en état générale de la maison avec réaménagement des appartements existants, aménagement des combles, ouvertures en toiture et construction d'un ascenseur". Les juges cantonaux ont encore relevé que le SeCA avait fait fi du balcon destiné à l'appartement des combles, puisque, dans son préavis du 7 juin 2019, il avait souligné initialement que le projet consistait en "l'agrandissement de deux balcons".
6.3. S'agissant de l'agrandissement des deux balcons aux 2ème et 3ème niveaux, les recourants reprochent au Tribunal cantonal de ne pas avoir pris en compte que les services spécialisés avaient examiné le bien-fondé de l'art. 31 RCU, dans le cadre de la demande préalable: la Commission du patrimoine et le SBC avaient alors exigé la réduction de l'agrandissement des balcons et la conservation du puits de lumière en application de l'art. 31 RCU: la conservation des arcatures, la réduction de la profondeur des balcons et la conservation du puits de lumière avaient ainsi fait l'objet d'une modification de projet respectant les préavis du SBC et de la Commission du patrimoine (préavis de la Ville du 1er avril 2019). Il est vrai que le Tribunal cantonal n'a pas fait référence aux modifications exigées lors de la demande préalable. Il n'en demeure pas moins que les juges cantonaux ont relevé, à juste titre, que le SBC, dans son préavis du 18 décembre 2018, et le SeCA, dans son préavis du 7 juin 2019, n'avaient pas motivé la question de la conformité des trois balcons au règlement communal. Dans ces conditions, l'argumentation des recourants ne suffit pas à démontrer le caractère manifestement insoutenable de celle du Tribunal cantonal.
Les recourants reprochent ensuite au Tribunal cantonal d'avoir retenu à tort que les balcons concernaient une façade qui donne sur un espace ouvert au public, la route des Alpes, alors qu'ils concernent la façade intérieure, qui donne sur une courette privée, sise derrière les arcatures, elles-mêmes situées à environ 10 m au fond d'une première cour, fermée par un portail. Ils affirment que les balcons ne seraient pas visibles depuis la route des Alpes. Il est vrai que la configuration des balcons est particulière en l'espèce, puisqu'ils se situent derrière des arcades. Il n'en demeure pas moins que la façade sur laquelle se trouvent les balcons donne d'un côté sur une cour intérieure et de l'autre côté sur la route des Alpes, qui est un espace ouvert au public au sens de l'art. 31 al. 2 let. b RCU. L'appréciation des recourants est ainsi insuffisante à démontrer que la solution retenue par l'instance précédente serait en contradiction manifeste avec la situation effective, ce d'autant moins que le Tribunal de céans s'impose une retenue dans l'appréciation de circonstances locales. Le fait que la façade se situe à environ 10 m de la route ne permet pas non plus de rendre déraisonnable l'argumentation de l'instance précédente.
S'agissant enfin du sol translucide du balcon destiné à l'appartement des combles, les recourants reprochent aux juges cantonaux d'être partis du présupposé théorique que l'aménagement d'un sol translucide nécessitait vraisemblablement l'utilisation de matériaux modernes dont l'intégration à l'architecture et à la typologie existante n'était pas évidente. Ils soulignent que le sol translucide est une condition posée par les services techniques compétents pour préserver le puits de lumière et que, dans son préavis du 27 mars 2019, la Ville a mentionné que "le choix des teintes et matériaux devra être soumis à la Direction de l'édilité pour approbation, préalablement à la commande". L'interprétation des recourants se défend. Elle n'est toutefois pas apte à exposer en quoi celle du Tribunal cantonal serait arbitraire, le Tribunal fédéral s'imposant une retenue s'agissant de circonstances locales dont les autorités cantonales ont une meilleure connaissance que lui.
Dans ces circonstances, l'application de l'art. 31 RCU défendue par le Tribunal cantonal ne s'avère pas manifestement contraire au sens et au but de la législation en cause.
6.4. Les recourants se prévalent encore d'une violation du principe de la proportionnalité en lien avec la garantie de la propriété (art. 26 al. 1 Cst.). Ils ne font pas valoir que l'atteinte à leur droit de propriété ne répondrait pas à un intérêt public et ne reposerait pas sur une base légale. Ils critiquent uniquement la pesée des intérêts opérée par la cour cantonale et reprennent les arguments formulés dans le cadre du grief exposé au considérant 6.3. Cette critique se confond ainsi avec celle de l'application arbitraire de l'art. 31 RCU et doit être rejetée pour les mêmes motifs.
7.
Les recourants reprochent enfin au Tribunal cantonal d'avoir annulé l'autorisation de construire dans son intégralité, y compris le changement d'affectation des combles en habitat et les rénovations intérieures liées aux appartements situés au 1er, 2ème et 3ème étage, (déjà habités). Ils relèvent que ces deux éléments ne constituaient pas l'objet du litige et n'avaient pas fait l'objet des oppositions. Ils précisent que ces éléments respectent toutes les dispositions légales applicables et n'ont aucun lien avec la mise en place d'un ascenseur, l'agrandissement des balcons ou la fenêtre dans la toiture. Ils soutiennent que l'annulation de ces deux éléments de l'autorisation de construire ne repose sur aucune base légale.
7.1. En procédure juridictionnelle administrative, ne peuvent être examinés et jugés, en principe, que les rapports juridiques à propos desquels l'autorité administrative compétente s'est prononcée préalablement, d'une manière qui la lie sous la forme d'une décision. Dans cette mesure, la décision détermine l' objet de la contestation ( Anfechtungsgegenstand) qui peut être déféré en justice par la voie d'un recours. Le juge n'entre donc pas en matière, sauf exception, sur des conclusions qui vont au-delà de l'objet de la contestation (<ref-ruling> consid. 4.3 p. 358 et les arrêts cités).
L' objet du litige dans la procédure de recours ( Streitgegenstand) est le rapport juridique réglé dans la décision attaquée, dans la mesure où il est effectivement remis en question par la partie recourante (<ref-ruling> consid. 4.3 p. 358 s. et les arrêts cités). Lorsque le recourant conclut uniquement à l'annulation ou à la modification de la décision attaquée, il convient de se référer aux motifs de son recours afin de déterminer ce qui constitue l'objet du litige selon sa volonté déterminante (JÉRÔME CANDRIAN, Introduction à la procédure administrative fédérale, Bâle, 2013, p. 108 N 182; BENOÎT BOVAY, Procédure administrative, 2ème éd., Berne, 2015, p. 554; KÖLZ/HÄNER/BERTSCHI, Verwaltungsverfahren und Verwaltungsrechtspflege des Bundes, 3ème éd., Zurich 2013, N.181). En d'autres termes, pour délimiter l'objet du litige, il faut examiner quel élément de la décision attaquée est effectivement contesté (<ref-ruling> consid. 2.1 p. 165).
L'objet du litige et l'objet de la contestation sont identiques lorsque le recourant s'en prend à la décision de première instance sous tous ses aspects; en revanche, lorsque le recourant ne remet en cause que certains éléments de la décision attaquée, l'objet du litige est plus restreint que l'objet de la contestation (<ref-ruling> consid. 4.3 p. 358; <ref-ruling> consid. 4.2; <ref-ruling> consid. 5). Si l'objet du litige peut donc être réduit par rapport à l'objet de la contestation, il ne peut en revanche s'étendre au-delà de celui-ci (<ref-ruling> consid. 4.3 p. 359 et les arrêts cités).
7.2. En l'occurrence, l'objet de la contestation est l'autorisation de construire délivrée par le Préfet le 24 juillet 2019, qui porte sur cinq éléments, à savoir les transformations intérieures, l'ajout d'un ascenseur extérieur (supra consid. 5), l'agrandissement des balcons (supra consid. 6), la création de la fenêtre de toit appelée "Stebler" (cet élément n'est plus contesté devant le Tribunal fédéral) et le changement d'affectation dans les combles. L'objet du litige est plus restreint que l'objet de la contestation puisque seuls ont été contestés devant le Tribunal cantonal la construction de l'annexe pour l'ascenseur, la construction ou l'agrandissement des trois balcons et la création de la fenêtre en toiture. Le Tribunal cantonal a d'ailleurs expressément défini le contenu de l'objet du litige dans le considérant 3 de son arrêt ("Dans la présente occurrence, les recourants contestent en substance la construction de l'annexe pour l'ascenseur, la construction ou l'agrandissement des trois balcons et la création de la fenêtre en toiture"). L'objet du litige ne porte ainsi pas sur le changement d'affectation ni sur les transformations intérieures. Les points non contestés de la décision attaquée acquièrent force exécutoire formelle (arrêt 2C_176/2012 du 18 octobre 2012 consid. 3.3 non publié in <ref-ruling>; CANDRIAN, op. cit., N 182; KIENER/RÜTSCHE/KUHN, Öffentliches Verfahrensrecht, 2ème éd., 2015, N 1284).
Or le Tribunal cantonal a annulé le permis de construire du 24 juillet 2019 dans son ensemble (sur les cinq éléments). Il a sommairement exposé qu' "attendu qu'il ne ressort pas clairement du dossier que le changement d'affectation des combles de galetas en habitat puisse être autorisé sans l'ascenseur, les balcons et la fenêtre de toit et que tous ces éléments formaient un seul et même projet, il convient d'annuler dans leur ensemble les décisions attaquées. [Les constructeurs] sont évidemment libres de déposer un nouveau projet modifié". Ce faisant, il a statué ultra petita (au-delà de l'objet du litige) et, partant, a violé le droit fédéral (<ref-law>).
Par conséquent, le grief est fondé et il convient de réformer l'arrêt cantonal (<ref-law>) en ce sens que les décisions du 24 juillet 2019 sont confirmées en ce qui concerne le changement d'affectation des combles ainsi que les transformations intérieures.
8.
Il s'ensuit que le recours est admis partiellement. L'arrêt cantonal est réformé en ce sens que les décisions préfectorales du 24 juillet 2019 sont confirmées en ce qui concerne le changement d'affectation des combles ainsi que les transformations intérieures et qu'elles sont annulées pour la construction d'un volume comprenant un ascenseur, pour l'agrandissement de deux balcons et la création d'un troisième balcon ainsi que pour les dimensions de la fenêtre dite "Stebler".
Les recourants obtiennent gain de cause sur environ un tiers de leurs conclusions. Cette proportion est appliquée à la répartition des frais et dépens entre les parties (art. 66 al. 1 et 68 al. 1 LTF). La cause est renvoyée au Tribunal cantonal pour qu'il statue à nouveau sur les frais et dépens de sa procédure.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis partiellement. L'arrêt cantonal est réformé en ce sens que les décisions préfectorales du 24 juillet 2019 sont confirmées en ce qui concerne le changement d'affectation des combles ainsi que les transformations intérieures. Le recours est rejeté pour le surplus.
2.
La cause est renvoyée au Tribunal cantonal pour qu'il statue à nouveau sur les frais et dépens de sa procédure.
3.
Les frais judiciaires, arrêtés à 4'000 francs, sont mis à raison de 2/3 (2667 fr.) à la charge des recourants et à raison de 1/3 à la charge des intimés (1333 fr.).
4.
Les recourants verseront aux intimés une indemnité de 2667 fr. à titre de dépens réduits.
5.
Le présent arrêt est communiqué aux mandataires des recourants et des intimés, à la Préfecture de la Sarine et au Tribunal cantonal de l'Etat de Fribourg, II e Cour administrative.
Lausanne, le 18 mars 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Kneubühler
La Greffière : Tornay Schaller