Faits :
A.
A._ est propriétaire de la parcelle n° 2088 du registre foncier de la commune d'Yverdon-les-Bains, sur laquelle est sise un immeuble d'une surface de 118 m2, profond d'environ 19 m, composé d'un bâtiment principal de quatre étages sous un toit à deux pans donnant, sur une largeur d'un peu moins de 6 m, sur la rue de la Maison Rouge, où il est contigu aux immeubles voisins. A l'arrière de la parcelle, donnant sur le Canal Oriental, lui est accolée en contiguïté au sud, une annexe construite en 1980 sur une base de 1920 pour abriter l'atelier et le matériel d'une lignée de relieurs-encadreurs établie de longue date dans l'immeuble; la façade gouttereau de cette annexe comporte, sur un soubassement borgne aligné sur le canal, deux niveaux percés de trois fenêtres avec encadrements de couleur ocre. Depuis le pont de la Plaine, une rangée de fenêtres du dernier étage de la partie principale du bâtiment est visible par-dessus la toiture à deux pans de cette annexe.
Ce bien-fonds est sis en zone de la ville ancienne au sens des art. 9 ss du règlement du plan général d'affectation de la ville d'Yverdon-les-Bains. Le bâtiment a reçu la note 4 (correspondant à un "objet bien intégré") au recensement architectural du canton de Vaud, qui le décrit comme "maison bourgeoise". Cet immeuble fait partie des bâtiments C, qualifiés de "bien intégrés dans la ville ancienne" et "façonn[ant] la structure de l'ancienne ville" au sens des art. 32 à 33bis du règlement du plan général d'affectation de la ville d'Yverdon-les-Bains (RPGA).
B.
En juin 2014, la Municipalité d'Yverdon-les-Bains (ci-après: la Municipalité) a refusé un pré-projet de transformation de l'immeuble en question prévoyant de réunir les deux corps de bâtiments en un seul bâtiment de quatre étages avec une toiture unique.
A._ a ensuite déposé une demande de permis de construire sur la base de plans du 18 mars 2015. Selon les plans, l'annexe était conservée et un étage surmonté d'un toit-terrasse lui était ajouté; le faîte du toit du bâtiment principal était surélevé de 70 cm et des ouvertures étaient prévues dans la toiture. Par décision du 7 octobre 2015, la Municipalité a refusé le permis de construire sur la base des art. 3, 9, 28, 120 et 143 RPGA et du préavis négatif du Service immeubles, patrimoine et logistique du canton de Vaud (SIPAL, devenu la Direction générale des immeubles et du patrimoine).
Le 30 novembre 2016, A._ a déposé une nouvelle demande de permis de construire; selon les nouveaux plans du 23 novembre 2016, la partie annexe est surélevée d'un étage percé de trois fenêtres et son toit est aussi rehaussé; les combles de l'annexe deviennent habitables; le toit du bâtiment principal est légèrement rehaussé; les combles du bâtiment principal deviennent aussi habitables; les deux toitures sont reliées par un unique chéneau entre le pan sud-est du toit de l'annexe et le pan nord-ouest du toit du bâtiment principal; le pan nord-ouest du toit de l'annexe visible du côté du canal contient une rangée de trois velux; quant au toit du bâtiment principal, son pan situé du côté du canal est percé par trois velux (rectification d'office: <ref-law>) et celui du côté de la rue de la Maison Rouge par deux rangées de deux velux; l'agencement intérieur de l'immeuble est passablement modifié puisque la cage d'escalier située au centre du bâtiment est agrandie, distribuant désormais le bâtiment central et sa partie annexe, l'escalier qui desservait uniquement l'annexe est supprimé et les salles d'eau des appartements sont regroupées dans la partie centrale du bâtiment.
A la demande de la Municipalité, l'intéressé a complété sa demande de permis de construire le 15 mars 2017, en déposant notamment une demande d'autorisation adressée à l'Unité du logement du Département de l'intérieur, en vertu de la loi du 10 mai 2016 sur la préservation et la promotion du parc locatif (LPPPL; RS/VD 840.15). Selon la synthèse de la Centrale des autorisations CAMAC du canton de Vaud du 10 juillet 2017, le SIPAL a préavisé négativement la réalisation du projet, alors que le Service des communes et du logement a délivré son autorisation spéciale. Mis à l'enquête publique du 8 avril au 7 mai 2017, le projet n'a suscité aucune opposition.
Par décision du 19 juillet 2017, la Municipalité a refusé l'octroi du permis de construire sur la base des art. 3, 4, 9 et 28 al. 4 RPGA ainsi que du préavis négatif du SIPAL.
C.
A._ a formé recours auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) contre la décision municipale du 19 juillet 2017. Le 19 décembre 2018, la cour cantonale a tenu une audience avec inspection locale, en présence des parties. Par arrêt du 20 janvier 2020, elle a admis le recours, annulé la décision du 19 juillet 2017 et renvoyé la cause à la Municipalité pour qu'elle délivre le permis de construire litigieux. Elle a considéré en substance que la Municipalité avait abusé de son pouvoir d'appréciation en refusant le permis en question pour des motifs relatifs à l'esthétique et à l'intégration et en refusant d'accorder des dérogations aux art. 120 et 143 RPGA.
D.
Agissant par la voie du recours en matière de droit public, la Municipalité d'Yverdon-les-Bains demande principalement au Tribunal fédéral de réformer l'arrêt du 20 janvier 2020 en ce sens que le recours est rejeté. Elle conclut subsidiairement à l'annulation de l'arrêt du 20 janvier 2020 et au renvoi de la cause au Tribunal cantonal ou à la Municipalité pour nouvelle décision au sens des considérants.
Le Tribunal cantonal renonce à se déterminer et se réfère aux considérants de l'arrêt attaqué. La Division monuments et sites de la Direction générale des immeubles et du patrimoine du canton de Vaud renonce à déposer des observations. L'intimé conclut au rejet du recours. La recourante a répliqué par courrier du 25 mai 2020.
Par ordonnance du 13 mars 2020, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif présentée par la recourante.

Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public de l'aménagement du territoire et des constructions (<ref-law>), le recours est en principe recevable comme recours en matière de droit public selon les <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. La Municipalité, qui fait valoir une violation de l'autonomie dont elle bénéficie en matière d'aménagement du territoire et en droit des constructions, a qualité pour agir en vertu de l'art. 89 al. 2 let. c LTF. Les autres conditions de recevabilité du recours en matière de droit public sont réunies, si bien qu'il y a lieu d'entrer en matière sur le fond.
2.
La Municipalité reproche d'abord au Tribunal cantonal d'avoir considéré qu'elle avait abusé de son pouvoir d'appréciation en refusant d'octroyer le permis de transformer et d'agrandir le bâtiment protégé en question pour des motifs d'esthétique et d'intégration. Elle se plaint d'une violation de son autonomie communale (art. 50 Cst.). Elle fait aussi valoir une appréciation arbitraire des faits (<ref-law>).
2.1. Selon l'art. 50 al. 1 Cst., l'autonomie communale est garantie dans les limites fixées par le droit cantonal. En droit cantonal vaudois, les communes jouissent d'une autonomie consacrée lorsqu'elles définissent, par des plans, l'affectation de leur territoire, et lorsqu'elles appliquent le droit des constructions (art. 139 al. 1 let. d Cst./VD; cf. notamment <ref-ruling> consid. 3d p. 118 s.; arrêts 1C_365/2010 du 18 janvier 2011 consid. 2, in Pra 2011 n° 60 p. 428; 1C_424/2014 du 26 mai 2015 in RDAF 20015 I p. 474). Une commune reconnue autonome dans un domaine spécifique peut dénoncer tant les excès de compétence d'une autorité cantonale de recours que la violation par celle-ci des règles du droit fédéral, cantonal ou communal qui régissent la matière (<ref-ruling> consid. 7.2 p. 134).
2.2. Lorsque, statuant sur une demande d'autorisation de construire, l'autorité communale interprète son règlement en matière de constructions et apprécie les circonstances locales, elle bénéficie d'une liberté d'appréciation particulière, que l'instance cantonale de recours contrôle avec retenue (cf. art. 3 al. 2 LAT; arrêt 1C_279/2019 du 9 avril 2020 consid. 2.1.3). Une autorité de recours ne peut ainsi pas choisir entre plusieurs solutions disponibles et appropriées ou remplacer une appréciation adéquate de la commune par sa propre appréciation (AEMISEGGER/HAAG, in Commentaire pratique LAT: Autorisations de construire, protection juridique et procédure, 2020, n° 84 ad art. 33 LAT). Elle ne doit cependant pas seulement intervenir lorsque l'appréciation de l'instance précédente est insoutenable, auquel cas l'étendue de son pouvoir d'examen s'apparenterait à un contrôle limité à l'arbitraire, ce qui serait contraire à l'art. 33 al. 3 let. b LAT (<ref-ruling> consid. 3.6 p. 58). Conformément aux art. 46 et 49 Cst., l'autorité de recours doit en particulier sanctionner l'appréciation communale lorsque celle-ci contrevient au droit supérieur, viole les principes constitutionnels d'égalité de traitement et de proportionnalité ou encore apparaît objectivement insoutenable - et partant arbitraire (<ref-ruling> consid. 3.6 p. 59; <ref-ruling> consid. 1.4.3 p. 311; arrêts 1C_279/2019 du 9 avril 2020 consid. 2.1; 1C_450/2018 du 11 décembre 2019 consid. 3.1.3). Sur des éléments susceptibles de heurter le droit supérieur, il appartient à la commune de motiver soigneusement sa décision (arrêts 1C_540/2016 du 25 août 2017 consid. 2.2, in JdT 2017 I p. 303; 1C_450/2018 du 11 décembre 2019 consid. 3.1.3; 1C_641/2018 du 23 septembre 2019 consid. 3.1.3). Le contrôle de l'opportunité s'exerce donc avec retenue sur des points concernant principalement des intérêts locaux, tandis que, au contraire, la prise en considération adéquate d'intérêts d'ordre supérieur, dont la sauvegarde incombe au canton, doit être imposée par un contrôle strict. L'autorité intervient ainsi non seulement lorsque la mesure d'aménagement retenue par la commune est insoutenable, mais aussi lorsqu'elle paraît inappropriée à des intérêts qui dépassent la sphère communale (<ref-ruling> consid. 3.6 p. 58 s.; AEMISEGGER/HAAG, ibidem).
2.3. Le Tribunal fédéral revoit librement l'interprétation et l'application du droit fédéral et du droit constitutionnel cantonal (<ref-law>). Il examine en revanche sous l'angle restreint de l'arbitraire l'interprétation et l'application des autres règles du droit cantonal ou communal (cf. <ref-ruling> consid. 5.4 p. 43; <ref-ruling> consid. 3 p. 351). Il contrôle librement si l'autorité judiciaire a respecté la latitude du jugement découlant de l'autonomie communale (<ref-ruling> consid. 3.1 p. 56).
Lorsqu'il s'agit d'examiner l'application de clauses d'esthétique, le Tribunal fédéral fait preuve de retenue dans l'appréciation des circonstances locales. Dans ce domaine, les autorités locales disposent en effet d'un large pouvoir d'appréciation (cf. <ref-ruling> consid. 4.3 p. 416). C'est le cas notamment lorsqu'il s'agit de savoir si une construction ou une installation est de nature à compromettre l'aspect ou le caractère d'un site, d'une localité, d'un quartier ou d'une rue (<ref-ruling> consid. 3d p. 118; arrêt 1C_452/2016 du 7 juin 2017).
2.4. En droit vaudois, un projet de construction peut être interdit sur la base de l'art. 86 de la loi cantonale sur l'aménagement du territoire et des constructions du 4 décembre 1985 (LATC; RS/VD 700.11) quand bien même il satisferait à toutes les autres dispositions cantonales et communales en matière de police des constructions. En effet, à teneur de l'art. 86 al. 1 LATC, la Municipalité veille à ce que les constructions, quelle que soit leur destination, ainsi que les aménagements qui leur sont liés, présentent un aspect architectural satisfaisant et s'intègrent à l'environnement. Elle refuse le permis pour les constructions ou les démolitions susceptibles de compromettre l'aspect et le caractère d'un site, d'une localité, d'un quartier ou d'une rue, ou de nuire à l'aspect d'un édifice de valeur historique, artistique ou culturelle (art. 86 al. 2 LATC). L'alinéa 3 de cette disposition prévoit que les règlements communaux doivent contenir des dispositions en vue d'éviter l'enlaidissement des localités et de leurs abords.
Selon la jurisprudence, l'application d'une clause d'esthétique ne doit cependant pas aboutir à ce que, de façon générale, la réglementation sur les zones en vigueur soit vidée de sa substance. Une intervention des autorités dans le cas de la construction d'un immeuble réglementaire qui ne serait pas en harmonie avec les bâtiments existants, ne peut s'inscrire que dans la ligne tracée par la loi elle-même et par les règlements communaux, qui définissent en premier lieu l'orientation que doit suivre le développement des localités. Ainsi, lorsqu'un plan de zones prévoit que des constructions d'un certain volume peuvent être édifiées dans tel secteur du territoire, une interdiction de construire fondée sur l'art. 86 LATC ne peut se justifier que par un intérêt public prépondérant. Il faut que l'utilisation des possibilités de construire réglementaires apparaisse déraisonnable (<ref-ruling> consid. 3d p. 119; 363 consid. 3a p. 366/367; 370 consid. 5 p. 377; <ref-ruling> consid. 6c p. 222 s.).
2.5. Dans la commune d'Yverdon-les-Bains, l'art. 3 al. 1 RPGA prévoit que les dispositions qualitatives du plan général d'affectation (intégration de l'objet construit dans le site naturel ou bâti, recherche d'une architecture de valeur, prise en compte de facteurs favorisant l'urbanité et la sécurité, conservation et réalisation d'espaces extérieurs significatifs et prise en compte et maîtrise des nuisances sonores, visuelles et atmosphériques) priment les dispositions quantitatives (densité par les indices d'utilisation, d'occupation du sol et de masse, distances aux limites, périmètres d'implantation et hauteurs).
L'art. 4 al. 2 RPGA précise que toute intervention prend en considération la structure urbanistique, existante ou en devenir.
2.6. En l'occurrence, le Tribunal cantonal a retenu que les divers griefs esthétiques soulevés par la Municipalité (rupture indésirable avec l'aspect actuel du bâtiment, asymétrie saugrenue des deux pans du nouveau toit de l'annexe, impact défavorable de ce choix architectural sur la transition de la toiture avec le bâtiment principal, ouvertures en toiture en surnombre) ne permettaient pas de retenir un intérêt public prépondérant justifiant le refus de la surélévation. Il a jugé que, malgré la marge d'appréciation importante dont jouissait la Municipalité pour apprécier les questions d'esthétique et d'intégration, elle avait abusé de son pouvoir d'appréciation en refusant l'octroi du permis de construire pour de tels motifs.
Dans un premier temps, le Tribunal cantonal a considéré que le bâtiment litigieux devait être apprécié en regard du périmètre environnant VI de l'ISOS, protégeant le Canal Oriental avec un objectif de sauvegarde a (voir infra consid. 2.7). Il a ajouté que le bâtiment avait reçu la note 4 au recensement architectural du canton (selon la jurisprudence cantonale, la note 4 a un caractère purement indicatif et informatif; elle ne constitue pas une mesure de protection; elle est en revanche un élément d'appréciation important pour les autorités chargées de l'aménagement du territoire, notamment dans la procédure de permis de construire, lorsque ces autorités appliquent les règles concernant l'intégration et l'esthétique des constructions). L'instance précédente a encore souligné que le bâtiment en question était situé dans la "zone de la ville ancienne" qui autorise la surélévation d'un étage et permet de construire 4 niveaux. Elle a ensuite relevé que l'annexe apparaissait actuellement peu intégrée au reste du bâtiment (comme l'avait admis le SIPAL); elle était en effet accolée à la façade du bâtiment principal; ainsi une grande partie de la façade de celui-ci était actuellement masquée; du côté du canal, le bâtiment formait un ensemble plutôt disparate. Les juges cantonaux ont estimé que la surélévation de l'annexe permettrait une harmonisation de ce bâtiment par la création d'une façade unique alignée au bord du canal; les fenêtres du dernier étage du bâtiment principal, actuellement en retrait de l'annexe, seraient remplacées, dans l'étage ajouté aligné sur le canal, par les fenêtres de cet étage qui sont calquées sur celles des deux étages existants; le style du bâtiment serait conservé, en conformité avec l'art. 26 al. 1 RPGA. La cour cantonale a précisé que lors de son inspection locale elle avait constaté que le front d'habitation du côté est du canal se caractérisait par des bâtiments de hauteur variable que le projet litigieux permettait de conserver car la hauteur de l'annexe restait inférieure à celle des bâtiments voisins (Maison d'Ailleurs et les bâtiments ECA 348 et 344). Le Tribunal cantonal a ajouté qu'il paraissait difficile de considérer la configuration actuelle comme définitive d'un point de vue patrimonial et urbanistique, car les deux corps de bâtiment avaient été modifiés au fil du temps en fonction des besoins des propriétaires, sans trouver de forme définitive, en raison de la forme de la parcelle, étroite et en longueur, la rendant difficilement aménageable. Il a encore considéré que les critiques de la Municipalité relatives au surnombre d'ouvertures en toiture (voir infra consid. 2.8) ainsi qu'à l'asymétrie de la toiture (voir infra consid. 2.9) étaient exagérées.
Dans un deuxième temps, la cour cantonale a procédé à une pesée des intérêts. Elle a d'abord mis en avant l'existence d'un intérêt public à la protection du caractère des bâtiments protégés sis à proximité et de leur environnement (quatre bâtiments bénéficiant d'une note 4 au recensement architectural, un bâtiment d'une note 2, la Maison d'Ailleurs et un autre bâtiment d'une note 1 ainsi que le Château jouissant de la protection des monuments historiques du canton et de la Confédération).
Elle a ensuite considéré que la surélévation projetée s'intégrait aux alentours: la vue sur le Château depuis le Pont Haldimand ne serait sans doute pas entravée par la surélévation qui serait peu visible puisque dissimulée par le bâtiment ECA 5974 (soit un bâtiment moderne de 4 niveaux habitables) vu sa hauteur. La cour cantonale a aussi relevé s'agissant de la vue sur le Château depuis la passerelle en fer située à côté du bâtiment ECA 340 que la surélévation rendrait certes l'annexe plus visible, sans toutefois provoquer une gêne majeure par rapport à la situation actuelle puisque sa hauteur resterait inférieure à celle des bâtiments sis de chaque côté du pont de la Plaine; la tour nord-est du Château se distinguerait comme c'est le cas actuellement depuis les deux ponts précités, en arrière-fond des immeubles se trouvant de part et d'autre du Canal Oriental. Le Tribunal cantonal a ajouté que l'impact visuel de la surélévation projetée sur les deux bâtiments classés ayant obtenu la note 1, resterait limité puisque ces bâtiments continueraient à dominer par leur volume et leur hauteur; la différence de hauteur entre l'annexe et ces différents bâtiments serait moins marquée qu'actuellement, ce qui aurait tendance à rendre l'ensemble formé par ces quatre constructions plus harmonieux en termes de volume et de hauteur, selon le photomontage figurant au dossier. Il a souligné que l'organisation des ouvertures de la façade de l'annexe (trois rangées de trois fenêtres) rappelait le traitement de la façade sud-ouest de la Maison d'Ailleurs, disposant aussi de neuf ouvertures; le traitement de la façade de l'annexe était sobre et semblable à la situation actuelle.
Le Tribunal cantonal a enfin pris en compte dans sa pesée des intérêts l'intérêt public à exploiter au maximum les possibilités de construire (la surélévation permettait une meilleure exploitation des possibilités de construire avec la construction de quatre niveaux) ainsi que l'intérêt public à la surélévation permettant une amélioration quantitative et qualitative de l'offre d'habitation à Yverdon-les-Bains où sévit une pénurie de logement (augmentation du nombre de logement de 3 à 7, amélioration de l'habitabilité et du confort des appartements et mise aux normes des installations). L'instance précédente a enfin relevé l'intérêt privé du propriétaire à pouvoir améliorer habitabilité et la rentabilité de son bâtiment, actuellement vide.
2.7. La recourante ne répond pas à tous les points de l'argumentation approfondie et circonstanciée de la cour cantonale. Elle n'en conteste que certains. Ainsi, elle reproche d'abord au Tribunal cantonal d'avoir mal apprécié le degré de protection dont la parcelle en question jouit au regard de l'ISOS. Elle lui fait grief d'avoir jugé que le bâtiment litigieux était situé dans le périmètre environnant VI appartenant à la catégorie d'inventaire a avec un objectif de sauvegarde a (lequel préconise la sauvegarde de l'état existant en tant qu'espace agricole ou libre, la conservation de la végétation et des constructions anciennes essentielles pour l'image du site et la suppression des altérations). Elle soutient au contraire que ce bâtiment se trouve dans le périmètre 2 "Faubourg de la Plaine" avec un objectif de sauvegarde A (lequel préconise la sauvegarde de la substance, à savoir la conservation intégrale de toutes les constructions et composantes du site, de tous les espaces libres et la suppression des interventions parasites).
2.7.1. Après avoir relevé que la parcelle litigieuse se trouvait à un endroit où passent les limites de ces deux périmètres, le Tribunal cantonal a considéré que le plan de l'ISOS concernant Yverdon-les-Bains, établi au 1:5'000, était peu précis et ne permettait pas à sa seule lecture de trancher cette question. Se fondant sur l'inspection locale à laquelle il a procédé, il a jugé que c'était au regard du périmètre environnant VI, soit du Canal Oriental, que la situation devait être appréciée. La cour cantonale a relevé que pour l'observateur se trouvant sur le pont traversant le Canal Oriental, le bâtiment litigieux s'inscrivait dans la perspective du canal; il partageait les caractéristiques des bâtiments qui bordent ce canal (alignement d'habitations aux niveaux ajourés sur un soubassement borgne ou peu percé); le Boulevard de la Plaine, avec les caractéristiques décrites par l'ISOS (boulevard s'élargissant avec des habitations sur commerce) n'était pas perceptible depuis ce point de vue, ni depuis la Place des Droits de l'Homme; quant à la partie du bâtiment qui donne sur la rue étroite de la Maison Rouge, le projet litigieux laissait le bâtiment quasiment inchangé de ce côté.
La recourante reconnaît que les délimitations entre le périmètre 2 et le périmètre environnant VI sont imprécises sur le plan de l'ISOS. Elle estime cependant qu'il faut interpréter le plan en fonction des descriptifs des périmètres. Partant, elle ne démontre pas que les considérations factuelles retenues par le Tribunal cantonal, qui s'est rendu sur place, sont arbitraires. Peu importe au demeurant, puisque la question de savoir si l'immeuble en question se trouve dans le périmètre environnant VI ou dans le périmètre 2 n'est pas déterminante. En effet, le plan général d'affectation d'Yverdon-les-Bains qui a été modifié notamment en 2015 a pris en compte l'inventaire ISOS dans lequel la ville d'Yverdon-les-Bains a été insérée en 2009 (RO 2009 1015).
La recourante ne parvient ainsi pas à établir que le Tribunal cantonal a arbitrairement considéré que le bâtiment litigieux se trouvait dans le périmètre environnant VI.
2.8. La recourante reproche ensuite aux juges cantonaux d'avoir mal appréhendé les ouvertures en toiture et d'avoir appliqué arbitrairement l'art. 28 al. 4 RPGA.
Les ouvertures en question consistent en trois velux sur le toit de l'annexe du côté du canal, trois velux sur le toit du bâtiment principal du même côté et quatre velux sur le toit du bâtiment principal (deux rangées de deux) du côté de la rue de la Maison Rouge. Ces dix ouvertures sont de dimensions inférieures aux fenêtres des façades correspondantes.
2.8.1. A teneur de l'art. 28 al. 4 RPGA, l'utilisation des combles à des fins d'habitation ou d'activité est admise sur un seul niveau pour autant que les moyens d'éclairage ne défigurent ni le toit ni les pignons et n'altèrent pas l'aspect général de la ville.
L'alinéa 6 de cette disposition prévoit que les pleins dominent largement les vides. La disposition et la dimension des moyens d'éclairage sur un pan de toiture doivent être équilibrés par rapport à l'ordre des ouvertures de la façade correspondante (art. 28 al. 8 RPGA).
2.8.2. Le Tribunal cantonal a considéré que ces ouvertures ne défiguraient pas le toit au sens de l'art. 28 al. 4 RPGA. Il a d'abord relevé que les pleins dominaient nettement les vides sur tous les pans de toiture visibles depuis la rue de la Maison Rouge et du côté du canal, conformément à l'art. 28 al. 6 RPGA. Il a ajouté que toutes les ouvertures en toiture étaient de dimensions inférieures aux fenêtres des façades et qu'elles étaient alignées par rapport respectivement aux trois rangées de fenêtres de la façade de l'annexe et aux deux rangées de fenêtres de la façade du côté de la rue de la Maison Rouge; quant aux trois velux (rectification d'office; <ref-law>) situés sur le plan nord-ouest du toit du bâtiment principal, ils étaient disposés de manière harmonieuse par rapport aux autres ouvertures en contrebas. Il en a déduit que l'art. 28 al. 8 RPGA était aussi respecté.
La Municipalité tente de remettre en cause cette interprétation, en arguant que le Tribunal cantonal a mentionné par erreur que le pan de toit du corps principal du côté du canal était percé par deux velux, alors qu'il ressort des plans qu'il y en a trois. Elle estime que le triangle formé par ces trois ouvertures n'est pas positionné de manière cohérente avec la rangée de trois tabatières prévues dans le pan de toit ouest de l'annexe sis en dessous car les orientations de ces pans de toit divergent. Elle affirme que le caractère disparate de ces ouvertures est encore accru par leurs dimensions inégales ainsi que par l'exutoire de fumée pour la pompe à chaleur et les panneaux solaires posés entre les velux.
Cette argumentation, qui est l'expression d'une appréciation subjective du projet, ne suffit cependant pas à démontrer le caractère manifestement insoutenable de celle du Tribunal cantonal, ce d'autant moins que le Tribunal de céans s'impose une retenue dans l'appréciation de circonstances locales. Cela est d'autant plus vrai que la recourante ne conteste pas que l'architecture à pan des toitures est conservée, ni que le type de velux est uniforme par pan de toiture.
Le Tribunal cantonal pouvait ainsi, après avoir procédé lui-même à une vision locale, considérer sans arbitraire que la commune avait excédé son pouvoir d'appréciation en critiquant les ouvertures en toiture.
2.9. La Municipalité fait encore grief au Tribunal cantonal de ne pas avoir perçu l'ampleur réelle de la visibilité de la forme asymétrique des pans du toit de l'annexe depuis le domaine public, asymétrie qu'elle qualifie de saugrenue.
Le Tribunal cantonal a considéré que l'asymétrie de la toiture de l'annexe et sa jointure avec le toit du bâtiment principal étaient liées à la forme de la parcelle et concernaient le pan sud-est du toit de l'annexe se trouvant derrière le front de bâtiments longeant le canal; ces éléments n'étaient par ailleurs visibles ni depuis le Pont de la Plaine ni depuis la Place des Droits de l'Homme, comme cela avait été constaté lors de l'inspection locale. La cour cantonale a ajouté que le constructeur avait présenté deux projets de toitures différentes à la Municipalité avant le projet actuel, à savoir le pré-projet de mars 2014 qui prévoyait la transformation des deux corps de bâtiments en un seul bâtiment de quatre étages avec une toiture unique et le projet de mars 2015 qui prévoyait de conserver l'annexe et de lui ajouter un étage surmonté d'un toit-terrasse; or la Municipalité s'était opposée à ces deux projets en raison notamment de leur toiture.
A cet égard, la recourante se contente uniquement de faire valoir que l'asymétrie du toit de l'annexe serait visible depuis certains emplacements du domaine public et soutient qu'il ne ressortirait pas du procès-verbal de l'inspection locale qu'elle ne serait pas visible. Cette simple assertion ne suffit toutefois pas à rendre déraisonnable l'argumentation de l'instance précédente, ce d'autant moins que la recourante ne discute pas les autres arguments avancés par le Tribunal cantonal, qui s'est rendu sur place. Dans ces conditions, la solution retenue par l'instance précédente ne paraît pas insoutenable.
2.10. En définitive, l'immeuble en question ne fait l'objet d'aucune mesure de protection stricte, telle un classement ou une mise à l'inventaire. Il s'agit d'un bâtiment de type C au sens des art. 32 ss RPGA qui peut être transformé (art. 32bis et 33 RPGA). S'ajoute à cela que, selon le plan de la zone de la ville ancienne, il se trouve dans un périmètre qui autorise des bâtiments pouvant compter quatre niveaux (art. 11 al. 1 RPGA) et qui permet les surélévations d'un étage (art. 25 cum 33bis RPGA). Le projet est conforme aux dispositions réglementaires relatives à la hauteur et aux dimensions du bâtiment. Dès lors, une interdiction de la surélévation pour des motifs liés à l'esthétique doit être justifiée par des intérêts publics supérieurs (<ref-ruling> consid. 4.4 p. 63 et les arrêts cités). Or la recourante, qui n'a contesté en vain que certains des nombreux arguments retenus par le Tribunal cantonal, ne parvient pas à démontrer que le Tribunal cantonal a retenu de façon insoutenable que l'intérêt public à exploiter au maximum les possibilités de construire ainsi que l'intérêt public à la surélévation permettant une amélioration quantitative et qualitative de l'offre d'habitation à Yverdon-les-Bains l'emportaient sur l'intérêt public à la protection du caractère des bâtiments protégés sis à proximité et de leur environnement. L'exploitation maximale des possibilités de construire correspond en effet à un intérêt public car la politique suisse de l'aménagement du territoire vise à orienter le développement de l'urbanisation vers l'intérieur du bâti par une utilisation mesurée du sol (art. 1 al. 2 let. abis LAT) et à créer un milieu bâti compact (art. 1 al. 2 let. b LAT; <ref-ruling> consid 4.4 p. 63 et les arrêts cités).
Par conséquent, avec la retenue que s'impose le Tribunal fédéral dans l'examen des circonstances locales, il n'y a pas de raison de s'écarter de la pesée des intérêts opérée par l'instance précédente.
3.
La Municipalité fait encore grief au Tribunal cantonal d'avoir jugé qu'elle avait abusé du pouvoir d'appréciation que lui confère l'art. 149 RPGA en refusant d'accorder des dérogations quant aux espaces de rangement (art. 143 RPGA), aux places de stationnement pour deux-roues (art. 120 RPGA) et à l'esthétique de la toiture.
3.1. L'art. 143 RPGA prévoit que tout bâtiment comportant de l'habitation doit disposer pour chaque logement de 6,00 m2 au minimum de locaux de rangement situés soit dans les caves ou galetas, soit dans des pièces non éclairées à l'intérieur du logement.
A teneur de l'art. 120 al. 1 RPGA, le nombre de places de stationnement obligatoires et leur dimensionnement sont calculés au moyen de la norme VSS en vigueur.
La Municipalité peut accorder des dérogations de minime importance lorsque la topographie, la forme des parcelles, les accès, l'intégration ou la conception des constructions imposent des solutions particulières et s'il n'en résulte pas d'inconvénients majeurs (art. 149 al. 1 RPGA).
3.2. Selon la jurisprudence, les dispositions dérogatoires ne doivent pas nécessairement être interprétées de manière restrictive, mais selon les méthodes d'interprétation ordinaires. Une dérogation importante peut ainsi se révéler indispensable pour éviter les effets rigoureux de la réglementation ordinaire. En tous les cas, la dérogation doit servir la loi ou, à tout le moins, les objectifs recherchés par celle-ci: l'autorisation exceptionnelle doit permettre d'adopter une solution reflétant l'intention présumée du législateur s'il avait été confronté au cas particulier. L'octroi d'une dérogation suppose une situation exceptionnelle et ne saurait devenir la règle, à défaut de quoi l'autorité compétente pour délivrer des permis de construire se substituerait au législateur cantonal ou communal par le biais de sa pratique dérogatoire. Il implique une pesée entre les intérêts publics et privés de tiers au respect des dispositions dont il s'agirait de s'écarter et les intérêts du propriétaire privé à l'octroi d'une dérogation, étant précisé que des raisons purement économiques ou l'intention d'atteindre la meilleure solution architecturale, ou une utilisation optimale du terrain, ne suffisent pas à elles seules à justifier une dérogation (cf. arrêts 1C_603/2018 du 13 janvier 2020 consid. 4.3, 1C_279/2018 du 17 décembre 2018 consid. 4.1.3 et les références; 1C_458/2011 du 29 février 2012 consid. 4.4 et la référence à l'<ref-ruling> consid. 5 p. 53).
3.3. S'agissant des espaces de rangement, quatre appartements ne disposent pas des 6 m2 exigés, soit les quatre appartements de 1,5 pièces situés aux premier et deuxième étages.
Le Tribunal cantonal a considéré que la dérogation à accorder était de peu d'importance car, sur les quatre appartements ne disposant pas des 6 m2 d'espaces de rangement, deux appartements avaient tout de même un espace de rangement de 4,54 et 4,94 m2. L'instance précédente a ajouté que, du point de vue du principe de la proportionnalité, il se justifiait de tenir compte du fait que le règlement imposait un espace de rangement minimum sans égard à la taille des appartements.
La recourante tente de mettre en cause cette argumentation en relevant que les moindres armoires murales figurées sur les plans sont comptabilisées dans le calcul des surfaces de rangement; elle soutient que si l'on exclut les armoires, un cinquième appartement n'atteindrait pas le seuil de 6 m2, deux des quatre logement non règlementaires seraient carrément privés de tout local de rangement et deux appartements n'auraient qu'une surface de 2,84 et 3,24 m2. Ce nouveau calcul des surfaces de rangement, certes défendable, n'est toutefois pas de nature à démontrer le caractère manifestement insoutenable de l'argumentation du Tribunal cantonal. La Municipalité affirme encore que rien n'aurait empêché d'aménager un réduit dans certains appartements ou de consacrer une partie des combles à un grenier, ou de diminuer la surface habitable de certains logements ou d'excaver quelque peu le corps principal du bâtiment. Cette remarque ne suffit pas non plus à rendre déraisonnable l'argumentation de l'instance précédente. En effet, elle ne permet pas de conclure qu'il serait arbitraire au sens de la jurisprudence susmentionnée de faire prévaloir l'intérêt public à la création de sept logements au centre-ville.
3.4. Concernant le nombre de places de stationnement pour deux-roues nécessaire, il est de dix, alors que le projet litigieux n'en prévoit que trois.
Le Tribunal cantonal a estimé que le manque de sept places de stationnement pour deux-roues restait d'une ampleur acceptable, compte tenu du fait que l'on se trouvait au centre-ville à proximité de la gare. Il a considéré qu'il apparaissait disproportionné d'empêcher l'agrandissement prévu ou d'exiger de renoncer à la création d'un appartement en faveur de la création des places de stationnement manquantes, vu l'intérêt public à la création de logements. Il a encore relevé que la difficulté de construire les espaces de rangement et les places de stationnement pour deux-roues nécessaires était en grande partie due à la forme de la parcelle et au fait que le corps principal du bâtiment n'était pas excavé.
La recourante ne parvient pas à démontrer en quoi le raisonnement de l'instance précédente serait arbitraire. Elle se contente en effet de faire valoir que l'on aurait pu réduire la surface de logement en vue d'offrir aux parties communes un volume pour les deux-roues ou excaver un volume supplémentaire. Elle relève que le train ne constitue par une véritable alternative au vélo, utilisable à plus courte distance, le vélo étant davantage une alternative à la voiture qu'au train. Elle souligne que les places deux-roues sont importantes lorsque comme en l'espèce le projet n'offre pas les places de stationnement automobile prévues par le règlement. Ces griefs consistent en réalité en l'expression d'une appréciation subjective du projet, qui ne rend pas déraisonnable l'argumentation de l'instance précédente. De surcroît, il faut rappeler que, confronté à une décision cantonale fondée sur le droit cantonal et raisonnablement motivée, le Tribunal de céans s'impose une certaine retenue dans l'appréciation de circonstances locales dont les autorités cantonales ont une meilleure connaissance que lui (cf. <ref-ruling> consid. 6.4 p. 89; <ref-ruling> consid. 5.4.1 p. 163; <ref-ruling> consid. 3c p. 79).
3.5. Enfin, s'agissant de l'esthétique de la toiture, la recourante fait valoir qu'elle ne peut octroyer de dérogation compte tenu du fait que deux pans de toiture ne sont pas alignés (un pan comportant une rangée de trois tabatières et l'autre trois tabatières situées aléatoirement), que les velux sont de dimension différente, que deux rangées de deux velux se situent sur le pan est du côté de la rue de la Maison Rouge protégé par un objectif A selon l'ISOS et que l'on se trouve dans un environnement historique d'intérêt national. Ces griefs ont été traités dans le cadre de l'examen de l'esthétique et de l'intégration du projet litigieux (voir supra consid. 2, en particulier consid. 2.8). Il y a lieu d'y renvoyer.
4.
Il s'ensuit que le recours est rejeté.
Conformément à l'<ref-law>, il n'est pas perçu de frais judiciaires. L'intimé, assisté d'un avocat, a droit à des dépens, à la charge de la commune d'Yverdon-les-Bains (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Il n'est pas perçu de frais judiciaires.
3.
Une indemnité de 2'000 fr. est allouée à l'intimé à titre de dépens, à la charge de la commune d'Yverdon-les-Bains.
4.
Le présent arrêt est communiqué aux mandataires des parties, à la Direction générale des immeubles et du patrimoine et à la Cour de droit administratif et public Tribunal cantonal du canton de Vaud.
Lausanne, le 23 septembre 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Tornay Schaller