Faits :
A.
A.A._ et B.A._ sont copropriétaires de la parcelle no 2137 de la commune de Lausanne. Ce bien-fonds accueille 6 bâtiments formant un immeuble de trois entrées qui comprend des locaux commerciaux (un tabac et un coiffeur), un établissement public (le Café C._) et des logements.
Les copropriétaires ont demandé à la Municipalité de Lausanne (ci-après: la Municipalité) l'autorisation de démolir les bâtiments se trouvant sur leur parcelle et de construire un immeuble de 25 appartements avec un parking souterrain.
Interpellé par la Ville de Lausanne, le Service Immeubles, Patrimoine et Logistique du canton de Vaud (ci-après: le SIPAL) a estimé que l'édifice litigieux ne possédait ni l'authenticité ni les qualités architecturales justifiant une mise sous protection au sens de la loi vaudoise sur la protection de la nature, des monuments et des sites (LPNMS/VD; RS 450.11). La note de 4 au recensement architectural lui a été attribuée. Par ailleurs, la parcelle s'intègre dans un quartier figurant à l'inventaire fédéral des sites construits d'importance nationale à protéger en Suisse (ci-après: ISOS), auquel l'objectif de sauvegarde "C" est attribué.
Par décision du 22 juin 2016, la Municipalité a refusé le projet de démolition et de construction, en raison de la valeur patrimoniale du bâtiment existant et de la mauvaise intégration de la construction projetée.
B.
A.A._ et B.A._ ont interjeté un recours contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal). Par arrêt du 9 mai 2017, celui-ci a admis le recours, retenant qu'à défaut de mesures de protection, l'immeuble, dont le maintien engendrerait des coûts disproportionnés, pouvait être démoli. Par ailleurs, vu les bâtiments avoisinants, aucun motif d'esthétique ne s'opposerait au projet de construction. La cause a été renvoyée à la Municipalité pour octroi du permis de construire.
C.
Agissant par la voie du recours en matière de droit public, la Municipalité demande au Tribunal fédéral de réformer l'arrêt rendu le 9 mai 2017 en ce sens que la décision municipale du 22 juin 2016 est confirmée. Elle conclut subsidiairement à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'instance précédente pour nouvel arrêt au sens des considérants. Elle sollicite également l'effet suspensif qui a été accordé par ordonnance du 30 juin 2017.
Le Tribunal cantonal et les copropriétaires concluent au rejet du recours. Le SIPAL n'a pas formulé d'observations. Dans son ultime écriture, la Municipalité a maintenu ses conclusions.

Considérant en droit :
1.
Le recours en matière de droit public est recevable contre les décisions qui mettent fin à la procédure (<ref-law>) ou contre les décisions partielles (<ref-law>).
1.1. En vertu de l'<ref-law>, les décisions incidentes notifiées séparément qui ne portent pas sur la compétence ou sur une demande de récusation ne peuvent faire l'objet d'un recours en matière de droit public que si elles peuvent causer un préjudice irréparable (let. a), ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (let. b).
L'arrêt attaqué est une décision incidente vu le renvoi qu'il comporte à l'autorité inférieure (dispositif de l'arrêt cantonal ch. 2). Pour ce motif, le recours n'est en principe recevable qu'aux conditions de l'art. 93 al. 1 let. a ou b LTF. En l'occurrence, la cour cantonale a annulé la décision de la Municipalité et lui a renvoyé la cause pour octroi du permis de construire. Or, selon la jurisprudence, on se trouve en présence d'un préjudice irréparable, au sens de l'<ref-law>, lorsque la décision attaquée contient des injonctions précises et ne laisse aucune marge de manoeuvre à la commune (cf. <ref-ruling> consid. 1.2 p. 23 s.; <ref-ruling> consid. 4.2 p. 286). Tel est le cas en l'espèce puisque la Municipalité de Lausanne est enjointe d'accorder le permis de construire sans disposer d'aucune liberté d'appréciation. Le recours de la commune est donc en principe recevable.
1.2. La Municipalité de Lausanne, qui fait valoir une violation de l'autonomie dont elle bénéficie en matière d'aménagement du territoire et en droit des constructions (cf. <ref-ruling> consid. 3.3 p. 30), a qualité pour agir en vertu de l'art. 89 al. 2 let. c LTF.
Les autres conditions de recevabilité du recours sont réunies (cf. art. 42 et 100 al. 1 LTF), si bien qu'il y a lieu d'entrer en matière sur le fond.
2.
Dans un premier grief, la recourante estime que la cour cantonale a violé son droit d'être entendue (art. 29 al. 2 Cst.) en ne motivant pas suffisamment sa décision.
2.1. Le droit d'être entendu consacré à l'art. 29 al. 2 Cst. implique pour l'autorité l'obligation de motiver sa décision. Selon la jurisprudence, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. L'autorité n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige (<ref-ruling> consid. 3.2.1 p. 565; <ref-ruling> consid. 4. 1 p. 88). Dès lors que l'on peut discerner les motifs qui ont guidé la décision de l'autorité, le droit à une décision motivée est respecté même si la motivation présentée est erronée. En outre, la motivation peut être implicite et résulter des différents considérants de la décision (<ref-ruling> précité).
La violation du droit constitutionnel d'être entendu (art. 29 al. 2 Cst.) est examinée librement par le Tribunal fédéral, pour autant que le grief soit motivé conformément aux exigences découlant de l'<ref-law>, à savoir expressément soulevé et exposé de manière claire et circonstanciée (cf. <ref-ruling> consid. 1.2.2 p. 286).
2.2. En l'espèce, la recourante soutient que l'arrêt attaqué n'examinerait pas de façon suffisamment détaillée les griefs relatifs au refus du projet de construction de l'immeuble en application de la clause d'esthétique. Ce jugement ne ferait que comparer, de façon très brève, le projet de construction avec un immeuble du voisinage, sans invoquer les divers motifs qui auraient conduit à une telle décision. Ce seul argument invoqué sans autre explication par la recourante ne répond pas aux exigences de motivation accrues découlant de l'<ref-law>, de sorte que ce grief d'ordre formel doit être déclaré irrecevable. Au demeurant, la décision attaquée est à l'évidence suffisamment motivée, celle-ci reprenant tous les griefs soulevés par la recourante tant à l'encontre de la démolition que du projet de construction. L'autorité précédente a produit une analyse détaillée des principes constitutionnels et règles applicables ainsi que de circonstances propres au cas d'espèce, et expose clairement les motifs qui l'ont poussée à autoriser la démolition et le projet de construction. Ce grief d'ordre formel est dès lors rejeté.
3.
Sur le fond, s'appuyant sur le préavis négatif de la Déléguée à la protection du patrimoine bâti, la Municipalité estime que le permis de démolir ne pourrait pas être accordé afin de conserver les aménagements intérieurs du café C._, de préserver les qualités urbaines du bâtiment existant et d'assurer la conservation d'éléments identitaires propres au quartier de la Pontaise. Concernant le permis de construire litigieux, elle soutient que le projet ne répond pas aux critères d'esthétique et d'intégration. Elle reproche à la cour cantonale d'avoir substitué sa propre appréciation à la sienne. Elle se plaint d'une violation de l'autonomie communale (art. 50 Cst.) et d'une application arbitraire des art. 69 et 73 du règlement communal.
3.1.
3.1.1. Selon l'art. 50 al. 1 Cst., l'autonomie communale est garantie dans les limites fixées par le droit cantonal. Dans le canton de Vaud, les communes jouissent d'une autonomie maintes fois reconnue lorsqu'elles définissent, par des plans, l'affectation de leur territoire, et lorsqu'elles appliquent le droit des constructions (art. 139 al. 1 let. d Cst./VD; cf. arrêt 1C_424/2014 du 26 mai 2015 consid. 4.1.1, in RDAF 2015 I 474). Une commune reconnue autonome dans un domaine spécifique peut dénoncer tant les excès de compétence d'une autorité cantonale de recours que la violation par celle-ci des règles du droit fédéral, cantonal ou communal qui régissent la matière (<ref-ruling> consid. 7.2 p. 134).
Saisi du grief de la violation de l'autonomie communale, le Tribunal fédéral examine librement la décision de l'instance cantonale de recours, dès lors qu'il y va de l'application du droit constitutionnel fédéral ou cantonal. Il contrôle ainsi librement si l'autorité judiciaire cantonale a respecté la latitude de jugement découlant de l'autonomie communale (<ref-ruling> consid. 2 p. 397; arrêt 1C_92/2015 du 18 novembre 2015 consid. 3.1.3). Lorsqu'il s'agit d'examiner l'application de clauses d'esthétique, le Tribunal fédéral fait preuve de retenue dans l'appréciation des circonstances locales. Dans ce domaine, les autorités locales disposent en effet d'un large pouvoir d'appréciation (cf. <ref-ruling> consid. 4.3 p. 416). C'est le cas notamment lorsqu'il s'agit de savoir si une construction ou une installation est de nature à compromettre l'aspect ou le caractère d'un site, d'une localité, d'un quartier ou d'une rue (<ref-ruling> consid. 3d p. 118; arrêt 1C_452/2016 du 7 juin 2017).
3.1.2. L'interdiction de démolir porte une atteinte importante au droit de la propriété des intimés, en tant qu'elle a pour effet de les obliger à entretenir leurs bâtiments, malgré les coûts que cela engendre. Pour être admissible, cette atteinte doit dès lors reposer sur une base légale, être justifiée par un intérêt public et être proportionnée au but visé (cf. art. 36 al. 1 à 3 Cst.). Le principe de la proportionnalité exige en outre qu'une mesure restrictive soit apte à produire les résultats escomptés et que ceux-ci ne puissent être atteints par une mesure moins incisive; ce principe interdit également toute limitation allant au-delà du but visé et exige un rapport raisonnable entre celui-ci et les intérêts publics ou privés compromis (cf. <ref-ruling> consid. 4.2.1 p. 173). Conformément au principe de la proportionnalité, une interdiction de démolir sans motifs justifiés est incompatible avec la Constitution fédérale si elle produit des effets insupportables pour le propriétaire ou ne lui assure pas un rendement acceptable (cf. <ref-ruling> consid. 2c in fine p. 222 et consid. 2h p. 226; arrêt 1C_52/2016 du 7 septembre 2016 consid. 2).
3.1.3. En matière d'esthétique des constructions, l'autorité communale qui apprécie les circonstances locales dans le cadre de l'octroi d'une autorisation de construire, bénéficie ainsi d'une liberté d'appréciation particulière, que l'autorité de recours contrôle avec retenue (cf. art. 3 al. 2 LAT). Dans la mesure où la décision communale repose sur une appréciation soutenable des circonstances pertinentes, l'instance de recours doit la respecter. En dépit de son pouvoir d'examen complet, elle ne peut intervenir et, cas échéant, substituer sa propre appréciation à celle des autorités communales que si celle-ci n'est objectivement pas soutenable ou contrevient au droit supérieur (arrêt 1C_92/2015 du 18 novembre 2015 consid. 3.1.3; dans ce sens: Olivier Schuler, Kognition zwischen Rechtsweggarantie und Gemeindeautonomie in bau- und planungsrechtlichen Verfahren, 2015, p. 75-77).
3.1.4. En droit vaudois, un projet de construction peut être interdit sur la base de l'art. 86 LATC quand bien même il satisferait à toutes les autres dispositions cantonales et communales en matière de police des constructions. En effet, à teneur de l'art. 86 al. 1 LATC, la Municipalité veille à ce que les constructions, quelle que soit leur destination, ainsi que les aménagements qui leur sont liés, présentent un aspect architectural satisfaisant et s'intègrent à l'environnement. Elle refuse le permis pour les constructions ou les démolitions susceptibles de compromettre l'aspect et le caractère d'un site, d'une localité, d'un quartier ou d'une rue, ou de nuire à l'aspect d'un édifice de valeur historique, artistique ou culturelle (art. 86 al. 2 LATC). L'alinéa 3 de cette disposition prévoit que les règlements communaux doivent contenir des dispositions en vue d'éviter l'enlaidissement des localités et de leurs abords.
Selon la jurisprudence, l'application d'une clause d'esthétique ne doit cependant pas aboutir à ce que, de façon générale, la réglementation sur les zones en vigueur soit vidée de sa substance. Lorsqu'un plan de zones prévoit que des constructions d'un certain volume peuvent être édifiées dans tel secteur du territoire, une interdiction de construire fondée sur une clause d'esthétique, en raison du contraste formé par le volume du bâtiment projeté, ne peut se justifier que par un intérêt public prépondérant. Il faut que l'utilisation des possibilités de construire réglementaires apparaisse déraisonnable (<ref-ruling> consid. 3d p. 119; arrêt 1C_452/2016 du 7 juin 2017 consid. 3.1.3). Tel sera par exemple le cas s'il s'agit de protéger un site, un bâtiment ou un ensemble de bâtiments présentant des qualités esthétiques remarquables, qui font défaut à l'immeuble projeté ou qui mettrait en péril sa construction (<ref-ruling> consid. 6c p. 222 s. et les arrêts cités).
3.1.5. A teneur de l'art. 69 al. 1 du règlement de la commune de Lausanne, les constructions, transformations ou démolitions susceptibles de compromettre l'aspect et le caractère d'un quartier, d'un site, d'une place ou d'une rue, ou de nuire à l'aspect d'un édifice de valeur historique, culturel ou architectural sont interdites. L'alinéa 2 de cette disposition prévoit que les constructions, quelle que soit leur destination, ainsi que les aménagements qui leur sont liés doivent présenter un aspect architectural satisfaisant et s'intégrer à l'environnement. Selon l'art. 73 al. 1 de ce règlement, la direction des travaux tient à disposition la liste des bâtiments, des objets, des sites et des ensembles figurant au recensement architectural, au recensement des jardins d'intérêt historique et au recensement des ensembles bâtis. Tous travaux les concernant font l'objet d'un préavis du délégué communal à la protection du patrimoine bâti précisant ses déterminations (al. 2). Sur la base de ce préavis, la Municipalité peut imposer des restrictions au droit de bâtir et interdire les constructions, transformations ou démolitions (al. 3). Elle peut, également, lorsqu'un ensemble bâti est identifié et qu'il s'agit, notamment, d'éviter une rupture du tissu bâti existant, préserver la volumétrie générale d'ensemble, le rythme du parcellaire, la composition verticale et horizontale des façades, les formes de toiture, ainsi que les aménagements des espaces libres (al. 4).
L'attribution d'une note 4 au recensement architectural s'opère, selon le Service cantonal des monuments et sites, lorsque "le bâtiment est bien intégré par son volume, sa composition et souvent sa fonction, et participant à la définition de l'identité de la localité". Un tel objet ne possède ni la qualité architecturale ni l'authenticité justifiant l'intervention de la Section des monuments et sites (SIPAL). Il nécessite néanmoins un traitement approprié et soigné afin de préserver l'image du site. Sa sauvegarde et sa mise en valeur doivent être garanties dans le cadre de la planification communale. Selon la jurisprudence cantonale non contestée par la recourante, la note 4 a un caractère purement indicatif et informatif; elle ne constitue pas une mesure de protection (Bovay/Sulliger/Pfeiffer, Aménagement du territoire, droit public des constructions et permis de construire, protection de l'environnement - Jurisprudence rendue en 2016 par la Cour de droit administratif et public du Tribunal cantonal vaudois, in RDAF 2017 I p. 132 s.). Elle est en revanche un élément d'appréciation important pour les autorités chargées de l'aménagement du territoire, notamment dans la procédure de permis de construire, lorsque ces autorités appliquent les règles concernant l'intégration et l'esthétique des constructions.
3.2.
3.2.1. En l'occurrence, l'interdiction de démolir porte une atteinte au droit fondamental de la garantie de la propriété des intimés. La Muni-cipalité soutient que cette atteinte serait admissible, dès lors que la préservation des bâtiments existants constituerait un intérêt prévalant sur celui des copropriétaires.
Les bâtiments existants ont reçu la note 4 au recensement architectural et on se trouve dans un objectif de sauvegarde C de l'ISOS, à savoir un objectif préconisant la sauvegarde du caractère, le maintien de l'équilibre entre les constructions anciennes et nouvelles, ainsi que la sauvegarde intégrale des éléments essentiels pour la conservation du caractère (cf. arrêt 1C_452/2016 du 7 juin 2017 consid. 3.2 a contrario où un objectif de protection A était institué). La valeur patrimoniale de ces bâtiments est incontestée. Néanmoins, selon la jurisprudence cantonale (Bovay/Sulliger/Pfeiffer, op. cit., p. 132 s.), cet intérêt seul ne peut pas empêcher leur démolition. La cour cantonale a présenté un exposé détaillé des intérêts de chaque partie. La Municipalité n'a, pour sa part, pas pris en compte l'intérêt financier des intimés lors de sa prise de décision, notamment la rentabilité des rénovations à entreprendre, critère qui est pourtant important. Selon les constatations non contestées de l'arrêt attaqué, l'immeuble est vétuste, les appartements sont anciens, les salles de bains désuètes, les cuisines ne sont pas aménagées et l'installation électrique et sanitaire est obsolète. Par ailleurs, la toiture est d'époque et l'immeuble n'est plus conforme au normes de sécurité. La structure de l'édifice est en outre instable, de sorte qu'une rénovation totale devrait être entreprise selon les experts. Une analyse des coûts financiers pour des rénovations d'une telle ampleur a été effectuée et le résultat montre que ces travaux nécessaires ne seraient pas rentables. C'est donc au terme d'un examen circonstancié que la cour cantonale a reconnu que l'intérêt financier des intimés devait prévaloir.
Par ailleurs, la cour cantonale a constaté, à l'occasion d'une vision locale, que le Café C._ présentait effectivement certaines caractéristiques patrimoniales intéressantes. Toutefois, l'aménagement intérieur du café a fait l'objet d'une rénovation importante qui a conduit à une modification radicale de l'atmosphère de cet ancien bistrot populaire. La Municipalité ne conteste pas ces faits. Dès lors, le grief visant à interdire la démolition du bâtiment afin de préserver, entre autres, l'intérieur du café perd de son sens au vu des rénovations qui ont déjà été entreprises. Dans ce même sens, la Municipalité prétend vouloir préserver les qualités urbaines du bâtiment existant et assurer la conservation d'éléments identitaires au quartier de la Pontaise. Or il ressort de l'arrêt cantonal et des pièces du dossier que l'unité architecturale formée par les bâtiments situés au sud de l'îlot est rompue par la présence, au nord, de deux immeubles modernes témoins d'un autre siècle. Dès lors, le quartier présente déjà des disparités architecturales, de sorte que le caractère particulier du quartier a déjà été compromis. Dans ces circonstances, en faisant fi de l'intérêt patrimonial lié au projet litigieux pour refuser l'autorisation de démolir, la recourante a consacré une solution portant une atteinte disproportionnée à la garantie de la propriété que le Tribunal cantonal pouvait légitimement sanctionner (arrêt 1C_452/2016 du 7 juin 2017 consid. 3.6 in fine). Dans cet arrêt invoqué par la recourante, la situation était différente dès lors que la question de la rentabilité du bâtiment n'avait pas été évoquée. Ce dernier point joue précisément un rôle primordial dans le cas d'espèce.
Au demeurant, c'est à juste titre que les intimés soulèvent qu'il existe également un intérêt public prépondérant à autoriser la démolition, à savoir celui de densifier les centres urbains, conformément à ce que prescrivent désormais la loi sur l'aménagement du territoire (art. 3 al. 3 let. a bis LAT; RS 700) et le plan directeur cantonal.
3.2.2. La recourante estime enfin que le projet de construction ne répondrait pas aux critères d'esthétique et d'intégration. Elle soutient que la toiture plate en double attique proposée ne s'intégrerait pas avec le voisinage. Elle reproche également la proposition d'appartements au rez-de-chaussée avec un jardinet en lien direct avec le trottoir. Elle invoque aussi l'absence d'activités commerciales au rez-de-chaussée. L'obstacle à la réalisation du projet de construction résiderait dès lors dans la clause d'esthétique invoquée par la recourante.
En l'occurrence, la cour cantonale a estimé que la Municipalité avait abusé de son pouvoir d'appréciation en refusant d'autoriser la construction car il n'existerait pas de base réglementaire communale suffisamment précise permettant de refuser ce projet. En effet, aucune réglementation communale n'interdit de prévoir des appartements au rez-de-chaussée, avec un jardinet privatif, ni n'impose le maintien d'une activité commerciale. Ces questions n'ont d'ailleurs aucun rapport avec la clause d'esthétique. Quant à l'impact sur l'environnement bâti, le quartier présente déjà des différences notables comme l'a relevé l'instance précédente en se fondant sur des constatations de fait incontestées. Dès lors, elle n'a pas substitué son appréciation à celle de la commune de manière abusive. Elle a au contraire constaté que le refus du permis revenait, sans être fondé sur des motifs pertinents, à refuser d'appliquer les règles de construction de la zone et, ainsi, à densifier vers le centre, comme l'impose désormais le droit fédéral.
4.
Sur le vu de ce qui précède, le recours est rejeté dans la mesure de sa recevabilité. Conformément à l'<ref-law>, il n'est pas perçu de frais judiciaires. La commune de Lausanne versera aux intimés une indemnité de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Il n'est pas perçu de frais judiciaires.
3.
La commune de Lausanne versera aux intimés la somme de 3'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux mandataires de la commune de Lausanne et des intimés, au Service Immeubles, Patrimoine et Logistique du canton de Vaud, et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 30 avril 2018
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant : Karlen
La Greffière : Sidi-Ali