Faits :
A.
A._ est propriétaire de la parcelle n° 1246 du registre foncier de la commune de Lausanne, sise à l'avenue Saint-Paul 4. Ce bien-fonds d'une surface de 795 m 2est colloqué en zone mixte de forte densité du plan général d'affectation de la commune de Lausanne (ci-après: PGA) régie par les art. 104 ss du règlement du 26 juin 2006 du plan général d'affectation (ci-après: RPGA ou règlement communal). Sur cette parcelle sont érigés un garage (de 19 m2, sis à l'extrémité nord-est de la parcelle) ainsi qu'un bâtiment d'habitation (de 162 m 2 : "villa Orange"). Restent 614 m 2en nature de place-jardin. Edifiée en 1894, la villa Orange a reçu la note 4 ("objet bien intégré") selon le recensement architectural du canton de Vaud. Elle abrite quatre appartements (un par étage), lesquels sont actuellement occupés par des locataires.
Consultée par l'architecte mandaté par A._ pour un projet de démolition du bâtiment (en prévision d'une construction nouvelle sur la parcelle n° 1246), la Déléguée à la Protection du patrimoine bâti du Service d'urbanisme de la Direction des travaux de la Ville de Lausanne (ci-après: la Déléguée à la protection du patrimoine bâti) a établi un rapport le 5 octobre 2012 dans lequel elle a préavisé défavorablement la démolition de la villa.
En mars 2014, A._ a déposé une demande de permis de démolition de la villa Orange, de modification du garage en local conteneurs et stationnement pour quatre motos, et de construction d'un immeuble de vingt-quatre appartements avec garage souterrain de douze places de stationnement (équipé d'un ascenseur à voiture), un ascenseur, une toiture végétalisée avec panneaux solaires et des aménagements extérieurs comprenant trente-six places pour deux-roues et une place de jeux. Il ressort des plans que le bâtiment comporterait huit niveaux avec le sous-sol, et que les 24 appartements consisteraient en 12 appartements de deux pièces, six appartements de trois pièces et six appartements de quatre pièces. Mis à l'enquête publique du 21 mars au 22 avril 2014, ce projet a suscité 21 oppositions dont celles de B.B._ et C.B._ ainsi que de D._.
Le 26 novembre 2014, la Centrale des autorisations de construire du Département des infrastructures du canton de Vaud (CAMAC) a rendu une décision par laquelle elle informait la Direction des travaux de la Ville de Lausanne que les différentes instances cantonales consultées avaient délivré leur autorisation. Le 13 avril 2015, la Déléguée à la protection du patrimoine bâti a émis un préavis négatif "en raison de l'intérêt architectural de cet édifice, des qualités d'usage des logements existants mais également de la substance conservée à l'intérieur, de son intégration actuelle dans un contexte urbain cohérent et de qualité". Le 21 avril 2015, le Service d'architecture de la Direction des travaux de la Ville de Lausanne a aussi préavisé négativement le projet; il a retenu en particulier que le projet envisagé ne proposait qu'une sur-densification en exploitant le PGA et en péjorant de façon importante les qualités du quartier; une surélévation ou un projet plus subtil serait beaucoup plus approprié aux qualités intrinsèques du quartier.
Par décision du 20 mai 2015, la Direction des travaux de la Ville de Lausanne a refusé la demande de démolition/reconstruction, notamment au motif que le bâtiment existant devait être conservé et que le volume, l'implantation et l'architecture de la construction projetée à sa place présentaient un caractère étranger au quartier et en contradiction avec l'attention portée au caractère de la ville.
A._ a interjeté un recours contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). Après avoir procédé à une audience et à une inspection locale le 15 décembre 2015 en présence des parties, le Tribunal cantonal a admis le recours, par arrêt du 15 septembre 2016. Il a annulé la décision municipale du 20 mai 2015 et a renvoyé la cause à la Municipalité pour octroi du permis de construire.
B.
Agissant par la voie du recours en matière de droit public, la Municipalité de Lausanne demande principalement au Tribunal fédéral de réformer l'arrêt du 15 septembre 2016 en ce sens que la décision municipale du 20 mai 2015 est confirmée. Elle conclut subsidiairement à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'instance précédente pour nouvel arrêt au sens des considérants.
Le Tribunal cantonal et l'intimée concluent au rejet du recours. Le Service Immeubles, patrimoine et Logistique du canton de Vaud renonce à se déterminer. B.B._ et C.B._ ainsi que l'Association D._ (ci-après: les opposants) concluent à l'admission du recours. Un second échange d'écritures a eu lieu, au terme duquel les parties ont maintenu leurs conclusions respectives. La recourante a renoncé à se déterminer une troisième fois, alors que l'intimée a encore déposé des observations par courrier du 9 février 2017.

Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public de l'aménagement du territoire et des constructions (<ref-law>), le recours est en principe recevable comme recours en matière de droit public selon les <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. La Municipalité de Lausanne, qui fait valoir une violation de l'autonomie dont elle bénéficie en matière d'aménagement du territoire et en droit des constructions, a qualité pour agir en vertu de l'art. 89 al. 2 let. c LTF. Les autres conditions de recevabilité du recours en matière de droit public sont réunies, si bien qu'il y a lieu d'entrer en matière sur le fond.
2.
Se fondant sur les préavis négatifs de son Service d'architecture et de la Déléguée à la Protection du patrimoine bâti, la Municipalité soutient que le permis de démolir et construire litigieux ne répond pas aux critères minima en matière d'esthétique et d'intégration. Elle reproche à la cour cantonale d'avoir substitué sa propre appréciation à la sienne. Elle se plaint d'une violation de son autonomie communale (art. 50 Cst.) et d'une application arbitraire des art. 69 et 73 du règlement communal.
2.1. Selon l'art. 50 al. 1 Cst., l'autonomie communale est garantie dans les limites fixées par le droit cantonal. Une commune bénéficie de la protection de son autonomie dans les domaines que le droit cantonal ne règle pas de façon exhaustive, mais qu'il laisse en tout ou partie dans la sphère communale, conférant par là aux autorités municipales une liberté de décision relativement importante (<ref-ruling> consid. 6.1 p. 172-173; <ref-ruling> consid. 5.2 p. 244).
En droit cantonal vaudois, les communes jouissent d'une autonomie maintes fois reconnue lorsqu'elles définissent, par des plans, l'affectation de leur territoire, et lorsqu'elles appliquent le droit des constructions (art. 139 al. 1 let. d Cst./VD; cf. notamment <ref-ruling> consid. 3d p. 118 s.; arrêt 1C_424/2014 du 26 mai 2015 consid. 4.1.1, in RDAF, 2015 I 474). Cela ressort en particulier de l'art. 2 al. 2 de la loi cantonale sur l'aménagement du territoire et les constructions du 4 décembre 1985 (LATC; RS/VD 700.11), selon lequel l'Etat laisse aux communes la liberté d'appréciation nécessaire à l'accomplissement de leurs tâches (cf. ég. art. 2 al. 2 LAT).
Une commune reconnue autonome dans un domaine spécifique peut dénoncer tant les excès de compétence d'une autorité cantonale de recours que la violation par celle-ci des règles du droit fédéral, cantonal ou communal qui régissent la matière (<ref-ruling> consid. 6.1 p. 173; <ref-ruling> consid. 5.2 p. 244).
2.2. En matière d'esthétique des constructions, l'autorité communale qui apprécie les circonstances locales dans le cadre de l'octroi d'une autorisation de construire, bénéficie ainsi d'une liberté d'appréciation particulière, que l'autorité de recours contrôle avec retenue (cf. art. 3 al. 2 LAT). Dans la mesure où la décision communale repose sur une appréciation soutenable des circonstances pertinentes, l'instance de recours doit la respecter. En dépit de son pouvoir d'examen complet, elle ne peut intervenir et, cas échéant, substituer sa propre appréciation à celle des autorités communales que si celle-ci n'est objectivement pas soutenable ou contrevient au droit supérieur (arrêt 1C_92/2015 du 18 novembre 2015 consid. 3.1.3 et les arrêts cités; dans ce sens: Olivier Schuler, Kognition zwischen Rechtsweggarantie und Gemeindeautonomie in bau- und planungsrechtlichen Verfahren, 2015, p. 75-77).
Le Tribunal fédéral examine librement la décision de l'instance cantonale de recours, dès lors qu'il y va de l'application du droit constitutionnel fédéral ou cantonal. Il contrôle ainsi librement si l'autorité judiciaire cantonale a respecté la latitude de jugement découlant de l'autonomie communale (arrêt 1C_92/2015 du 18 novembre 2015 consid. 3.1.3 et les arrêts cités; <ref-ruling> consid. 2 p. 397).
2.3. En droit vaudois, un projet de construction peut être interdit sur la base de l'art. 86 LATC quand bien même il satisferait à toutes les autres dispositions cantonales et communales en matière de police des constructions. En effet, à teneur de l'art. 86 al. 1 LATC, la Municipalité veille à ce que les constructions, quelle que soit leur destination, ainsi que les aménagements qui leur sont liés, présentent un aspect architectural satisfaisant et s'intègrent à l'environnement. Elle refuse le permis pour les constructions ou les démolitions susceptibles de compromettre l'aspect et le caractère d'un site, d'une localité, d'un quartier ou d'une rue, ou de nuire à l'aspect d'un édifice de valeur historique, artistique ou culturelle (art. 86 al. 2 LATC). L'alinéa 3 de cette disposition prévoit que les règlements communaux doivent contenir des dispositions en vue d'éviter l'enlaidissement des localités et de leurs abords.
Selon la jurisprudence, l'application d'une clause d'esthétique ne doit cependant pas aboutir à ce que, de façon générale, la réglementation sur les zones en vigueur soit vidée de sa substance. Une intervention des autorités dans le cas de la construction d'un immeuble réglementaire qui ne serait pas en harmonie avec les bâtiments existants, ne peut s'inscrire que dans la ligne tracée par la loi elle-même et par les règlements communaux, qui définissent en premier lieu l'orientation que doit suivre le développement des localités. Ainsi, lorsqu'un plan de zones prévoit que des constructions d'un certain volume peuvent être édifiées dans tel secteur du territoire, une interdiction de construire fondée sur l'art. 86 LATC ne peut se justifier que par un intérêt public prépondérant. Il faut que l'utilisation des possibilités de construire réglementaires apparaisse déraisonnable (<ref-ruling> consid. 3d p. 119; 363 consid. 3a p. 366/367; 370 consid. 5 p. 377; <ref-ruling> consid. 6c p. 222 s.).
2.4. Dans la commune de Lausanne, à teneur de l'art. 69 al. 1 du règlement communal, les constructions, transformations ou démolitions susceptibles de compromettre l'aspect et le caractère d'un quartier, d'un site, d'une place ou d'une rue, ou de nuire à l'aspect d'un édifice de valeur historique, culturel ou architectural sont interdites. L'alinéa 2 de cette disposition prévoit que les constructions, quelle que soit leur destination, ainsi que les aménagements qui leur sont liés doivent présenter un aspect architectural satisfaisant et s'intégrer à l'environnement.
Selon l'art. 73 al. 1 du règlement communal, la direction des travaux tient à disposition la liste des bâtiments, des objets, des sites et des ensembles figurant au recensement architectural, au recensement des jardins d'intérêt historique et au recensement des ensembles bâtis. Tous travaux les concernant font l'objet d'un préavis du délégué communal à la protection du patrimoine bâti précisant ses déterminations (al. 2). Sur la base de ce préavis, la Municipalité peut imposer des restrictions au droit de bâtir et interdire les constructions, transformations ou démolitions (al. 3). Elle peut, également, lorsqu'un ensemble bâti est identifié et qu'il s'agit, notamment, d'éviter une rupture du tissu bâti existant, préserver la volumétrie générale d'ensemble, le rythme du parcellaire, la composition verticale et horizontale des façades, les formes de toiture, ainsi que les aménagements des espaces libres (al. 4).
2.5. L'attribution d'une note 4 au recensement architectural s'opère, selon le Service cantonal des monuments et sites, lorsque "le bâtiment est bien intégré par son volume, sa composition et souvent sa fonction, et participant à la définition de l'identité de la localité". Un tel objet ne possède ni la qualité architecturale ni l'authenticité justifiant l'intervention de la Section des monuments et sites (SIPAL). Il nécessite néanmoins un traitement approprié et soigné afin de préserver l'image du site. Sa sauvegarde et sa mise en valeur doivent être garanties dans le cadre de la planification communale.
Selon la jurisprudence cantonale, la note 4 a un caractère purement indicatif et informatif; elle ne constitue pas une mesure de protection. Elle est en revanche un élément d'appréciation important pour les autorités chargées de l'aménagement du territoire, notamment dans la procédure de permis de construire, lorsque ces autorités appliquent les règles concernant l'intégration et l'esthétique des constructions.
S'agissant de la commune de Lausanne, une convention relative à la coordination et à la répartition des tâches en matière de préavis et d'autorisations concernant le patrimoine bâti a été signée les 2 et 30 juillet 2010 entre l'Etat de Vaud et la Ville de Lausanne. Selon le site Internet communal, les objets ayant reçu une note 4 sont de la compétence de la Déléguée à la protection du patrimoine bâti.
2.6. En l'occurrence, il n'est pas contesté que l'attribution de la note 4 à la villa litigieuse selon le recensement architectural cantonal n'empêche pas sa démolition, selon la jurisprudence cantonale. Le litige porte sur le point de savoir si, en considérant que la Municipalité avait abusé de sa marge d'appréciation en refusant le permis de démolir et de construire litigieux pour des motifs liés à l'esthétique, la cour cantonale a violé l'autonomie communale. Afin de déterminer si l'instance de recours peut substituer sa propre appréciation à celle des autorités communales, il y a lieu d'examiner si la décision communale repose sur une appréciation insoutenable des circonstances pertinentes ou contrevient au droit supérieur. En d'autres termes, il s'agit de savoir si la commune, en appliquant l'art. 86 LATC et le droit communal y relatif, a procédé à une appréciation soutenable des circonstances pertinentes.
2.6.1. Pour refuser le permis litigieux, la Municipalité s'est fondée sur les préavis négatifs de son Service d'architecture et de la Déléguée à la Protection du patrimoine bâti. Elle a d'abord exposé que le bâtiment existant qui avait reçu une note 4 au recensement architectural du canton de Vaud devait être conservé en raison du contexte urbain, de ses qualités architecturales et de l'importance de la substance encore présente à l'intérieur. Elle a ajouté qu'il était situé dans un environnement bâti où de nombreux objets figurent au recensement architectural précité avec une note 3 (objets d'importance locale) ou 4 (bien intégrés); de plus, plusieurs groupes de jardins figuraient au recensement ICOMOS (Conseil international des monuments et des sites) des parcs et jardins historiques de la Suisse, également avec des notes 3 et 4. La Municipalité a encore précisé qu'à ce jour, les études conduites dans le cadre du Plan directeur communal (PDCom) avaient mis en évidence l'importance de la conservation de l'identité des quartiers, éléments repris dans le PDCom en cours d'élaboration.
L'autorité communale a ensuite étudié le projet de construction tendant à remplacer la villa Orange. Elle a mis en avant des motifs liés aux aspects urbanistiques (intégration architecturale et urbaine). Elle a relevé que l'implantation telle que proposée réduisait les espaces extérieurs à des surfaces résiduelles, difficilement appropriables et sans qualité spatiale; en effet, la concentration excessive d'appartements, desservis par une cage d'escalier borgne, n'offrait aucune plus-value en termes de qualité architecturale et d'espace convivial; par ailleurs, la façade sud ne proposait aucun balcon ou espace extérieur; enfin, l'environnement arborisé et les typologies des murs d'enceinte ou de soutènement en pierre qui faisaient la qualité architecturale du quartier étaient totalement supprimés, ce qui péjorait grandement le rapport du bâti à la rue et la qualité du quartier dans un voisinage déjà dense.
2.6.2. Le Tribunal cantonal a jugé que la Municipalité avait abusé de son pouvoir d'appréciation en refusant d'accorder le permis de construire en application des art. 86 LATC et 69 RPGA sur la base de la seule clause d'esthétique; cela revenait, en l'absence d'un intérêt public prépondérant, à vider de sa substance la réglementation de la zone en vigueur d'une manière imprévisible pour le propriétaire.
S'agissant de la démolition de la villa Orange, l'instance précédente a considéré que les quelques qualités architecturales de la maison ne justifiaient pas sa conservation; même si la maison contenait effectivement encore de nombreux éléments datant de l'époque à laquelle elle a été construite, peu présentaient un intérêt particulier; étaient ainsi intéressants les pilastres en fonte et fers forgés qui supportent les poteaux du balcon du premier étage, ainsi que, à l'intérieur, quelques éléments de serrurerie; pour le reste, la toiture n'était pas particulièrement harmonieuse avec ses pans coupés dont la partie supérieure était recouverte de placage métallique. Ce faisant, le Tribunal cantonal a simplement procédé à une pondération des intérêts différente de celle opérée par la Municipalité; en particulier, il n'a pas accordé d'importance à la note 4 obtenue par le bâtiment litigieux au recensement architectural, ce qui représente un élément d'appréciation important, selon la jurisprudence cantonale.
Quant au bâtiment projeté, la cour cantonale a considéré qu'il ne pouvait être refusé en raison de son implantation. A cet égard, elle a estimé que le quartier ne présentait pas une identité, puisqu'il était constitué de constructions hétéroclites. Partant, la cour cantonale a à nouveau apprécié différemment les éléments et n'a pas accordé beaucoup de poids au fait que plusieurs bâtiments sis le long de l'avenue de France et alentour avaient reçu des notes 3 et 4 au recensement architectural et des groupes de jardins, des notes 3 et 4 au recensement ICOMOS. Le périmètre dans lequel se trouve le bâtiment litigieux figure d'ailleurs à l'inventaire fédéral des sites construits d'importance nationale à protéger en Suisse (ISOS) avec un objectif de sauvegarde B.
S'agissant de l' architecture du bâtiment projeté, la cour cantonale s'est à nouveau écartée de l'importance donnée par la commune à la situation des entrées des bâtiments et des balcons dans le quartier, au motif que l'architecte avait expliqué de manière sensée le choix de l'entrée par l'ouest et le fait qu'il n'y avait pas de balcons au sud. Pour répondre au motif de la Municipalité selon lequel l'environnement arborisé et les typologies de murs d'enceinte ou de soutènement en pierre - qui font la qualité architecturale du quartier - étaient totalement supprimés, le Tribunal cantonal s'est borné à mentionner que tous les immeubles du quartier n'avaient pas de murs d'enceinte ou de soutènement en pierre. Pour le reste, le Tribunal cantonal ne s'est pas prononcé sur les nombreux autres arguments exposés par le Service d'architecture de la Ville de Lausanne. En particulier il n'a pas pris position sur l'appréciation municipale selon laquelle le projet de construction entraînait une sur-densification uniquement quantitative avec une péjoration du qualitatif, tant des logements que du quartier. Il ne s'est pas non plus déterminé sur le fait que l'implantation réglementaire - exploitant au maximum les possibilités du plan général d'affection - réduisait les espaces extérieurs à des surfaces résiduelles, difficilement appropriables et sans qualité spatiale; au sud, le jardin actuel était remplacé par une surface bitumineuse pour parquer les deux roues et accéder à une entrée de parking; à l'est, la bande résiduelle de 6 mètres aux limites proposait un espace vert et des jeux à l'ombre de l'immeuble voisin.
Les juges cantonaux n'ont pas non plus expliqué pourquoi ils s'écartaient de l'appréciation communale selon laquelle la concentration excessive d'appartements, desservis par une cage d'escalier borgne n'offrait, à l'exception de l'attique, aucune plus-value en terme de qualité spatiale; les appartements étaient en majorité de petites tailles et pas destinés aux familles, pourtant dans un quartier qui s'y prête bien.
L'instance précédente a encore considéré que la Municipalité avait abusé de son pouvoir d'appréciation en refusant d'accorder le permis de construire sollicité au motif que le volume présentait un caractère étranger au quartier. A cet égard, elle a avancé au contraire que l'environnement immédiat était constitué de parcelles densément construites et que la Municipalité avait autorisé la surélévation de deux étages d'un bâtiment voisin qui atteindra une altitude de 531,56 m alors que le bâtiment projeté litigieux se situera à une altitude de 525,97 m. Si l'instance précédente a toutefois relevé que le bâtiment projeté présentera une surface brute utile de plancher presque quatre fois supérieure à la surface actuelle, elle passe sous silence que cet immeuble n'est pas inscrit au recensement architectural.
Le Tribunal cantonal ajoute par ailleurs que la solution aurait pu être différente si la commune avait, en application de l'art. 47 al. 2 ch. 2 LATC, adopté des dispositions spécifiques relatives "aux ensembles ou aux bâtiments méritant protection" comme d'autres communes y ont procédé de manière efficace. L'art. 69 al. 1 du règlement communal prévoit cependant que les constructions et démolitions susceptibles de compromettre l'aspect et le caractère d'un quartier ou d'une rue ou de nuire à l'aspect d'un édifice de valeur historique, culturel ou architectural sont interdites; l'alinéa 2 de cette disposition précise que les constructions ainsi que les aménagements qui leur sont liés doivent présenter un aspect architectural satisfaisant et s'intégrer à l'environnement. Selon l'art. 73 RPGA enfin, tous les travaux concernant les bâtiment figurant au recensement font l'objet d'un préavis du Délégué communal à la protection du patrimoine bâti précisant ses déterminations. L'alinéa 3 permet à la Municipalité d'imposer des restrictions au droit de bâtir et d'interdire les constructions ou démolitions, sur la base de ce préavis. L'appréciation de la commune repose ainsi sur une base réglementaire suffisante.
2.7. Au vu de ce qui précède, il faut constater que la cour cantonale a substitué sa propre appréciation des circonstances de l'espèce à celle de la Municipalité, dans un domaine - l'esthétique d'un projet - où celle-ci dispose d'une large marge de manoeuvre (cf. consid. 2.2 ci-dessus). Les juges cantonaux ont procédé à une appréciation des circonstances locales différente de celle de l'autorité communale. Ce faisant, la cour cantonale n'a pas respecté la latitude de jugement découlant de l'autonomie dont dispose la commune dans l'évaluation de l'esthétique d'un projet de construction et, par voie de conséquence, a outrepassé son pouvoir d'examen.
En d'autres termes, c'est en violation de l'art. 50 Cst. que le Tribunal cantonal s'est écarté de la décision rendue par la recourante dans un domaine dans lequel celle-ci bénéficie d'un large pouvoir d'appréciation. Le grief de violation de l'autonomie communale développé par la commune recourante est ainsi fondé.
3.
Il s'ensuit que le recours est admis et l'arrêt attaqué annulé. La décision de la Municipalité du 20 mai 2015 est confirmée.
L'intimée, qui succombe, supportera les frais judiciaires (<ref-law>). Elle versera en outre des dépens aux opposants, qui obtiennent gain de cause avec l'aide d'un avocat (<ref-law>). La Municipalité de Lausanne, qui a agi dans l'exercice de ses attributions officielles, n'a en revanche pas droit à des dépens (<ref-law>). La cause est renvoyée au Tribunal cantonal pour qu'il procède à une nouvelle répartition des frais et dépens de la procédure qui s'est déroulée devant lui (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis et l'arrêt attaqué annulé. La décision de la Municipalité du 20 mai 2015 est confirmée.
2.
Les frais judiciaires, arrêtés à 3'000 francs, sont mis à la charge de l'intimée.
3.
L'intimée versera aux opposants la somme de 2'500 francs à titre de dépens.
4.
La cause est renvoyée au Tribunal cantonal pour nouvelle décision sur les frais et dépens de la procédure devant lui.
5.
Le présent arrêt est communiqué aux mandataires de la commune de Lausanne, de l'intimée et des opposants, au Service Immeubles, Patrimoine et Logistique du canton de Vaud ainsi qu'à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Lausanne, le 30 mai 2017
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Merkli
La Greffière : Tornay Schaller