Faits : A. B._ et A._ (ci-après: les constructeurs) sont propriétaires de la parcelle n oeee de la Commune de Lausanne, colloquée dans la zone mixte de moyenne densité au sens des art. 111 ss du règlement du plan général d'affectation de la Commune de Lausanne, entré en vigueur le 26 juin 2006 (ci-après: RPGA). Sis au chemin F.F._, ce bien-fonds, d'une surface de 701 m 2, supporte une villa locative avec garage portant le nom de "G.G._"; celle-ci est divisée en trois appartements, soit un 3 pièces et deux 5 pièces. Construite dans les années quarante par l'architecte René Gonin, elle est entourée d'un jardin arborisé enclos par un muret. Elle ne fait l'objet d'aucune mesure de recensement ou de classement cantonal; elle s'intègre en revanche dans un périmètre figurant à l'inventaire fédéral des sites construits d'importance nationale à protéger en Suisse (ci-après: ISOS), auquel l'objectif de sauvegarde "A" est attribué. B. Le 9 février 2010, en vue de la rénovation ou de la démolition-reconstruction de leur villa locative, les constructeurs ont contacté de manière informelle le service cantonal compétent pour l'application de la loi du 4 mars 1985 concernant la démolition, la transformation et la rénovation de maisons d'habitation, ainsi que l'utilisation de logements à d'autres fins que l'habitation (LDTR; RS/VD 840.15) afin d'obtenir un préavis à ce sujet. Le 14 août 2012, un certain nombre d'habitants du quartier dans lequel se situe la parcelle n oeee, soit Q._, P._, S._ et R._ ont demandé à la Déléguée à la protection du patrimoine bâti de la Ville de Lausanne de mettre sous protection le secteur Moléson/Gottettaz, faisant notamment valoir que ce dernier présenterait un patrimoine bâti de qualité, témoin intéressant de l'urbanisation des années 1930 à 1940. Le secteur en question se situe sur le versant sud du plateau de Béthusy, au sud de l'avenue de Béthusy, à l'est du chemin du Levant et de part et d'autre du chemin du Moléson; il renferme plusieurs bâtiments recensés, à savoir une maison de maître et ses deux garages (parcelle n o iii), ainsi qu'une maison de campagne (parcelle n o jjj) auxquelles la note *4* a été attribuée, de même qu'une maison locative et le garage attenant (parcelle n o kkk) recensés en note *3*, respectivement *4*. Par courrier du 10 septembre 2012, la déléguée à la protection du patrimoine bâti leur a répondu que leur demande allait dans le sens des préoccupations du Service d'urbanisme de la Commune de Lausanne (ci-après: le service d'urbanisme) relatives au secteur en question et qu'elle serait traitée dans le cadre de l'étude "patrimoine" de la révision du plan directeur communal. C. Le 1 er octobre 2012, B._ et A._ ont adressé une demande de permis de construire et un dossier d'enquête à la Direction des travaux de la Commune de Lausanne (ci-après: la direction des travaux) portant sur la démolition de leur villa locative et la construction d'un immeuble locatif de neuf appartements comprenant un parking souterrain de neuf places. Le projet prévoit en particulier la construction d'un bâtiment de quatre niveaux coiffé d'un toit plat avec une hauteur de 11,20 m. Occupant la plus grande partie de la parcelle, la construction projetée avec son garage souterrain implique la disparition de la quasi-totalité du jardin et des murets séparant la propriété du domaine public. Après quelques modifications portant sur la conformité du projet à la LDTR, celui-ci a été mis à l'enquête publique du 4 juin au 4 juillet 2013. Plusieurs oppositions, dont celles de soixante-et-un propriétaires, respectivement habitants du quartier, ont été déposées. Les opposants se prévalaient notamment de la procédure de plan partiel d'affectation déjà initiée, expliquant que le projet litigieux introduirait un élément discordant dans la typologie du quartier en cause, en totale opposition avec le caractère homogène des autres constructions. Ils demandaient également à la Municipalité de Lausanne d'établir un plan partiel d'affectation de quartier, tendant à préserver les caractéristiques du secteur. Par courrier du 7 janvier 2014, la municipalité a notamment indiqué aux intéressés ne pas avoir l'intention de lier la demande d'ouverture d'une procédure de plan de quartier à la procédure d'autorisation de construire concernant la parcelle n oeee, mais d'envisager de la traiter de manière indépendante. Elle indiquait par ailleurs qu'en raison de l'ampleur de la tâche, il n'était plus envisagé d'identifier dans le cadre de la révision du plan directeur communal les secteurs à protéger, raison pour laquelle l'intérêt à préserver l'ensemble bâti du quartier de la Gottettaz n'était pas encore démontré; elle avait partant décidé d'ouvrir une procédure de plan de quartier en réservant toutefois la mise sous protection du secteur aux résultats d'une étude patrimoniale, qui devrait être pilotée par le service de l'urbanisme. Le choix du mandataire chargé de cet étude devrait de plus être confirmé par la déléguée communale à la protection du patrimoine bâti. Sur proposition du comité de riverains constitué dans le cadre de cette procédure, l'étude patrimoniale a été confiée à l'historienne en architecture C.C._. Le 15 septembre 2014, la Centrale des autorisations en matière d'autorisations de construire (CAMAC) a transmis à la direction des travaux sa synthèse concernant le projet litigieux. En substance, les différentes autorisations spéciales étaient octroyées, sous réserve du respect de certaines conditions impératives relatives notamment au contrôle administratif des loyers d'une durée de dix ans en application de la LDTR. Le 29 janvier 2015, le comité de riverains a communiqué au service de l'urbanisme le rapport établi en janvier 2015 par C.C._; ledit service en a accusé réception le 9 février 2015. Au chapitre des conclusions, le rapport d'expertise indique notamment ce qui suit: "Le quartier se développe donc en quatre phases - les principales ayant lieu en 1913 et durant l'entre-deux-guerres - suivant un parcellaire établi en 1913 et certaines restrictions imposées à cette époque. Plusieurs types d'habitations (villas, villas locatives et deux immeubles d'habitation) y voient le jour. Malgré la relative diversité typologique et stylistique du bâti qui résulte de cette urbanisation progressive, plusieurs éléments contribuent à donner au secteur une certaine unité: en premier lieu, les villas y sont largement majoritaires et possèdent des gabarits similaires. Munies de toits à pans couverts en tuiles, elles présentent souvent des variantes du style régionaliste. Elles sont l'oeuvre d'architectes divers, mais l'un d'entre eux, René Bonnard, se démarque par son activité prépondérante: il est non seulement probablement l'auteur, avec son associé Jean Picot, du plan de parcellement de 1913, mais aussi, de manière certaine, de sept bâtiments du quartier. Ces réalisations qui s'étendent de 1913 à 1933 forment un ensemble intéressant, au travers duquel on peut suivre les différentes phases stylistiques traversées par cet architecte dans le domaine de la construction privée. René Bonnard, qui est une figure importante de l'architecture lausannoise d'avant et surtout d'entre-deux-guerres, était d'ailleurs lié personnellement à cette partie de la ville (il est propriétaire et habite au chemin du Levant), ce qui explique sans doute son implication dans le développement du plateau de Béthusy et particulièrement du secteur de la Gottettaz. L'aménagement de l'espace non bâti contribue également à donner une certaine unité et une identité propre au quartier, sans parler de son apport pour la qualité de vie : les jardins privés y ont une place importante, bien perceptible depuis l'espace public, qui est lui-même doté d'un parc. Enfin, la présence généralisée de murets bordant les propriétés, encore parfois d'origine, contribue également à donner un aspect d'ensemble au quartier. Ces divers éléments devraient être pris en compte dans le cadre de toute opération de reconstruction ou de transformation importante touchant les bâtiments du secteur". Lors de sa séance 26 février 2015, la municipalité a pris la décision d'octroyer, sous réserve de certaines charges et conditions, le permis de construire et de lever les oppositions. D. Par acte du 13 mai 2015, C._, D._, E._ et F._, H._, I._, J._, K.L._, L.L._, N._, O._, G._ SA, ainsi que M._ SA ont recouru auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud contre la décision levant leur opposition et délivrant le permis de construire ainsi que contre les autorisations spéciales liées à ce projet. Par acte séparé du même jour, P._, Q._, R._, T.U._, U.U._, V._, W._, X._, X.A._, Y._, Z._, A.A._ et B.B._, ont également recouru auprès de la Cour de droit administratif et public du Tribunal cantonal. Par arrêt du 17 août 2016, la cour cantonale a admis les recours formés contre les décisions municipales octroyant le permis de construire et levant les oppositions; elle a partant déclaré sans objet les recours en tant qu'ils étaient dirigés contre les autorisations spéciales. Après avoir tenu audience sur place, le 8 juin 2016, le Tribunal cantonal a en substance considéré, se fondant sur la clause d'esthétique, que le projet débattu, de par sa forme, son volume et son implantation, ne s'intégrait pas dans le quartier en cause, lequel présentait un intérêt patrimonial digne de protection. E. Agissant par la voie du recours en matière de droit public, B._ et A._ demandent principalement au Tribunal fédéral de réformer l'arrêt attaqué en ce sens que les recours formés en première instance sont rejetés; subsidiairement, ils concluent à l'annulation de l'arrêt entrepris et au renvoi de la cause à l'instance précédente pour nouvelle décision dans le sens des considérants. Le Tribunal cantonal a renoncé à déposer une réponse et se réfère aux considérants de son arrêt. Le Service des communes et du logement, constatant que les questions liées à l'application de la LDTR n'étaient plus en cause, a renoncé à se déterminer. Le Service immeubles patrimoine et logistique n'a quant à lui pas formulé d'observations. La Municipalité de Lausanne s'en remet à justice, s'étonnant néanmoins de la liberté prise par la cour cantonale en matière d'application de la clause d'esthétique. Les intimés, par leurs conseils respectifs, concluent au rejet du recours. Au terme d'un ultime échange d'écritures, les parties ont maintenu leurs conclusions respectives.