Citation: 1C_452/2016 E.

Agissant par la voie du recours en matière de droit public, B.________ et A.________ demandent principalement au Tribunal fédéral de réformer l'arrêt attaqué en ce sens que les recours formés en première instance sont rejetés; subsidiairement, ils concluent à l'annulation de l'arrêt entrepris et au renvoi de la cause à l'instance précédente pour nouvelle décision dans le sens des considérants. Le Tribunal cantonal a renoncé à déposer une réponse et se réfère aux considérants de son arrêt. Le Service des communes et du logement, constatant que les questions liées à l'application de la LDTR n'étaient plus en cause, a renoncé à se déterminer. Le Service immeubles patrimoine et logistique n'a quant à lui pas formulé d'observations. La Municipalité de Lausanne s'en remet à justice, s'étonnant néanmoins de la liberté prise par la cour cantonale en matière d'application de la clause d'esthétique. Les intimés, par leurs conseils respectifs, concluent au rejet du recours. Au terme d'un ultime échange d'écritures, les parties ont maintenu leurs conclusions respectives.