Faits :
A.
La parcelle n o 707 du registre foncier sur le territoire de la Commune de Prilly est classée en zone de villas selon le plan général d'affectation communal et son règlement (ci-après: RPE), approuvé par le Conseil d'Etat du canton de Vaud le 15 décembre 1951. Elle se situe au nord d'un secteur de zone de villas largement construit, comportant une soixantaine de maisons. Elle est bordée sur deux côtés par des voies publiques (route des Flumeaux, chemin de Bel-Orne). De l'autre côté de la route des Flumeaux s'étend une zone d'habitation plus dense ainsi qu'une zone d'utilité publique pour des installations scolaires (collège du Grand-Pré). Un pavillon scolaire (pavillon de Bel-Orme; deux classes enfantines) se trouve par ailleurs à une cinquantaine de mètres au sud de cette parcelle.
D'une surface de 1'215 m2, la parcelle n o 707 supporte deux bâtiments d'habitation de 93 m2 (ECA n o 765) et de 211 m2 (ECA n o 1810) respectivement. Une propriété par étages, répartie en 4 lots (n os 1564, 1565, 1566 et 1567) y a été constituée. La part n° 1564 porte sur le bâtiment ECA n° 765. Elle appartient, en copropriété simple, à A._ et consorts. Les trois autres lots (bâtiment ECA n o 1810) appartiennent à des tiers.
B.
Le bâtiment n o 765 est composé de 4 logements répartis comme il suit: un appartement de 3.5 pièces au rez inférieur, un appartement de 2.5 pièces (2 chambres et cuisine) au rez-de-chaussée, un appartement de 2.5 pièces au 1 er étage et un studio dans les combles. Ces quatre logements abritent des salons, ou salons de massage, à savoir des lieux où s'exerce la prostitution de salon (cf. art. 8 ss de la loi du 30 mars 2004 sur l'exercice de la prostitution [LPros; RS/VD 943.05])
Cette activité y est pratiquée, à tout le moins, depuis 2011. Le 30 septembre 2011, la Municipalité de Prilly écrivait en effet à l'ancien propriétaire pour lui signaler plusieurs défauts d'entretien; elle rappelait par ailleurs que le changement d'affectation des logements en salons n'avait pas été autorisé et enjoignait le propriétaire d'alors de déposer une demande d'autorisation. Celui-ci avait répondu le 7 novembre 2011 en indiquant qu'il souhaitait rénover entièrement son bâtiment et mettre un terme à l'activité des salons de massage.
Le 22 mars 2012, un propriétaire du bâtiment voisin n o 1810 s'était adressé à la municipalité pour se plaindre de l'activité liée à l'exploitation de salons de massage dans le bâtiment n o 765 (bruit lié aux mouvements de véhicules, notamment). Le 3 avril 2012, la municipalité avait une nouvelle fois interpellé l'ancien propriétaire du bâtiment n° 765 afin qu'il dépose une demande de permis de construire pour la rénovation du bâtiment. Elle rappelait que l'affectation aux salons de massage n'était pas autorisée; elle lui fixait un délai au 4 mai 2012 pour régulariser la situation.
Le 9 septembre 2013, une permis de construire pour la rénovation totale du bâtiment n o 765 a été octroyé par la municipalité. L'immeuble ayant dans l'intervalle été vendu, cette autorisation a été délivrée au nom des nouveaux propriétaires, A._ et consorts. En mars 2014, le municipalité a interpelé les prénommés afin de connaître leurs intentions exposant notamment ce qui suit: "comme vous le savez, l'occupation actuelle [salons de massages] du bâtiment des Flumeaux 21 (bâtiment n o 765) génère plusieurs désagréments pour le voisinage. Cette situation délicate ne pouvant être envisagée sur le long terme, [le précédent propriétaire] avait déposé une demande de permis de construire pour transformer les locaux en logements".
Après l'acquisition de l'immeuble, les propriétaires actuels ont conclu de nouveaux baux à loyer pour chacun des quatre logements. Les loyers ont été fixés à 1'200 fr. pour le studio, 2'000 fr. pour les appartements de 2.5 pièces et 2'500 fr. pour l'appartement de 3.5 pièces. Les contrats stipulent que l'usage des locaux est exclusivement destiné à l'habitation et bureau, à l'exclusion de toutes autres activités.
C.
Au printemps 2014, le Service de la promotion économique et du commerce, Police cantonale du commerce (ci-après: SPECo), s'est adressé à la municipalité afin de savoir si l'affectation du bâtiment n o 765 aux salons de massage avait été autorisée. La municipalité a répondu le 7 mai 2014 qu'aucune autorisation n'avait été délivrée ni demandée, que ce ce soit par l'ancien ou les actuels propriétaires; elle précisait avoir pris connaissance de la présence de salons à la suite de plaintes du voisinage.
Le 11 septembre 2014, la Commission de salubrité de la Commune de Prilly a procédé à une visite du bâtiment n o 765. Elle a constaté que l'intérieur du bâtiment n'avait pas subi de modifications depuis 2011, sous réserve, et en résumé, de l'installation de parois provisoires en aggloméré, dans certaines pièces, afin d'obtenir deux espaces distincts. Les locaux présentaient par ailleurs des défauts d'entretien, notamment pour les installations électriques.
Le 7 octobre 2014, la municipalité a une nouvelle fois confirmé au SPECo que le bâtiment n° 765 était destiné au logement et qu'elle n'avait pas autorisé l'affectation de salons de massage. Elle n'envisageait pas d'autoriser un changement d'affectation du bâtiment sis sur une parcelle colloquée en zone de villas.
Le 23 janvier 2015, Le SPECo a informé A._ que, dès lors que l'exploitation de salons de massage n'était pas autorisée, il allait en ordonner la fermeture.
D.
Le 28 avril 2015, A._ et consorts ont déposé, auprès de la commune, une demande de permis de construire portant sur le changement d'affectation de leur bâtiment en "logement commercial [salon de massages]" et sur la création de deux fenêtres. Simultanément, ils ont formulé, devant le Service des communes et du logement, Division logement (ci-après: SCL), une demande d'autorisation fondée sur l'ancienne loi du 4 mars 1985 concernant la démolition, la transformation et la rénovation de maisons d'habitation, ainsi que l'utilisation de logements à d'autres fins que l'habitation (LDTR), abrogée et remplacée par la loi sur la préservation et la promotion du parc locatif du 10 mai 2016 (LPPPL; RS/VD 840.15), entrée en vigueur le 1 er janvier 2018.
Ces demandes ont été conjointement mises à l'enquête publique du 9 janvier au 7 février 2016. Elles ont suscité 24 oppositions, essentiellement de voisins, dont B._ et consorts, tous représentés par B._, également opposante. L'association de quartier "C._ " s'est également opposée au projet.
Le 21 novembre 2016, la Municipalité de Prilly a adressé au SCL un préavis favorable pour la demande d'affectation au motif qu'elle ne souhaitait pas "augmenter la précarité des professionnelles du sexe en les renvoyant à la rue et que le bâtiment avait une faible valeur locative".
Par décision du 17 mai 2017, figurant dans la synthèse CAMAC du 23 mai 2017, le SCL a refusé de délivrer l'autorisation d'utiliser l'immeuble à d'autres fins que l'habitation. Il ordonnait la réaffectation de l'immeuble au logement, dans les plus brefs délais; le service cantonal soumettait, par ailleurs et en substance, la conclusion de nouveaux contrats de location à un contrôle des loyers. Le 5 septembre 2017, la municipalité a notifié aux propriétaires ainsi qu'aux locataires sa décision du refus du permis de construire. Elle se référait au refus du SCL et à l'ordre de réaffecter le bâtiment au logement.
Par acte du 6 octobre 2017, A._ et consorts ont recouru contre ces décisions devant la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Par arrêt du 15 novembre 2018, la cour cantonale a partiellement admis le recours. Elle a en substance considéré qu'il était contraire à la législation cantonale d'instaurer, dans le cas particulier, un contrôle des loyers. Elle a annulé la décision du SCL dans cette mesure; elle l'a confirmée pour le surplus, en particulier en tant qu'elle refuse de régulariser l'affectation en salons de massage et ordonne la réaffectation de l'immeuble en quatre appartements "standards". Le Tribunal cantonal a de même confirmé la décision de la commune du 5 septembre 2017.
E.
Agissant par la voie du recours en matière de droit public, A._ et consorts demandent principalement au Tribunal fédéral de réformer l'arrêt attaqué en ce sens que la décision municipale du 5 septembre 2017 et la décision du SCL du 17 mai 2017 sont annulées; le permis de construire et la décision spéciale prescrite par la LDTR sont délivrées aux recourants. Le Chiffre III du dispositif de l'arrêt attaqué (annulation du contrôle des loyers) est confirmé. Subsidiairement, ils concluent à l'annulation des chiffres II, IV et V du dispositif de l'arrêt attaqué (refus du changement d'affectation et mise à charge des frais et dépens cantonaux) et au renvoi de la cause à l'instance précédente pour nouvelle décision dans le sens des considérants.
Le Tribunal cantonal renonce à se déterminer et se réfère aux considérants de son arrêt. La municipalité conclut au rejet du recours. Bien que dûment interpellés, les intimés ne se sont pas déterminés. Les recourants ont répliqué, persistant dans leurs conclusions.

Considérant en droit :
1.
Dirigé contre une décision prise en dernière instance cantonale en matière de police des constructions, le recours est en principe recevable comme recours en matière de droit public conformément aux <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Les recourants ont pris part à la procédure de recours devant l'autorité cantonale; en tant que propriétaires du bâtiment dont le changement d'affectation requis a été refusé, ils sont particulièrement touchés par l'arrêt attaqué qui confirme les décisions de la commune et du SCL rendues sur ce point. Ils bénéficient donc de la qualité pour recourir au sens de l'<ref-law>. Les autres conditions de recevabilité étant au surplus réunies, il convient d'entrer en matière.
2.
Le mémoire de recours doit contenir les conclusions et les motifs à l'appui de celles-ci (<ref-law>). Les motifs doivent exposer succinctement en quoi l'acte attaqué viole le droit (<ref-law>). Pour satisfaire à cette exigence, la partie recourante doit discuter les motifs de la décision entreprise et indiquer précisément en quoi elle estime que l'autorité précédente a méconnu le droit; il doit exister un lien entre la motivation du recours et la décision litigieuse (arrêt 1C_273/2012 du 7 novembre 2012 consid. 2.3 non publié in <ref-ruling>; cf. FLORENCE AUBRY GIRARDIN, Commentaire de la LTF, 2 e éd. 2014, n. 30 ad <ref-law>). Il faut encore qu'à la lecture du recours on comprenne clairement quelles règles de droit auraient été transgressées par l'autorité cantonale (<ref-ruling> consid. 2 p. 89 et les références).
Les griefs de violation des droits fondamentaux et des dispositions de droit cantonal - que le Tribunal fédéral ne revoit que sous l'angle de l'arbitraire (art. 9 Cst.; cf. <ref-ruling> consid. 1.2 p. 145) - sont en outre soumis à des exigences de motivation accrues (<ref-law>). La partie recourante doit alors indiquer les principes constitutionnels qui n'auraient pas été respectés et expliquer de manière claire et précise en quoi ces principes auraient été violés; de même, elle doit citer les dispositions du droit cantonal dont elle se prévaut et démontrer en quoi celles-ci auraient été appliquées arbitrairement ou d'une autre manière contraire au droit (cf. <ref-ruling> consid. 2.8 p. 494; <ref-ruling> consid. 1.4).
3.
Examinant la conformité du changement d'affectation requis à la zone de villas, la cour cantonale a considéré que l'exploitation de salons de massage portait préjudice à l'habitation et compromettait le caractère résidentiel du quartier. L'enquête publique avait suscité 25 oppositions, ce qui démontrait que les habitants ressentaient une gêne ou subissaient des atteintes à leur bien-être. Des nuisances sonores occasionnées par les clients des salons avaient du reste été invoquées. L'instance précédente relevait également la présence de bâtiments scolaires à proximité. Elle a estimé que ces différents éléments étaient propres à justifier une interprétation stricte de l'art. 57 RPE, qui définissait la destination principale de la zone, à savoir l'habitation, faisant de l'implantation d'activités économiques l'exception. Elle a par conséquent confirmé le refus d'autorisation et l'ordre de revenir à une affectation de logement.
Selon les recourants, cette appréciation procéderait d'une application arbitraire de l'art. 57 RPE. Ils soutiennent par ailleurs, en lien avec cette disposition, que le refus de changement d'affectation, respectivement l'ordre de revenir à l'affectation de logement, violerait leur liberté économique (art. 27 al. 1 Cst.); cette mesure ne permettrait pas d'atteindre le but d'intérêt public poursuivi par la municipalité, à savoir - comme l'identifient du reste les recourants - "l'ordre et la sécurité publique principalement".
3.1. Définissant la zone de villas, l'art. 57 RPE dispose que celle-ci est destinée aux villas. Des établissements artisanaux ou commerciaux peuvent exceptionnellement y être autorisés, pour autant qu'ils ne portent pas préjudice à l'habitation ou qu'ils ne compromettent pas le caractère du quartier.
Appelé à revoir l'application d'une norme cantonale ou communale sous l'angle de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue que si celle-ci apparaît insoutenable ou en contradiction manifeste avec la situation effective, ou encore si elle a été adoptée sans motifs objectifs et en violation d'un droit certain. En outre, il ne suffit pas que les motifs de la décision critiquée soient insoutenables, encore faut-il que celle-ci soit arbitraire dans son résultat. Si l'application de la loi défendue par l'autorité cantonale ne se révèle pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - éventuellement plus judicieuse - paraît possible (<ref-ruling> consid. 2.1 p. 168; <ref-ruling> consid. 4.3 p. 319; <ref-ruling> consid. 6.1 p. 379).
3.2. Il convient par ailleurs de rappeler que le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Selon l'<ref-law>, la partie recourante ne peut critiquer la constatation de faits que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte - en particulier en violation de l'interdiction constitutionnelle de l'arbitraire - et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause. Conformément à l'<ref-law>, la partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits et les critiques invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 5.1 p. 356).
3.3. Devant le Tribunal fédéral, les recourants admettent que, selon l'art. 57 RPE, des établissements commerciaux ne peuvent être implantés en zone de villas que pour autant qu'ils ne portent pas préjudice à l'habitation ou qu'ils ne compromettent pas le caractère du quartier. A les suivre, cette condition serait en l'occurrence réalisée. Ils affirment que l'exploitation du salon n'occasionnerait concrètement aucune nuisance et que les arguments développés en ce sens, dans le cadre des oppositions, seraient infondés. Le salon de massage serait discret. Les clients disposeraient de leurs propres places de stationnement à côté de l'immeuble et d'un chemin discret pour s'y rendre. Les clients de ce type d'établissement auraient en outre de manière générale tendance à se faire très discrets. Il serait dès lors arbitraire d'avoir jugé l'implantation d'un salon de massage contraire à l'art. 57 RPE.
Une telle argumentation est irrecevable. Les recourants se fondent en effet sur leur propre présentation des faits - spécialement s'agissant de la prétendue absence de nuisances -, laquelle se trouve pourtant contredite par les constatations cantonales; or les recourants ne prétendent pas - au détriment des art. 97 al. 1, 105 al. 1 et 2 et 106 al. 2 LTF - que celles-ci procéderaient d'une appréciation arbitraire. Le Tribunal fédéral s'en tiendra partant à l'état de fait cantonal (<ref-law>), dont il ressort en particulier, que l'exploitation du salon fait l'objet de plaintes du voisinage depuis 2012, déjà; c'est du reste à la suite de telles plaintes que la municipalité a pris connaissance de la présence d'un salon de massage dans l'immeuble. Dans ces circonstances, compte tenu de surcroît de la proximité d'établissements scolaires et de l'ensemble homogène de maisons d'habitation formé par le quartier - aspects que les recourants ne discutent pas non plus -, il n'apparaît, en tout état de cause, pas arbitraire d'avoir jugé l'exploitation d'un salon de massage contraire à l'art. 57 RPE. A cet égard et pour le surplus, il peut être renvoyé aux considérants pertinents de l'arrêt attaqué, qui exposent en détail les principes jurisprudentiels applicables à l'implantation de salons de massage en zone résidentielle (cf. <ref-law>).
Quant au grief de violation de la liberté économique, il doit, pour les mêmes motifs, également être écarté. Les recourants remettent certes en cause l'aptitude du changement d'affectation à répondre à l'intérêt public poursuivi par la municipalité; ils se basent cependant, ici encore, sur une prétendue absence de nuisances, laquelle n'est pas établie. Le refus de changement d'affectation, respectivement l'ordre de revenir à une affectation de logement conforme à l'art. 57 RPE, met en outre en oeuvre les principes de l'aménagement du territoire; à ce titre, il est compatible avec l'art. 27 Cst., les recourants ne prétendant pas que cette mesure viderait leur liberté économique de sa substance, notamment en poursuivant des objectifs de politique économique (cf. arrêts 1C_124/2018 du 4 juin 2019 consid. 6; 1P.501/2005 du 24 janvier 2006 consid. 2 et les arrêts cités), ou encore que sa finalité tiendrait dans l'éradication ou la limitation de la prostitution (cf. <ref-ruling> consid. 3.1 p. 172; arrêt 2C_862/2015 du 7 juin 2016 consid. 4.1).
3.4. Il s'ensuit que les griefs d'application arbitraire de l'art. 57 RPE et de violation de la liberté économique doivent être écartés. Les considérations qui précèdent conduisent par ailleurs, à elles seules, au rejet du recours. Le refus fondé sur la base du règlement communal constitue en effet une motivation alternative et indépendante suffisante à sceller le sort de la cause. Il n'est dès lors pas nécessaire d'examiner si - comme le prétendent les recourants - la cour cantonale a appliqué arbitrairement les art. 4 aLDTR et 13 LPPPL. Pour le même motif, il n'y a pas non plus lieu de s'attarder sur le grief de violation de la garantie de la propriété (art. 26 al. 1 Cst.), celui-ci s'articulant en effet exclusivement autour de l'application de ces dernières dispositions; dans ce cadre, en lien avec l'art. 26 al. 1 Cst., il n'est en revanche pas allégué que la mesure ordonnée, en tant qu'elle découle de l'application de l'art. 57 RPE, ne répondrait pas, sous cet angle, à un intérêt public, respectivement serait inapte à répondre à celui-ci, ce qu'il n'appartient pas au Tribunal fédéral d'examiner d'office (<ref-law>).
4.
Pour ces motifs, le recours est rejeté dans la mesure de sa recevabilité, aux frais des recourants qui succombent (art. 66 al. 1 et 5 LTF). La commune n'a pas droit à des dépens (art. 68 al. 3LTF); il en va de même des intimés, ceux-ci n'ayant pas procédé.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Il n'est pas alloué de dépens.
4.
Le présent arrêt est communiqué aux parties, à la Municipalité de Prilly, au Service des communes et du logement du canton de Vaud et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 7 août 2019
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
Le Greffier : Alvarez