Sachverhalt:
A.
Am 12. Februar 2013 reichte Y._ bei der Stadt Maienfeld ein Baugesuch für die Realisierung von inneren Umbauarbeiten und einer neuen Raumeinteilung im bestehenden Geschäftslokal im Erdgeschoss der Liegenschaft xxx, Parzelle Nr. xxx1, STWE Nr. xxx2) ein. Das Baugesuch wurde im Meldeverfahren beurteilt und am 8. März 2013 gutgeheissen.
Mit Schreiben vom 6. März 2013 teilte die W._ GmbH der Stadt Maienfeld mit, sie sei am Umbau des Geschäftslokals im xxx beteiligt und wolle das bis anhin als Fotogeschäft genutzte Lokal neu als "Escort Agentur und Erbringung erotischer Dienstleistungen" nutzen.
Nachdem die Gemeinde festgestellt hatte, dass die geplante Nutzungsänderung baubewilligungspflichtig sei, ersuchten Y._ und die W._ GmbH am 18. Juni 2013 die Stadt Maienfeld um die Bewilligung der Nutzungsänderung. Drei Gewerberäume sollten gemäss Gesuch in Zukunft während maximal 6 Std. pro Tag für erotische Dienstleistungen und in den übrigen 18 Std. zu Wohnzwecken und die übrigen Räume weiterhin zu Wohnzwecken genutzt werden.
B.
Gegen das Baugesuch erhoben A._ und B._ sowie weitere Miteigentümer und Mieter der Liegenschaft xxx Einsprache.
Mit Bau- und Einspracheentscheid vom 17. September, mitgeteilt am 8. Oktober 2013, wies die Stadt Maienfeld das Baugesuch ab und hiess die Einsprachen sinngemäss gut, soweit sie darauf eintrat.
C.
Dagegen erhoben die W._ GmbH und Y._ am 16. Oktober 2013 Beschwerde beim Verwaltungsgericht des Kantons Graubünden. Dieses hiess die Beschwerde am 3. September 2014 gut, hob den angefochtenen Bau- und Einspracheentscheid auf und wiesen die Angelegenheit an die Stadt Maienfeld zur Neuentscheidung im Sinne der Erwägungen zurück.
D.
Dagegen hat die Stadt Maienfeld am 15. Oktober 2014 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben (Verfahren 1C_499/2014). Sie beantragt, das verwaltungsgerichtliche Urteil sei aufzuheben und ihr Bau- und Einspracheentscheid sei zu bestätigen. Eventuell sei die Sache zu neuer Beurteilung im Sinne der Erwägungen an die Vorinstanz zurückzuweisen.
Am 20. Oktober 2014 haben auch A._ und B._ und Mitbeteiligte (1C_503/2014) Beschwerde beim Bundesgericht erhoben. Sie beantragen, das Urteil des Verwaltungsgerichts sei aufzuheben und die Beschwerde der Beschwerdegegner gegen den Bau- und Einspracheentscheid der Stadt Maienfeld vom 17. September 2013 sei abzuweisen.
E.
Y._ und die W._ GmbH sowie das Verwaltungsgericht schliessen auf Abweisung der Beschwerden, soweit darauf einzutreten sei.
In ihrer Replik vom 16. Dezember 2014 machen die privaten Beschwerdeführer ergänzende Ausführungen zu ihrer Legitimation und beantragen die Zusammenlegung der Beschwerdeverfahren.
F.
Mit Verfügung vom 27. November 2014 wurde das Gesuch der Stadt Maienfeld um Gewährung der aufschiebenden Wirkung abgewiesen.

Erwägungen:
1.
Da beide Beschwerden dasselbe Urteil des Verwaltungsgerichts betreffen und die gleichen Rechtsfragen aufwerfen, rechtfertigt es sich, die Verfahren zu vereinigen.
2.
Angefochten ist ein kantonal letztinstanzlicher Entscheid des Verwaltungsgerichts in öffentlich-rechtlichen Angelegenheiten (Art. 82 lit. a, 86 Abs. 1 lit. d BGG).
2.1. Es handelt sich formell um einen Rückweisungs- und damit um einen Zwischenentscheid. Fraglich ist, ob dieser materiell einem Endentscheid gleichzustellen ist, da der Stadt Maienfeld kein Entscheidungsspielraum mehr verbleibt (vgl. <ref-ruling> E. 1.3 S. 127 mit Hinweisen). Dagegen spricht jedoch der Umstand, dass die Gemeinde die Möglichkeit hat, die Baubewilligung unter Auflagen zu erteilen (so ausdrücklich angefochtener Entscheid S. 18 und S. 24 unten), die ihrerseits angefochten werden könnten. Die Frage kann offen bleiben weil auf die Beschwerde schon nach <ref-law> einzutreten ist:
Nach ständiger Rechtsprechung nimmt das Bundesgericht einen nicht wieder gutzumachenden Nachteil im Sinne von <ref-law> an, wenn eine Gemeinde durch einen Rückweisungsentscheid gezwungen wird, eine ihrer Ansicht nach rechtswidrige Verfügung zu erlassen. Wehrt sich die Gemeinde dagegen, so ist auch die gleichzeitige Beschwerde von betroffenen privaten Beschwerdeführern zulässig (<ref-ruling> E. 1.2 S. 412 mit Hinweisen).
2.2. Die Gemeinde Maienfeld ist als Baubewilligungs- und Planungsbehörde, d.h. als Trägerin hoheitlicher Gewalt, vom angefochtenen Entscheid berührt. Sie ist befugt, mit Beschwerde eine Verletzung ihrer Autonomie geltend zu machen (<ref-law>).
Die privaten Beschwerdeführer sind Eigentümer und Mieter von Stockwerkeigentum auf Parzelle Nr. xxx1. Sie sind somit von der geplanten Nutzungsänderung mehr als jedermann betroffen und deshalb zur Beschwerde legitimiert (<ref-law>). Ein zur Beschwerde legitimierter Nachbar kann die Überprüfung eines Bauvorhabens im Lichte all jener Rechtssätze verlangen, die sich rechtlich oder tatsächlich auf seine Stellung auswirken könnten (<ref-ruling> E. 2.2.3 S. 33). Dazu gehört auch die Verletzung der Gemeindeautonomie (Urteil 1C_43/2013 vom 22. Oktober 2013 E. 1.2 und 1.3).
Auf die rechtzeitig erhobenen Beschwerden (<ref-law>) ist daher einzutreten.
2.3. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht - einschliesslich Überschreitung oder Missbrauch des Ermessens - gerügt werden (<ref-law>). Das Bundesgericht wendet das Bundesrecht grundsätzlich von Amtes wegen an (<ref-law>). Die Verletzung von Grundrechten (einschliesslich die willkürliche Anwendung von kantonalem Recht) prüft es dagegen nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und genügend begründet worden ist (<ref-law>; <ref-ruling> E. 1.4.2 S. 254 mit Hinweisen).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat, sofern dieser nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 105 und Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel können nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
3.
Streitig ist die Zonenkonformität der geplanten Nutzung.
3.1. Die Stadt Maienfeld führte in ihrem Bau- und Einspracheentscheid dazu aus, dass die Anpassungszone C, die Teil der Kernzone bilde, für Wohnbauten, Dienstleistungs- und Gewerbebetriebe sowie Landwirtschaftsbetriebe bestimmt sei. Gemäss Zonenschema gelte die Empfindlichkeitsstufe (ES) III. In Zonen mit ES III seien mässig störende Betriebe zugelassen (Art. 43 Abs. 1 lit. c der Lärmschutz-Verordnung vom 15. Dezember 1986 [LSV; SR 814.41]); stark störende Betriebe und solche, die unverhältnismässigen Verkehr verursachen, seien unzulässig. Bei der Beurteilung, ob es sich um eine in raum- und ortsplanerischer Hinsicht nicht, mässig oder stark störenden Nutzung handle, seien auch ideelle Immissionen zu berücksichtigen, die das seelische Empfinden verletzen bzw. unangenehme psychische Eindrücke erwecken. Die Qualifizierung ideeller Immissionen als stark störend bedinge nach der bundesgerichtlichen Rechtsprechung ein erhebliches Konfliktpotenzial zwischen den sich entgegenstehenden Nutzungen, insbesondere zu Wohnnutzungen. Dabei sei eine Gesamtschau unter Einbezug des geplanten Vorhabens und der bestehenden Umgebung anzustellen (<ref-ruling> E. 4.3.2 und 4.3.3 S. 401 f. mit Hinweisen).
Die Liegenschaft xxx befinde sich an zentraler Lage in der Stadt Maienfeld, direkt an der Hauptzufahrt zur Altstadt. In der unmittelbaren Umgebung befänden sich Mehrfamilienhäuser, Verkaufsgeschäfte, die Stadtverwaltung, Dienstleistungs- und Gastwirtschaftsbetriebe. Das Gebäude auf Parzelle Nr. xxx1 werde vorwiegend (elf von zwölf Stockwerkeinheiten) zu Wohnzwecken genutzt. Das Gebiet Aeuli sei geprägt durch seinen kleinstädtischen Charakter und weise eine gesunde Mischung von Wohnnutzungen und damit verträglichen Gewerbebetrieben auf, die dem Bedarf der Bevölkerung dienten. Eine sexgewerbliche Nutzung könne dazu führen, dass sich die Bewohner belästigt fühlten und sei geeignet, den guten Ruf des Quartiers zu beeinträchtigen. Insbesondere könne sie die Vermietbarkeit von Wohnungen erschweren. Unter diesen Umständen sei die Zweckänderung nicht zonenkonform, weshalb das Baugesuch abzuweisen sei.
3.2. Das Verwaltungsgericht betonte dagegen, dass sich die in Frage stehende Liegenschaft an zentraler Lage direkt an einer stark befahrenen Hauptstrasse befinde. Gemäss Baugesuch solle ein kleiner Bordellbetrieb realisiert werden, in dem nur drei bis vier Frauen in drei Zimmern arbeiten würden. Es ging davon aus, dass die zu erwartenden materiellen Immissionen das zulässige Mass der Empfindlichkeitsstufe III nicht überschreiten würden. Im Übrigen stehe es der Gemeinde frei, die Bewilligung zur Umnutzung der Gewerberäume mit Auflagen bzw. (zeitlichen) Betriebsbeschränkungen zu verbinden, z.B. zum Schutz gegen Störungen der Nachtruhe durch Kundenverkehr etc.
Auch das Verwaltungsgericht ging davon aus, dass die Qualifizierung als stark störend ein erhebliches Konfliktpotenzial zwischen den sich entgegenstehenden Nutzungen, insbesondere zu Wohnnutzungen, voraussetze. Die Zonenkonformität von Bordellen wegen ideeller Immissionen sei in der bundesgerichtlichen Rechtsprechung nur in Zonen verneint worden, in denen nur "nicht störende" Betriebe zugelassen waren, oder in denen besondere kommunale oder kantonale Nutzungsvorschriften bestanden (Mindestwohnanteilsvorschriften, Verbot von Erotikbetrieben ab einem bestimmten Wohnflächenanteil). Vorliegend gehe es um die Anpassungszone C der Stadt Maienfeld, in der mässig störende Betriebe zulässig seien und für die keine besonderen Nutzungsvorschriften gälten. Die Wohnnutzung stehe somit auf gleicher Ebene wie die gewerbliche Nutzung. Bei der Beurteilung der örtlichen Verhältnisse sei die ganze Umgebung mit der Durchgangsverkehrssituation der Hauptstrasse und den umliegenden Gewerbe- und Gastwirtschaftsbetrieben zu betrachten, d.h. nicht lediglich der Wohnanteil in der betroffene Liegenschaft xxx. Die Stadt Maienfeld sei auch kein kleines ländliches Dorf. Unter diesen Umständen sei kein erhebliches Konfliktpotenzial der sich gegenüberstehenden Nutzungen zu Wohnzwecken sowie der Gewerbe- und Gastwirtschaftsbetriebe und des geplanten Kleinbordells zu erwarten. Die ideellen Immissionen durch den Betrieb eines kleinen Bordellbetriebs seien vielmehr als höchstens mässig und nicht stark störend zu beurteilen.
4.
Die Beschwerdeführer rügen in erster Linie die Verletzung der Gemeindeautonomie.
Sie berufen sich auf die Praxis des Bündner Verwaltungsgerichts, wonach den Gemeinden im Baurecht Autonomie bei der Anwendung und Auslegung von selbstständigen Gemeinderecht zustehe. Das Verwaltungsgericht müsse sich bei der Anwendung und Auslegung solcher Normen Zurückhaltung auferlegen, wenn ein Zweifelsfall vorliege, die Auslegung schwierig sei oder in besonderem Masse örtliche Verhältnisse zu würdigen seien. Den Gemeinden stehe in solchen Fällen ein geschützter Beurteilungs- und Ermessensspielraum zu, in welchen das Verwaltungsgericht nur eingreifen könne, sofern die Gemeinde diesen Bereich missbraucht oder überschritten habe. Die Kognition des Verwaltungsgerichtes beschränke sich damit praktisch auf eine Willkürprüfung, d.h. das Verwaltungsgericht könne nur dann eingreifen, wenn sich der gestützt auf autonomes Gemeinderecht erlassene Entscheid als sachlich unvertretbar erweise oder gegen allgemeine Rechtsgrundsätze verstosse (z.B. Urteil R 09 14 vom 23. Juni 2009 E. 1).
Die Stadt Maienfeld sei nach umfassender Abwägung der sich gegenüberstehenden Interessen zum Ergebnis gekommen, dass die vorgesehene sexgewerbliche Nutzung zu einem erheblichen Konfliktpotenzial in der Umgebung führe, was als stark störend und damit als unzulässig zu qualifizieren sei. Ihre Ausführungen seien nachvollziehbar und sicher nicht willkürlich. Das Verwaltungsgericht habe den Bau- und Einspracheentscheid aufgehoben, ohne darzulegen, inwiefern die Stadt Maienfeld den ihr zustehenden Beurteilungs- und Ermessensspielraum missbraucht oder überschritten habe. Es habe sich damit über den Beurteilungsspielraum der Gemeinde hinweggesetzt und sein eigenes Ermessen an die Stelle desjenigen der Gemeinde gesetzt. Damit habe es seine Kognition überschritten und die Gemeindeautonomie verletzt.
Dagegen machen die Beschwerdegegner geltend, es sei Aufgabe des kantonalen Verwaltungsgerichts, Sachverhalt und Rechtsanwendung durch die Gemeinde frei zu prüfen; die Beschränkung der Kognition auf eine Willkürprüfung sei mit der Rechtsweggarantie nicht vereinbar (<ref-law>).
4.1. <ref-law> gewährleistet die Gemeindeautonomie nach Massgabe des kantonalen Rechts. Es ist daher Sache des kantonalen Verfassungs- und Gesetzesrechts zu bestimmen, ob den Gemeinden in einem bestimmten Bereich Autonomie zusteht.
Autonomie bei der Rechtsanwendung ist i.d.R. ausgeschlossen, wenn die Gemeinden nur über ein Anhörungsrecht verfügen, ohne eigene Entscheidbefugnis (Urteil 1C_523/2009 vom 12. März 2010 E. 2.1 mit Hinweisen). Aber auch wenn die Gemeinde erstinstanzlich verfügt, bedeutet dies noch nicht zwingend, dass ihr ein eigener, von den Gerichten zu respektierender Beurteilungsspielraum bei der Auslegung unbestimmter Rechtsbegriffe zusteht. Vielmehr kann es aus Gründen der Rechtsgleichheit, zur Wahrung übergeordneter Interessen oder zum Schutz der Grundrechte geboten sein, eine uneingeschränkte Rechts- und Sachverhaltskontrolle durch die kantonalen Gerichte sicherzustellen. Aus <ref-ruling> E. 3.2.3 S. 398 f. ergibt sich nichts anderes (dort hatte bereits das Verwaltungsgericht festgehalten, dass den Zürcher Gemeinden bei der Beurteilung der Zonenkonformität Autonomie zustehe und dies von den Rechtsmittelinstanzen nur mit Zurückhaltung zu überprüfen sei).
In jedem Fall müssen die Mindestanforderungen der Rechtsweggarantie (<ref-law>; Art. 6 EMRK) an die Überprüfung des Sachverhalts und der Rechtsanwendung respektiert werden (<ref-ruling> E. 2.5 S. 239 f.). Diese verlangt grundsätzlich eine umfassende Rechts- und Sachverhaltsprüfung. Zur Wahrung des Gestaltungsbereichs der unteren Instanzen und insbesondere der Gemeinden kann eine richterliche Zurückhaltung bei der Überprüfung unbestimmter Rechtsbegriffe zulässig sein; dagegen ist die Beschränkung der Kognition auf eine Willkürprüfung nicht mit <ref-law> vereinbar (<ref-ruling> E. 2.5.2 S. 240 f.).
4.2. Nach Art. 3 des Raumplanungsgesetzes für den Kanton Graubünden vom 6. Dezember 2004 (KRG; BR 801.100) ist die Ortsplanung Aufgabe der Gemeinde, die diese Aufgabe im Rahmen des übergeordneten Rechts autonom erfüllen, u.a. indem sie den Zonenzweck und die zulässige Art der Nutzung in den Zonenvorschriften des kommunalen Baugesetzes festlegen (Art. 24 Abs. 3 und 27 KRG). Wie die Beschwerdeführer selbst darlegen, anerkennt das Verwaltungsgericht eine Autonomie der Bündner Gemeinden bei der Anwendung und Auslegung von selbstständigem Gemeinderecht, und erlegt sich insoweit Zurückhaltung auf.
Das Baugesetz der Stadt Maienfeld vom 9. November 2010 (BauG) legt in Art. 20 fest, dass die Kernzone für Wohnbauten, Dienstleistungs- und Gewerbebetriebe bestimmt ist; Landwirtschaftsbetriebe sind zulässig (Abs. 1). Die Kernzone ist in die Altstadtzone und die Anpassungszonen B und C unterteilt (Abs. 5). Die Nutzung der Anpassungszone C, insbesondere die Art der dort zulässigen Dienstleistungs- und Gewerbebetriebe, wird nicht näher bestimmt. Im Zonenschema (Art. 13 BauG) wird einzig die Empfindlichkeitsstufe (ES III) definiert. Die Gemeinde berief sich für die Zulässigkeit von mässig störende Betrieben in der Kernzone C, unter Ausschluss von stark störenden Betrieben, denn auch nicht auf autonomes Gemeinderecht, sondern auf Art. 43 Abs. 1 lit. c der Lärmschutz-Verordnung vom 15. Dezember 1986 (LSV; SR 814.41). Sie rügt auch vor Bundesgericht eine Verletzung von Bundes-Immissionsschutzrecht.
4.3. Allerdings regelt <ref-law> lediglich die (nach <ref-law> gebotene) Zuordnung von Empfindlichkeitsstufen zu den Nutzungszonen im Hinblick auf den Lärmschutz, um die für die Zone geltenden Belastungsgrenzwerte zu bestimmen (Planungswerte, Immissionsgrenzwerte und Alarmwerte für verschiedene Lärmarten). Gemäss <ref-law> ist die ES III - vom Sonderfall der Lärmvorbelastung nach Abs. 2 abgesehen - den Zonen vorbehalten, in denen mässig störende Betriebe zugelassen sind, namentlich Wohn- und Gewerbezonen (Mischzonen) sowie Landwirtschaftszonen (Abs. 1 lit. c). Dagegen trifft <ref-law> keine Aussage zur raumplanungsrechtlichen Zulässigkeit bestimmter Betriebe, insbesondere unter dem Blickwinkel von ideellen Immissionen, die ohnehin nicht in den Anwendungsbereich des USG (SR 814.01) und der dazugehörigen Verordnung fallen (Urteil 1A.120/2005 vom 31. Mai 2006 E. 8.1; ALAIN GRIFFEL/HERIBERT RAUSCH, Kommentar zum Umweltrecht, Ergänzungsband 2011, Art. 7 Rz. 9).
Es ist vielmehr Sache des kantonalen bzw. kommunalen Bau- und Planungsrechts zu bestimmen, welche Nutzungen in einer bestimmten Zone zulässig sind. Die Zonenkonformität eines Vorhabens, insbesondere im Zusammenhang mit ideellen Immissionen, wird deshalb vom Bundesgericht in der Regel nur unter dem Blickwinkel des Willkürverbots überprüft. Der Umkehrschluss der Gemeinde und des Verwaltungsgerichts aus <ref-law>, wonach es sich - wegen der Zuordnung zur ES III - um eine Mischzone handelt, in der nur mässig störende Betriebe zulässig sind, weshalb Betriebe mit stark störenden ideellen Immissionen unzulässig seien, ist aus dieser Perspektive nicht zu beanstanden.
4.4. Die Stadt Maienfeld hat jedoch keine autonome Regelung dieser Frage getroffen: Weder hat sie für die Kernzone C Nutzungsanteile gemäss Art. 27 Abs. 2 KRG festgelegt (z.B. Mindestwohnanteile), noch die nach Art und Auswirkungen zulässigen Betriebe näher umschrieben (gemäss Art. 24 Abs. 3 KRG). Sie macht auch nicht geltend, eine spezifische Gemeindepraxis zum Begriff des "mässig störenden Betriebs" entwickelt zu haben. Vielmehr stützt sie sich in ihrem Bau- und Einspracheentscheid wie auch in ihrer Beschwerdeschrift auf die bundesgerichtliche Rechtsprechung zu immateriellen Immissionen durch Sexgewerbebetriebe.
Geht es somit nicht um die Anwendung und Auslegung von eigenständigem Gemeinderecht, musste sich das Verwaltungsgericht keine Zurückhaltung auferlegen, sondern durfte gemäss Art. 51 des Bündner Verwaltungsrechtspflegegesetzes vom 31. August 2006 (VRG; 370.100) die Rechtsanwendung der Gemeinde frei prüfen, ohne die Gemeindeautonomie zu verletzen.
5.
Die Beschwerdeführer rügen die Sachverhaltsfeststellungen des Verwaltungsgerichts zum Charakter der Umgebung als offensichtlich unrichtig und unvollständig.
5.1. Es habe insbesondere verkannt, dass nicht nur in der Liegenschaft xxx die Wohnnutzung überwiege, sondern auch in der Umgebung von einem Wohnanteil von wesentlich mehr als 60 % auszugehen sei.
Wie die Erwägungen des Verwaltungsgerichts zeigen, mass es dem tatsächlichen Wohnanteil (über oder unter 60 %) keine entscheidende Bedeutung bei. Es ging vielmehr davon aus, dass mangels spezieller Nutzungsvorschriften (wie Mindestwohnanteilsvorschriften, Verbot von Erotikbetrieben ab einem bestimmten Wohnflächenanteil) die Wohnnutzung auf gleicher Ebene stehe wie die gewerbliche Nutzung. Ob diese Erwägungen aus rechtlicher Sicht haltbar sind, ist im Folgenden (E. 6) zu prüfen.
5.2. Die Beschwerdeführer rügen auch die Qualifikation der Umgebung durch das Verwaltungsgericht als städtisch. Die Kernzone von Maienfeld sei geprägt von einem dörflichen Charakter. Es gebe keine Ausgangsmeile, Vergnügungsviertel, keine Nachtklubs, Kinos etc., sondern die angesiedelten Betriebe dienten der Versorgung der Bevölkerung für den täglichen Bedarf (Metzgerei, Apotheke, Boutique, Bankfiliale, Gastwirtschaft, Stadtverwaltung).
Das Verwaltungsgericht hat jedoch nie das Gegenteil behauptet. Es führte lediglich aus, dass es sich bei der Stadt Maienfeld nicht um ein kleines ländliches Dorf handle (S. 23); dies dürfte unstreitig sein (die Stadt ging in ihrem Bau- und Einspracheentscheid von einem "kleinstädtischen" Charakter aus). Eine besondere Bedeutung des Betriebs für die Versorgung der Bevölkerung werde in der Anpassungszone C nicht vorausgesetzt (vgl. S. 24 des angefochtenen Entscheids und dazu unten E. 6.2.3).
6.
Die Beschwerdeführer halten die Qualifizierung der immateriellen Immissionen als nur "mässig störend" für willkürlich.
6.1. Die Stadt Maienfeld macht zunächst geltend, dass elf von zwölf Stockwerkeinheiten im Haus xxx zu Wohnzwecken genutzt werden; es bestehe ein gemeinsamer Hauseingang und ein gemeinsames Treppenhaus. Allein schon dieser Umstand genüge, um ein erhebliches Konfliktpotenzial zu begründen, z.B. wenn Freier irrtümlich an den Wohnungstüren der Nachbarn klingelten.
Das Verwaltungsgericht ging davon aus, dass für die Beurteilung der örtlichen Verhältnisse nicht ausschliesslich auf die betroffene Liegenschaft abgestellt werden dürfe. Diese Erwägung lässt keine Willkür erkennen: Da es um die Zonenkonformität geht, d.h. die Vereinbarkeit mit dem Zweck der Nutzungszone (Art. 22 Abs. 2 lit. a RPG [SR 700]), muss auf die Nutzung der jeweiligen Zone (hier: Anpassungszone C; Kernzone) abgestellt werden, und nicht ausschliesslich auf die bestehende Nutzung der fraglichen Parzelle, jedenfalls wenn diese nicht (z.B. durch Wohnanteilsbestimmungen) geschützt ist. Im Übrigen hat das Verwaltungsgericht willkürfrei darauf hingewiesen, dass die Stadt die Möglichkeit hat, Auflagen in der Baubewilligung zu machen (z.B. zur Ausschilderung/Gestaltung des Eingangsbereichs).
6.2. Die Beschwerdeführer werfen dem Verwaltungsgericht vor, nicht berücksichtigt zu haben, dass der Wohnanteil nicht nur in der Liegenschaft xxx, sondern in der gesamten Umgebung, bei über 60 % liege. Dienstleistungsbetriebe seien i.d.R. nur im Erdgeschoss untergebracht, während in den darüberliegenden Geschossen mehrheitlich gewohnt werde. In unmittelbarer Nachbarschaft befinde sich auch das Alterswohnheim Z._. Unter diesen Umständen sei es unhaltbar, eine bloss mässige Störung anzunehmen. Sie verweisen hierfür auf verschiedene bundesgerichtliche Urteile, in denen das Bundesgericht ein erhebliches Konfliktpotenzial von sexgewerblicher und Wohnnutzung angenommen habe (Urteil 1C_83/2012 vom 18. Juli 2012 E. 2.7; 1C_157/2012 vom 16. Juli 2012 E. 4.4; 1P.160/2004 vom 27. Januar 2005 E. 4.1; 1P.771/2001 vom 5. Mai 2003 E. 9.2, in: ZBl 105/2004 S. 111).
6.2.1. Wie bereits das Verwaltungsgericht dargelegt hat, sind diese Fälle jedoch nicht mit dem Vorliegenden vergleichbar: Im Urteil 1C_157/2012 vom 16. Juli 2012 wurde das Sexgewerbe vom Bundesgericht nicht als "stark störend" beurteilt, sondern es wurde lediglich als nicht willkürlich erachtet, einen - immerhin 19 Studios und 16 Parkplätze umfassenden - Erotikbetrieb als "störende Arbeitsnutzung" zu qualifizieren, die in einer Wohnzone (ES II mit Gewerbebeschränkung auf 10 % der BGF), in der nur "nicht störende" Arbeitsnutzungen zugelassen sind, nicht zonenkonform sei. Auch in den Urteilen 1C_83/2012 vom 18. Juli 2012 und 1P.160/2004 vom 27. Januar 2005 war (unter Willkürgesichtspunkten) die Zonenkonformität von Erotikbetrieben in Wohnzonen zu beurteilen, in denen jede störende (und nicht nur mässig oder stark störende) Arbeitsaktivitäten bzw. Betriebe ausgeschlossen waren. Im Urteil 1P.771/2001 vom 5. Mai 2003 (in: ZBl 105/2004 S. 111) ging es ebenfalls um eine Wohnzone mit einem Mindestwohnanteil von 60%; das Bundesgericht hielt es jedenfalls nicht für willkürlich, aufgrund des hohen Wohnanteils und der intensiven Wohnnutzung sexgewerbliche Betriebe aufgrund ihrer ideellen Immissionen als stark störend einzustufen (E. 9.2).
6.2.2. Dagegen geht es vorliegend um eine Kernzone, in der keinerlei Festlegungen zugunsten der Wohnnutzung bestehen, d.h. dieser kein Vorrang gegenüber gewerblichen Nutzungen zukommt. Auch wenn heute die Wohnnutzung überwiegt, besteht keine Gewähr dafür, dass der bestehende Wohnanteil erhalten bleibt. Die Bewohner müssen vielmehr den Zuzug von mässig störenden Betrieben und deren materielle oder immaterielle Immissionen dulden und können nicht darauf vertrauen, dass die bisherige Quartierstruktur unverändert erhalten bleibt.
6.2.3. Der vom Verwaltungsgericht angestellte Vergleich des streitigen Sexgewerbebetriebs (mit ideellen Immissionen) mit anderen, in der Kernzone C zulässigen Betrieben mit materiellen Immissionen, ist verfassungsrechtlich nicht zu beanstanden. Anders als im Entscheid 1C_83/2012 vom 18. Juli 2012 E. 2.7, wo (in einer Wohnzone) ein funktionaler Zusammenhang zwischen dem Gewerbe und der Wohnnutzung vorausgesetzt wurde, verlangt Art. 20 Abs. 1 BauG nach der willkürfreien Auslegung des Verwaltungsgerichts keinen derartigen Zusammenhang, sondern lässt Dienstleistungs- und Gewerbebetriebe jeder Art zu.
6.3. Dass es zu Konflikten der sexgewerblichen Nutzung mit der Wohnnutzung kommen kann, wurde vom Verwaltungsgericht nicht bestritten; es qualifizierte die Störung aber nicht als "stark", sondern als höchstens "mässig". Dabei wies es darauf hin, dass die Gemeinde es in der Hand habe, übermässige Immissionen (materieller oder immaterieller Art) mittels Auflagen (z.B. zeitlichen Betriebsbeschränkungen) zu reduzieren.
6.3.1. Die Beschwerdeführer halten dies für willkürlich, weil sich durch Auflagen nur nach aussen tretende Vorgänge regeln liessen, z.B. Öffnungszeiten, Verbot von Anschriften und Reklamen, Anhalteverbot für Autos etc., nicht aber die ideellen Immissionen, die schon von der blossen Existenz des Bordells ausgingen. Sie berufen sich auf die Rechtsprechung, wonach nicht vorausgesetzt werde, dass die Störungen des Wohlbefindens an nach aussen in Erscheinung tretende Vorgänge anknüpfen, wie beispielsweise bei Betrieben des Sexgewerbes an aufreizende Werbung oder die Begegnung mit Freiern und dergleichen (Urteil 1C_83/2012 vom 18. Juli 2012 E. 2.6 mit Hinweisen).
6.3.2. Diese Rechtsprechung wird von BERNHARD WALDMANN kritisiert (Der Schutz vor ideellen Immissionen in Wohngebieten - eine kritische Würdigung, in: BauR 2005 159 ff., insbes. S. 162) : In den meisten Fällen, in denen Einwirkungen auf das psychische Wohlempfinden beklagt würden, lägen zugleich materielle Immissionen vor (z.B. Lärm, unliebsame Begegnungen mit Freiern). Rein ideellen Immissionen, die nicht in Verbindung mit materiellen Immissionen in Erscheinung treten, sollte hingegen die Rechtserheblichkeit grundsätzlich versagt werden. Das blosse psychische Unbehagen darüber, was im Innern eines Raums vor sich gehen könnte, dürfe im Immissionsschutzrecht keine Rolle spielen. Wolle das Recht gewisse Tätigkeiten im Privatbereich verbieten, habe dies über das Polizeirecht zu geschehen. Ausserdem dürfe das Immissionsschutzrecht aus grundrechtlicher Sicht keine Handhabe bieten, um subjektiven Ängsten und Unbehagen, die eine stereotype, herabwürdigende Einstellung zu gewissen Personengruppen oder Handlungen zum Ausdruck bringe, zum Durchbruch zu verhelfen.
6.3.3. Im Urteil 1C_51/2012 vom 21. Mai 2012 E. 5.5 (in URP 2012 586) hiess das Bundesgericht die Beschwerde gegen eine Zonenvorschrift gut, soweit sie auch visuell nicht wahrnehmbare Mobilfunkantennen zum Schutz der Anwohner vor ideellen Immissionen ausschloss. Das Bundesgericht räumte ein, dass das blosse Wissen um eine kaschierte Anlage in der unmittelbaren Nachbarschaft unerwünschte Auswirkungen zeitigen könnte. Dennoch erscheine das öffentliche Interesse an der Verhinderung ideeller Immissionen in solchen Fällen derart gering, dass die Beschränkung der Standortwahl unverhältnismässig werde. Psychologisch mache es durchaus einen Unterschied, ob die Mobilfunkanlage den Bewohnern unmittelbar vor Augen stehe oder nicht; der Schutz vor ideellen Immissionen knüpfe nicht an die Strahlungsintensität, sondern in erster Linie an den - für die Anwohner wahrnehmbaren - Antennenstandort an, der negative Empfindungen und Reaktionen hervorrufen könne.
6.3.4. Auch Sexgewerbebetriebe mindern die Attraktivität einer Gegend für Geschäfte und Wohnungen vor allem dann, wenn sie nach aussen in Erscheinung treten und - z.B. durch ihre Werbung, Gestaltung, Lärm- oder Geruchsimmissionen - die Umgebung als unästhetisch, unsicher oder sonst wie unerfreulich wirken lassen. Ist das Gewerbe nach aussen nicht erkennbar, wird der guten Ruf des Quartiers jedenfalls für Aussenstehende nicht beeinträchtigt. Auch für die Anwohner spielt es psychologisch eine Rolle, ob sie täglich unmittelbar mit dem Sexgewerbe konfrontiert werden, und damit stets aufs Neue negative Gefühle ausgelöst bzw. verstärkt werden. Insofern sind Auflagen zur Verhinderung oder wesentlichen Reduktion von materiellen Immissionen geeignet, auch das Ausmass der ideellen Immissionen zu reduzieren, und damit das öffentliche Interesse an einer Beschränkung der Eigentums- und Wirtschaftsfreiheit zu verringern. Dies hat das Verwaltungsgericht im angefochtenen Entscheid willlkürfrei berücksichtigt.
7.
Nach dem Gesagten sind die Beschwerden abzuweisen. Bei diesem Ausgang des Verfahrens tragen die privaten Beschwerdeführer die Gerichtskosten (Art. 66 BGB). Der Stadt Maienfeld können keine Gerichtskosten auferlegt werden (<ref-law>). Sie ist dagegen - gemeinsam mit den privaten Beschwerdeführern - verpflichtet, die Beschwerdegegner für die Kosten des bundesgerichtlichen Verfahrens zu entschädigen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Verfahren 1C_499/2014 und 1C_503/2014 werden vereinigt.
2.
Die Beschwerden werden abgewiesen.
3.
Die Gerichtskosten von Fr. 4'000.-- werden den privaten Beschwerdeführern auferlegt.
4.
Die Stadt Maienfeld und die privaten Beschwerdeführer haben die Beschwerdegegner mit insgesamt Fr. 6'000.-- für das bundesgerichtliche Verfahren zu entschädigen; sie tragen diese Kosten je zur Hälfte.
5.
Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Graubünden, 5. Kammer, schriftlich mitgeteilt.
Lausanne, 25. März 2015
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Die Gerichtsschreiberin: Gerber