(Baubewilligung, Befehl, Verwirkung, Vertrauensschutz), hat sich ergeben:
A.- Im ersten Obergeschoss des Gebäudes Y._-strasse XX, Zürich 4 - Aussersihl, wird seit mindestens Mitte der siebziger Jahre eine Dreizimmerwohnung ausschliesslich zu sexgewerblichen Zwecken genutzt. Eine Bewilligung für diese Nutzweise ist nie erteilt worden. Die städtische Sittenpolizei registrierte den Betrieb des Massagesalons erstmals per 15. Juli 1975. Gemäss Darstellung der Stadt Zürich, welche vom Wohnungseigentümer bestritten wird, erhielt das Amt für Baubewilligungen der Stadt Zürich erst im Juli 1999 von der Umnutzung der Wohnung Kenntnis, als sich die damalige Wohnungsmieterin beim Amt erkundigte, ob eine entsprechende Baubewilligung bezüglich dieser Räume vorliege.
Mit Schreiben vom 26. Juli 1999 machte die Baupolizei den Eigentümer der betreffenden Stockwerkseinheit auf die unbewilligte Nutzungsänderung aufmerksam und gab ihm Gelegenheit zur Stellungnahme. Am 26. Oktober 1999 verweigerte die Bausektion der Stadt Zürich die (nachträgliche) baurechtliche Bewilligung für die Einrichtung eines sexgewerblichen Salons im betreffenden Gebäude und ordnete die Wiederherstellung des rechtmässigen Zustandes an. Der Bauentscheid wurde damit begründet, dass die Zweckänderung der Dreizimmerwohnung zu keinem Zeitpunkt hätte bewilligt werden können.
B.- Gegen den Entscheid der städtischen Bausektion rekurrierte der Eigentümer an die Baurekurskommission I des Kantons Zürich. Diese wies den Rekurs am 28. April 2000 ab.
Der Eigentümer zog den Rekursentscheid an das Verwaltungsgericht des Kantons Zürich weiter, welches die Beschwerde am 29. September 2000 guthiess. Das Gericht erwog im Wesentlichen, es sei fraglich, ob die spätestens im Juli 1975 erfolgte Nutzungsänderung gemäss damals geltendem Recht baurechtlich überhaupt bewilligungspflichtig war. Ferner hätten zum damaligen Zeitpunkt die kommunalen Vorschriften über den Wohnanteil noch nicht in Kraft gestanden. Zwar habe das damals geltende Gesetz über die Erhaltung von Wohnungen für Familien vom 30. Juni 1974 (WEG/ZH) den Abbruch, den Umbau und die Zweckänderung von solchen Wohnungen für bewilligungspflichtig erklärt und es dürfe nicht davon ausgegangen werden, dass eine Zweckänderungsbewilligung hätte erteilt werden müssen. Indessen könne auch nicht ausgeschlossen werden, dass eine solche Bewilligung möglicherweise erteilt worden wäre, zumal das WEG/ZH die Bewilligungstatbestände nicht abschliessend umschrieben habe.
Unbestritten sei, dass die fragliche Umnutzung zum heutigen Zeitpunkt angesichts des für das betreffende Gebiet geltenden Wohnanteils von 83 % nicht bewilligungsfähig wäre. Das Verwaltungsgericht hielt sodann fest, die städtische Verwaltung habe durch die Duldung der (allenfalls) rechtswidrigen Nutzung während 25 Jahren einen Vertrauenstatbestand geschaffen, der dem Anspruch auf Wiederherstellung des rechtmässigen Zustandes entgegenstehe. Die städtische Baupolizei müsse sich das Wissen der städtischen Sittenpolizei anrechnen lassen. Ferner sei der Wiederherstellungsanspruch auch wegen Zeitablaufs untergegangen.
C.- Gegen den Entscheid des Verwaltungsgerichts führt die Stadt Zürich mit Eingabe vom 5. Dezember 2000 staatsrechtliche Beschwerde wegen Verletzung der Gemeindeautonomie (<ref-law>). Sie macht geltend, das Verwaltungsgericht habe das Vertrauensprinzip zugunsten des privaten Beschwerdegegners ungerechtfertigt gewichtet. Es entspreche einer willkürlichen Betrachtungsweise, wenn sich die städtische Baupolizei das Wissen einer anderen Polizeiabteilung anrechnen lassen müsse. Sie beantragt Gutheissung der Beschwerde und Aufhebung des angefochtenen Entscheids.
D.- Das Verwaltungsgericht des Kantons Zürich und der Beschwerdegegner beantragen, die Beschwerde abzuweisen, soweit darauf einzutreten sei.

Das Bundesgericht zieht in Erwägung:
1.- Das Bundesgericht prüft die Zulässigkeit der bei ihm eingereichten Beschwerden von Amtes wegen und mit freier Kognition (<ref-ruling> E. 1a S. 258). Das angefochtene Urteil des Verwaltungsgerichts stellt einen letztinstanzlichen kantonalen Entscheid dar, gegen den auf Bundesebene einzig die staatsrechtliche Beschwerde als Rechtsmittel zur Verfügung steht (Art. 84 Abs. 2, Art. 86 Abs. 1 OG). Der angefochtene Entscheid hob den Befehl zur Beendung der von der Stadt Zürich als rechtswidrig erachteten sexgewerblichen Nutzung der betreffenden Dreizimmerwohnung auf und berührt mithin die Stadt Zürich als Trägerin hoheitlicher Gewalt. Sie ist daher legitimiert, eine Verletzung ihrer Autonomie zu rügen (<ref-ruling> E. 1b S. 226 mit Hinweis). Ob ihr im betreffenden Bereich Autonomie zusteht, ist gemäss bundesgerichtlicher Praxis nicht eine Frage des Eintretens, sondern der materiellen Beurteilung (<ref-ruling> E. 1b S. 226; <ref-ruling> E. 2a S. 204, je mit Hinweisen).
Die übrigen Sachurteilsvoraussetzungen sind erfüllt.
Auf die staatsrechtliche Beschwerde ist einzutreten.
2.- a) Die Stadt Zürich sieht sich in ihrer Autonomie dadurch verletzt, dass das Verwaltungsgericht durch eine realitätsfremde Gewichtung eines angeblichen Vertrauensschutzes bzw. durch die fingierte langjährige Kenntnis des baurechtswidrigen Zustandes seitens der Baubehörden die Durchsetzung kommunalen Rechts bzw. von kantonalem Recht mit erheblicher Entscheidungsfreiheit für die Gemeinden verhindert habe. Ferner habe das Verwaltungsgericht durch die genannte Fiktion das Recht der Stadt Zürich, ihre Verwaltungsorganisation selbständig zu ordnen, missachtet und auch dadurch die Gemeindeautonomie verletzt. Der Beschwerdegegner bestreitet, dass der Stadt Zürich im fraglichen Bereich Autonomie zukommt.
b) Eine Gemeinde ist in einem Sachbereich autonom, wenn das kantonale Recht diesen nicht abschliessend ordnet, sondern ihn ganz oder teilweise der Gemeinde zur Regelung überlässt und ihr dabei eine relativ erhebliche Entscheidungsfreiheit einräumt (<ref-ruling> E. 2 S. 136; <ref-ruling> E. 2b S. 226 f., je mit Hinweisen). Der geschützte Autonomiebereich kann sich auf die Befugnis zum Erlass oder Vollzug eigener kommunaler Vorschriften beziehen oder einen entsprechenden Spielraum bei der Anwendung des kantonalen oder eidgenössischen Rechts betreffen. Voraussetzung ist jedoch, dass der erstinstanzliche Vollzug der Gemeinde übertragen ist und die Art der zu regelnden Materie für ein Selbstbestimmungsrecht der einzelnen Gemeinden Raum lässt.
Der Schutz der Gemeindeautonomie setzt eine solche nicht in einem ganzen Aufgabenbereich, sondern lediglich im streitigen Bereich voraus (<ref-ruling> E. 2b S. 227; Urteil des Bundesgerichts vom 22. Januar 1996, publiziert in ZBl 98/1997 S. 414 E. 3a, je mit Hinweisen).
c) Nach der bundesgerichtlichen Praxis hat der Abbruch von Bauten trotz fehlender Baubewilligung zu unterbleiben, wenn die Baute materiell nicht baurechtswidrig ist und nachträglich bewilligt werden kann. Bei der nachträglichen Beurteilung einer Baute ist grundsätzlich auf den Rechtszustand im Zeitpunkt der Errichtung der Baute abzustellen, es sei denn, das im Beurteilungszeitpunkt geltende Recht sei für den Bauherrn günstiger (<ref-ruling> E. 4 S. 69). Entsprechend dieser Rechtsprechung hatten die städtischen Baubehörden und die kantonalen Instanzen zu beurteilen, ob die Einrichtung des sexgewerblichen Salons nach dem zum Zeitpunkt der Aufnahme dieser Nutzungsweise geltenden Recht hätte bewilligt werden können bzw. ob die sexgewerbliche Nutzung nach dem zum Beurteilungszeitpunkt geltenden Recht bewilligungsfähig war. Zum Zeitpunkt der Umnutzung der Dreizimmerwohnung im Jahre 1975 richtete sich deren rechtliche Zulässigkeit in erster Linie nach dem kantonalen Gesetz über die Erhaltung von Wohnungen für Familien vom 30. Juni 1974 (WEG/ZH). Zum Beurteilungszeitpunkt war das kantonale Gesetz über die Raumplanung und das öffentliche Baurecht vom 7. September 1975 (PBG) massgebend. Das WEG/ZH war zwischenzeitlich ausser Kraft getreten. Das Verwaltungsgericht liess die Fragen offen, ob die Umnutzung im Jahre 1975 baurechtlich überhaupt bewilligungspflichtig war und ob diese nach dem WEG/ZH hätte bewilligt werden können. Ferner stimmte es mit der städtischen Baubehörden und der Baurekurskommission darin überein, dass zum Beurteilungszeitpunkt die streitige Umnutzung angesichts des für das betreffende Gebiet geltenden Wohnanteils von 83 % nach der vom Bundesgericht und vom Verwaltungsgericht bestätigten Praxis der Stadt Zürich nicht bewilligungsfähig war. Das Verwaltungsgericht erachtete vielmehr den Wiederherstellungsbefehl wegen schützenswerten Vertrauens als nicht mehr durchsetzbar bzw. wegen Zeitablaufs als verwirkt. Um beurteilen zu können, ob das Verwaltungsgericht durch die von der Beschwerdeführerin behauptete Verkennung des Vertrauensprinzips die Gemeindeautonomie der Stadt Zürich verletzt hat, muss zuerst geprüft werden, ob der Stadt Zürich im nachträglichen Baubewilligungsverfahren aufgrund des WEG/ZH bzw. des PBG überhaupt eine relativ erhebliche Entscheidungsfreiheit zukam.
d) aa) Art. 48 der zürcherischen Kantonsverfassung räumt den Gemeinden das Recht ein, ihre Angelegenheiten innerhalb der Schranken der Verfassung und Gesetze selbständig zu ordnen. Verfassungsmässige Schranken bei der Umschreibung der Gemeindeautonomie durch die kantonale Gesetzgebung sind für den hier betroffenen Bereich nicht ersichtlich und auch nicht vorgebracht worden. Die Autonomie der Stadtgemeinde Zürich reicht deshalb so weit, wie es die kantonale Gesetzgebung, hier das WEG/ZH sowie das PBG, zulässt.
bb) Das am 1. Januar 1999 ausser Kraft getretene WEG/ZH verfolgte das Ziel, Wohnungen für Familien zu erhalten, in erster Linie dadurch, dass es den Abbruch, den Umbau oder die Zweckänderung von Familienwohnungen, d.h. von Wohnungen mit mehr als zwei Zimmern, einer Bewilligungspflicht unterstellte (<ref-law>/ZH). <ref-law>/ZH ermöglichte den Gemeinden, sich diesem Gesetz zu unterstellen, wenn die in dieser Vorschrift erwähnten Voraussetzungen erfüllt waren. Es ist unbestritten, dass sich die Stadt Zürich dem WEG/ZH unterstellt hatte. Der Umstand, dass ein allfälliger Unterstellungsbeschluss der Gemeinde durch den Regierungsrat zu genehmigen war, änderte nichts daran, dass die Entscheidungsfreiheit der Gemeinde, für ihr Gebiet eigentumsbeschränkende, sozialpolitische Massnahmen einzuführen, im Sinne der Bundesgerichtspraxis als erheblich anzusehen war, zumal der Genehmigungsbeschluss nur deklaratorische Wirkung hatte. Das Bundesgericht entschied mit Urteil vom 22. März 1989 (publiziert in ZBl 90/1989, S. 451 E. 3a), dass den Gemeinden des Kantons Zürich insoweit Autonomie zukam.
<ref-law>/ZH sah die Erteilung der Bewilligung zwingend vor, wenn eine der folgenden Voraussetzungen vorlag:
a) der Abbruch, der Umbau oder die Zweckänderung
aus polizeilichen Gründen verfügt worden
ist;
b) der Abbruch, der Umbau oder die Zweckänderung
zur Verwirklichung einer diese Massnahmen
vorsehenden Planung oder eines Werkes
oder einer Anlage im überwiegenden öffentlichen
Interesse erforderlich ist;
c) es sich um ein als Eigenheim bewohntes Einfamilienhaus
handelt;
d) der Umbau luxuriöse Wohnungen betrifft und
mit keiner Zweckänderung verbunden ist;
e) wesentlich mehr Wohnraum für Familien oder
Betagte preisgünstig gebaut wird;
f) die betroffenen Wohnungen oder bei Abbruch
des Gebäudes die Mehrzahl der Wohnungen
wegen ihrer räumlichen oder hygienischen
Beschaffenheit nicht mehr genügen und preisgünstig
Wohnraum für Familien oder Betagte
erneuert oder gebaut wird, dessen Bruttofläche
insgesamt mindestens derjenigen der
bisherigen Wohnungen entspricht.
<ref-law>/ZH stellte die Erteilung einer Bewilligung ins Ermessen der entsprechenden Gemeindebehörde. Diese Bestimmung lautete wie folgt:
Die Bewilligung kann bei besonderen Umständen
und unter Abwägung der sich gegenüberstehenden
Interessen erteilt werden, namentlich wenn
a) preisgünstig Wohnraum für Familien oder
Betagte erneuert oder gebaut wird, dessen
Bruttofläche insgesamt mindestens derjenigen
der bisherigen Wohnungen entspricht;
b) die betroffenen Wohnungen oder bei Abbruch
des Gebäudes die Mehrzahl der Wohnungen
wegen ihrer räumlichen oder hygienischen
Beschaffenheit nicht mehr genügen;
c) der Eigentümer nachweist, dass er auf dem
Grundstück Räumlichkeiten seines Handels- Fabrikations- oder eines anderen von ihm
geführten Betriebes einrichten will;
d) eine unumgängliche Renovation unverhältnismässig
hohe Kosten verursachen würde.
Das Bundesgericht hielt im genannten Entscheid fest, <ref-law>/ZH räume den unterstellten Gemeinden einen erheblichen Ermessensbereich bezüglich der Erteilung von Abbruch-, Umbau- und Zweckänderungsbewilligungen ein. Dies gelte umso mehr, als diese Bestimmung die Bewilligungstatbestände nicht abschliessend umschreibe. Entsprechend bejahte es die Autonomie der Gemeinden bei der Anwendung von <ref-law>/ZH (ZBl 90/1989, S. 451 E. 3b).
Die Bausektion der Stadt Zürich und die Baurekurskommission hatten entschieden, dass eine Bewilligung für die fragliche Umnutzung weder nach § 5 noch nach <ref-law>/ZH erteilt werden könne. Das Verwaltungsgericht erwog, es könne nicht davon ausgegangen werden, dass gestützt auf §§ 4 ff. WEG/ZH eine Bewilligung für eine Zweckänderung hätte erteilt werden müssen. Anderseits könne im heutigen Zeitpunkt auch nicht ausgeschlossen werden, dass eine solche Bewilligung möglicherweise erteilt worden wäre, zumal das WEG/ZH die Bewilligungstatbestände nicht abschliessend umschrieben habe, die Rotwandstrasse mit anschliessenden Strassenzügen kaum als ideales Wohngebiet für Familien mit Kindern bezeichnet werden könne und die damalige Bewilligungspraxis der zuständigen Behörde nicht oder zu wenig bekannt sei. Das Verwaltungsgericht scheint mit seiner Argumentation die Anwendung von <ref-law>/ZH vor Augen gehabt zu haben. Aufgrund der Akten kommt die Annahme eines Bewilligungsanspruchs gemäss <ref-law>/ZH auch kaum in Betracht. Bei der Anwendung von <ref-law>/ZH verfügte die städtische Baubehörde gemäss bundesgerichtlicher Praxis über Autonomie.
cc) Es bleibt zu prüfen, ob der Bausektion auch bei der Beurteilung der streitigen Nutzweise gemäss dem PBG eine relativ erhebliche Entscheidungsfreiheit zukam.
Die Bausektion verneinte die baurechtliche Bewilligungsfähigkeit der umstrittenen Umnutzung nach neuem Recht unter Hinweis auf die städtische Praxis, wonach in Gebieten mit einer Wohnanteilsfestlegung von mehr als 50 % sexgewerbliche Betriebe nicht zulässig sind. Für die fragliche Liegenschaft sei ein Wohnanteil von 83 % vorgeschrieben.
Die Baurekurskommission und das Verwaltungsgericht schützten diese Rechtsanwendung.
Den Zürcher Gemeinden steht aufgrund der § 2 lit. c und §§ 45 ff. PBG beim Erlass der baurechtlichen Grundordnung ein weiter Gestaltungsspielraum zu. Es handelt sich um einen Bereich, in dem die Zürcher Gemeinden grundsätzlich Autonomie geniessen (Urteil des Bundesgerichts vom 5. September 1997, publiziert in ZBl 100/1999 S. 218 E. 2b; <ref-ruling> E. 4b S. 295, je mit Hinweisen). Die Gemeinden sind namentlich zuständig, innerhalb der Vorgaben des PBG in ihrer Bau- und Zonenordnung die Nutzweise der Grundstücke vorzusehen (§ 46 Abs. 1 PBG; vgl. auch § 48 Abs. 1 PBG). Die Autonomie der Gemeinden erstreckt sich auch auf die Festsetzung von Vorschriften über Mindestwohnanteile.
Das ergibt sich aus den § 49a Abs. 3 und § 250 PBG, welche den Gemeinden beim Erlass von Wohnanteilsvorschriften eine erhebliche Entscheidungsfreiheit einräumen (Urteil des Bundesgerichts vom 16. Juni 1993, publiziert in ZBl 94/1993 S. 560 E. 2a; <ref-ruling> E. 2b S. 270, mit Hinweisen).
§ 2 lit. c PBG erklärt die politischen Gemeinden zur erstinstanzlichen Gesetzesanwendung, wozu auch die Anwendung kommunaler Erlasse zählt (§ 3 Abs. 2 PBG), als zuständig.
Die Stadt Zürich verfolgt seit längerem die Praxis, wonach in Gebieten mit einer Wohnanteilsfestlegung von mehr als 50 % sexgewerbliche Betriebe nicht zulässig sind. Diese Praxis hat nun auch Aufnahme gefunden in die neue Bau- und Zonenordnung der Stadt Zürich von 1999, welche am 2. September 2000 teilweise in Kraft gesetzt wurde (vgl. dazu Felix Christen, Die Stadt Zürich auf dem Weg zu einer neuen Bau- und Zonenordnung, PBG aktuell 4/2000, S. 5 ff., S. 22, 34).
Bei der Beurteilung der Frage, ob eine sexgewerbliche Nutzung in einem Gebiet, für welches der kommunale Zonenplan einen Wohnanteil von 83 % vorsieht, zonenverträglich ist, geht es primär um die Anwendung kommunalen Rechts, bei welcher der Gemeinde Autonomie zukommt. Das Bundesgericht erachtete es nicht als verfassungswidrig, dass das Zürcher Verwaltungsgericht das Sexgewerbe aus einer intensiv genutzten Wohnzone mit einem Wohnanteil von 80 bzw. 83 % wegen den damit erfahrungsgemäss verbundenen übermässigen ideellen Immissionen auf die Nachbarschaft generell ausschloss (unveröffentlichtes Urteil vom 26.11.1997 i.S. P. gegen Stadt Zürich [1P. 191/1997] E. 5c).
dd) Zusammenfassend steht somit fest, dass der Stadt Zürich im nachträglichen Baubewilligungsverfahren sowohl in Bezug auf das WEG/ZH wie auch das PBG eine relativ erhebliche Entscheidungsfreiheit und damit Autonomie zukam.
e) Die Stadt Zürich kann sich folglich dagegen zur Wehr setzen, dass eine kantonale Behörde in einem Rechtsmittelverfahren ihre Prüfungsbefugnis überschreitet oder die den betreffenden Sachbereich ordnenden kommunalen, kantonalen oder bundesrechtlichen Vorschriften falsch anwendet. Soweit es um die Handhabung von eidgenössischem oder kantonalem Verfassungsrecht geht, prüft das Bundesgericht das Vorgehen der kantonalen Behörden mit freier Kognition, sonst nur auf Willkür hin. Die Gemeinden können in diesem Rahmen auch geltend machen, die kantonalen Instanzen hätten die Tragweite eines Grundrechts verkannt und dieses zu Unrecht als verletzt betrachtet (<ref-ruling> E. 2 S. 136 f. mit Hinweisen).
Im vorliegenden Fall geht es um die Frage, ob das Verwaltungsgericht des Kantons Zürich die Tragweite des aus <ref-law> folgenden Vertrauensgrundsatzes verkannt und zu Unrecht als verletzt angeschaut hat bzw. ob das Gericht den aus der bundesgerichtlichen Praxis folgenden Grundsatz, dass der Anspruch auf Wiederherstellung des rechtmässigen Zustandes nach Ablauf einer längeren Zeit verwirkt, falsch angewendet hat.
3.- a) Nach der bundesgerichtlichen Praxis verwirkt im Bereich des Baurechts der Anspruch der Behörden, die Wiederherstellung des rechtmässigen Zustandes zu verlangen, aus Gründen der Rechtssicherheit grundsätzlich nach 30 Jahren (<ref-ruling> ff.). Eine Ausnahme davon ist dann zu machen, wenn die Wiederherstellung des rechtmässigen Zustandes aus baupolizeilichen Gründen im engeren Sinne geboten ist, namentlich wenn durch den Fortbestand eines baugesetzwidrigen Gebäudes oder Zustandes eine ernsthafte und unmittelbare Gefahr für Leib und Leben der Bewohner oder der Passanten geschaffen wird (<ref-ruling> E. 1a S. 123). Die Frist von 30 Jahren ergibt sich einerseits aus einer analogen Anwendung der zivilrechtlichen Regeln über die ausserordentliche Ersitzung von Grundeigentum im Sinne von <ref-law>. Die Befristung des Wiederherstellungsanspruchs hat zur Folge, dass der Grundeigentümer sozusagen das Recht "ersitzt", den an sich baurechtswidrigen Zustand beizubehalten. Andererseits sprechen praktische Gründe für die 30-jährige Frist.
Auf die Dauer von drei Jahrzehnten zurück kann das geltende kommunale und kantonale Baurecht sowie die Praxis hiezu noch einigermassen sicher festgestellt werden (<ref-ruling> E. 1b S. 123 f.).
Eine kürzere Verwirkungsfrist rechtfertigt sich nach der bundesgerichtlichen Praxis aus Gründen des Vertrauensschutzes (<ref-law>). Dies ist namentlich dann der Fall, wenn die Baupolizeibehörden zwar vor Ablauf der 30-jährigen Frist einschreiten, den baurechtswidrigen Zustand aber über Jahre hinaus duldeten, obschon ihnen die Gesetzwidrigkeit bekannt war oder sie diese bei Anwendung der gebotenen Sorgfalt hätten kennen müssen (<ref-ruling> E. 1c S. 124).
b) Im vorliegenden Fall sind zwischen der erstmaligen sittenpolizeilichen Registrierung des Massagesalons (15. Juli 1975) und dem Zeitpunkt, an dem sich die Baupolizei erstmals an den betreffenden Stockwerkeigentümer wandte (26. Juli 1999), rund 24 Jahre verstrichen. Damit ist die 30-jährige Verwirkungsfrist noch nicht abgelaufen. Es fragt sich demnach, ob hier der Anspruch der Stadt Zürich auf Wiederherstellung des rechtmässigen Zustandes aufgrund des Vertrauensschutzprinzips untergegangen ist.
4.- a) Nach Auffassung des Verwaltungsgerichts haben die städtischen Behörden dadurch einen Vertrauenstatbestand geschaffen, dass sie die sexgewerblichen Dienstleistungen während sehr langer Zeit duldeten. Die Baupolizei müsse sich das Wissen der Sittenpolizei anrechnen lassen. Angesichts der langen Zeitdauer müsse auch nicht mehr erstellt sein, dass sich die zuständigen städtischen Behörden gegenüber dem Stockwerkeigentümer positiv dahingehend geäussert oder durch entsprechendes Verhalten die Meinung hätten aufkommen lassen, sie billigten die sexgewerbliche Nutzung. Das Vertrauen des Beschwerdeführers, eine sexgewerbliche Nutzung sei im konkreten Fall zulässig, sei ferner dadurch bestärkt worden, dass er bis am 26. Juli 1999 keine Aufforderung zur Aufhebung dieser Nutzung erhielt, während die Bausektion der Stadt Zürich seit 1994 in zahlreichen Fällen den Eigentümern von sexgewerblichen Etablissements die nachträgliche Bau- bzw. Nutzungsbewilligung verweigerte, sofern es sich um Sexgewerbe in Zonen mit einem Wohnanteil von über 50 % handelte.
Das Verwaltungsgericht hält zudem die Verletzung öffentlicher Interessen nicht für allzu schwer.
b) Die Beschwerdeführerin erachtet es als willkürlich, dass sich die städtische Baupolizei in einem Fall wie dem vorliegenden das Wissen einer anderen Polizeiabteilung anrechnen lassen müsse. Das Wissen um einen bestimmten Sachverhalt könne der Stadt Zürich nur dann angerechnet werden, wenn die für diesen Sachbereich zuständige Amtsstelle - und nicht etwa eine beliebige andere Dienststelle - davon Kenntnis erhalten habe. Ansonsten würde der geordnete Gang der Verwaltungstätigkeit in untragbarer Weise gestört. Das Verwaltungsgericht sei zudem ohne zureichende Begründung von seiner früheren Praxis abgewichen, wonach sich die Steuerbehörden nicht um baurechtliche Fragen zu kümmern hätten.
Das Gleiche gelte auch für die Sittenpolizei. Ferner bringt die Beschwerdeführerin vor, selbst bei der Annahme, dass der private Beschwerdegegner in seinem Vertrauen in die Rechtmässigkeit der Nutzung bestärkt worden sei, könne dies nur für einen kurzen Zeitraum gelten. Solange die Sicherheit nicht bestanden habe, dass die von der Bausektion 1994 vorgenommene Praxisänderung vor den Rechtsmittelinstanzen Bestand haben würde, seien Wiederherstellungsbefehle aus verwaltungsökonomischen Gründen nur mit Zurückhaltung erlassen worden. Klarheit über die Zulässigkeit der Praxis der städtischen Baubehörden habe erst das Bundesgerichtsurteil vom 26. November 1997 gebracht. Hinzu komme, dass das angebliche Vertrauen des Grundeigentümers zu einem sehr viel früheren Zeitpunkt massiv erschüttert worden sei, indem ihm bereits im Jahre 1989 betreffend einer weiteren ihm gehörenden Liegenschaft die Räumung der dortigen Massagesalons befohlen wurde. Schliesslich bringt die Beschwerdeführerin auch vor, dass im vorliegenden Fall das öffentliche Interesse und das Interesse von direkt betroffenen Dritten an einem geordneten Baubewilligungsverfahren und an der materiellen Einhaltung der Rechtsordnung unterbewertet worden sei.
c) Solange die zuständigen Behörden angesichts eines baurechtswidrigen Zustandes bloss untätig geblieben sind, erscheint grosse Zurückhaltung bei der Deutung der Untätigkeit als behördliche Duldung geboten (Walter Haller/ Peter Karlen, Raumplanungs-, Bau- und Umweltrecht, Bd. I,
3. Aufl. , Zürich 1999, N. 879; Urteil des Zürcher Verwaltungsgerichts vom 12. Juni 1987 in ZBl 89/1988, S. 261 ff.
E. 3b). Im vorliegenden Fall unternahmen die städtischen Baubehörden während 24 Jahren nichts gegen die sexgewerbliche Nutzung der betreffenden Dreizimmerwohnung, obwohl die Sittenpolizei seit Juli 1975 Kenntnis von dieser Nutzweise hatte. Die Beschwerdeführerin macht zwar geltend, das Wissen der Sittenpolizei könne der Baupolizei nicht angerechnet werden. Auf der anderen Seite führt sie aus, dass die Stadt Zürich versuche, den Auswüchsen des Sexgewerbes mit seinen Beeinträchtigungen der Wohnbevölkerung durch baurechtliche Mittel zu begegnen. Eine solche Vorgehensweise erfordert gerade eine enge Zusammenarbeit zwischen der Sitten- und der Baupolizei. Insofern besteht auch ein Unterschied zwischen Steuerbehörden und Sittenpolizei. Wie die Anfrage der Baupolizei bei der Sittenpolizei im vorliegenden Fall zeigt, stützt sich die erstere im Bereich sexgewerblicher Nutzungen zudem auch auf Sachverhaltsabklärungen der letzteren.
Der Umstand, dass die Baupolizei - wie die Beschwerdeführerin vorbringt - aus personellen und zeitlichen Gründen nicht in der Lage sei, systematisch gegen alle Salons vorzugehen, sondern nur eingreifen könne, wo Klagen aus der Bevölkerung bzw. der Nachbarschaft vorgebracht werden oder wo sie selber direkt Kenntnis erhalte, kann dem Stockwerkeigentümer nicht entgegengehalten werden. Es wäre zudem kaum mit einem grossen Aufwand verbunden gewesen, sich einen Überblick darüber zu verschaffen, welche von der Sittenpolizei registrierten Massagesalons sich in Zonen mit einem Wohnanteil von über 50 % befinden. Bei der Anwendung der gebotenen Sorgfalt wäre die von der Beschwerdeführerin für die gesamte Dauer von 24 Jahren behauptete Gesetzwidrigkeit (gemäss WEG/ZH bzw.
der seit 1994 verfolgten städtischen Praxis) jedenfalls erkennbar gewesen. Damit kann die langjährige Untätigkeit der Baubehörden als Duldung des (allfällig) rechtswidrigen Zustandes gedeutet werden, die grundsätzlich geeignet ist, einen Vertrauenstatbestand zu begründen (vgl. dazu auch das Urteil des Bundesgerichts vom 9. Mai 1979 in ZBl 81/1980, S. 70 ff., E. 3b, in welchem ein Vertrauenstatbestand angenommen wurde, nachdem die Behörden während 20 Jahren nichts gegen eine baurechtswidrige Baute unternommen hatten). Die bis 1997 bestandene rechtliche Unklarheit, ob die städtische Praxis vor den Rechtsmittelinstanzen Bestand habe würde, kann sich zudem nicht zu Ungunsten der Rechtsunterworfenen auswirken.
Auch wenn die Baubehörden durch die langjährige Duldung des baurechtswidrigen Zustandes einen Vertrauenstatbestand geschaffen haben, kann sich die Gegenpartei auf Vertrauensschutz nicht berufen, wenn sie die Rechtswidrigkeit bei zumutbarer Sorgfalt hätte erkennen können, also insofern bösgläubig ist (vgl. Beatrice Weber-Dürler, Vertrauensschutz im öffentlichen Recht, Basel und Frankfurt am Main 1983, S. 231; Walter Haller/Peter Karlen, a.a.O, N. 878; Ulrich Häfelin/Georg Müller, Grundriss des Allgemeinen Verwaltungsrechts,
3. Aufl. , Zürich 1998, N. 553; <ref-ruling> E. 6a S. 221 ff.).
Gemäss den Ausführungen des Verwaltungsgerichts war die baurechtliche Bewilligungspflicht der im Juli 1975 erfolgten Nutzungsänderung gemäss damals geltendem Recht fraglich.
Offen bleiben müsse auch, ob die Umnutzung nach dem WEG/ZH nicht doch bewilligungsfähig gewesen wäre. Damit war die Rechtslage zumindest bis zur Bestätigung der Zulässigkeit der 1994 eingeführten städtischen Praxis durch die Rechtsmittelinstanzen nicht eindeutig und eine allfällige Baurechtswidrigkeit für den Stockwerkeigentümer und allfällige Rechtsvorgänger nicht von vorneherein erkennbar. Allerdings hätte dem Stockwerkeigentümer spätestens seit der Räumung der Massagesalons in der anderen ihm gehörenden Liegenschaft bewusst sein müssen, dass gemäss dem WEG/ZH eine Bewilligungspflicht für die Umnutzung bestimmter Wohnungen bestand. Die Sorgfaltspflicht hätte es geboten, sich bei den Baubehörden - wenn nicht schon früher so zumindest doch zu diesem Zeitpunkt - nach dem Erfordernis einer Nutzungsbewilligung zu erkundigen. Insofern ist es fraglich, ob der Stockwerkeigentümer gutgläubig und deshalb in seinen durch die langjährige Duldung der sexgewerblichen Nutzung geschaffenen Erwartungen zu schützen ist.
Indessen braucht nicht abschliessend geprüft zu werden, ob das Verwaltungsgericht hier die Gemeindeautonomie dadurch verletzte, dass es die Tragweite des Vertrauensschutzprinzips (<ref-law>) insofern verkannte, als es nicht prüfte, ob der Stockwerkeigentümer überhaupt gutgläubig war.
Wie in der nachfolgenden Erwägung darzulegen ist, hat das Verwaltungsgericht den Entscheid der Baurekurskommission noch aus einem anderen Grund aufgehoben und diese zweite Begründung verletzt die Gemeindeautonomie der Stadt Zürich nicht.
5.- a) Das Verwaltungsgericht erachtete den Anspruch auf Wiederherstellung des rechtmässigen Zustandes nicht nur wegen Schaffung eines Vertrauenstatbestandes als verwirkt, sondern auch wegen Zeitablaufs. Es ging dabei von der bundesgerichtlichen Rechtsprechung aus, wonach die massgebliche Frist 30 Jahre beträgt (<ref-ruling> ff.). Das Verwaltungsgericht führte aus, dass dem Sachverhalt im genannten Bundesgerichtsentscheid ein versteckter, wohnungsinterner Mangel zugrunde liege, der den Polizeiorganen vollständig verborgen geblieben und keiner städtischen Verwaltungsabteilung bekannt war. In früheren Fällen habe es - das Verwaltungsgericht - entschieden, dass die Frist bei einem offen zu Tage liegenden Mangel auf weniger als 30 Jahre bemessen werden müsste. Im vorliegenden Fall habe die städtische Sittenpolizei seit dem 15. Juli 1975 Kenntnis von der Eröffnung eines Massagesalons in der hier interessierenden Wohnung. Aufgrund dieser offiziellen Kenntnis einer städtischen Polizeiabteilung könne nicht mehr von einem versteckten, den Polizeiorganen verborgen gebliebenen Verstoss gegen baurechtliche Bestimmungen gesprochen werden. Vielmehr sei ein solcher Sachverhalt einem offen zu Tage liegenden Mangel bzw. Regelverstoss gleichzusetzen. Zwischen dem 15. Juli 1975 und seinem - dem verwaltungsgerichtlichen - Entscheid seien mehr als 25 Jahre verflossen. Der Wiederherstellungsanspruch sei deshalb verwirkt.
Die Beschwerdeführerin wendet dagegen ein, die im Gebäudeinnern stattfindende Nutzung als Massagesalons habe als verborgener Mangel zu gelten. Die 30-jährige Frist sei noch nicht abgelaufen.
b) Das Bundesgericht hat die Frist von 30 Jahren für den Fall festgelegt, dass entsprechende Regeln fehlen (<ref-ruling> E. 1b S. 123 f.). Grundsätzlich liegt es in der Kompetenz der Kantone, ihr öffentliches Baurecht und insbesondere die materiellen und formellen Voraussetzungen für die Wiederherstellung des rechtmässigen Zustandes zu regeln. Den Kantonen steht es frei, kürzere Verwirkungsfristen vorzusehen, namentlich dann, wenn die Rechtswidrigkeit für die Behörden erkennbar war (vgl. etwa Art. 46 Abs. 3 des Baugesetzes des Kantons Bern vom 9. Juni 1985, welcher bestimmt, dass nach Ablauf von fünf Jahren, seitdem die Rechtswidrigkeit erkennbar war, die Wiederherstellung des rechtmässigen Zustandes nur verlangt werden kann, wenn zwingende öffentliche Interessen es erfordern). Allein der Umstand, dass das Bundesgericht seine Rechtsfindung auf eine analoge Anwendung von <ref-law> gestützt hat, bewirkt noch nicht, dass kürzere Fristen verfassungswidrig wären. Die Rechtssicherheit verlangt einzig, dass der Wiederherstellungsanspruch befristet sein muss (<ref-ruling> E. 1a S. 123), wobei die 30-jährige Frist eine Maximalfrist darstellt.
<ref-ruling> ff. betraf zwar einen Zürcher Fall.
Dem Zürcher Verwaltungsgericht ist es jedoch unbenommen, die vom Bundesgericht mangels gesetzlicher Regel in richterlicher Rechtsfindung gewonnene Fristbestimmung zu interpretieren und dabei namentlich bei einem offen zu Tage tretenden Mangel bzw. einem für die Baubehörden bei Anwendung der gebotenen Sorgfalt erkennbaren baurechtswidrigen Zustand eine kürzere Verwirkungsfrist anzunehmen. Der Beschwerdeführerin kann nicht gefolgt werden, dass es sich bei der sexgewerblichen Nutzung um einen verborgenen Mangel handeln soll. Der Betrieb des Massagesalons war immerhin von der Sittenpolizei registriert worden. Der Beibehaltung des rechtswidrigen Zustandes stehen im vorliegenden Fall auch keine schwerwiegenden öffentlichen Interessen entgegen. Soweit aus den Akten hervorgeht, liegen ferner keine Beschwerden der Nachbarn vor. Die Rechtsanwendung des Verwaltungsgerichts kann aus verfassungsrechtlicher Sicht nicht beanstandet werden. Demnach hat das Verwaltungsgericht durch die Aufhebung des Wiederherstellungsbefehls wegen Ablaufs der Verwirkungsfrist die Gemeindeautonomie der Stadt Zürich nicht verletzt.
6.- Zusammenfassend ergibt sich, dass die staatsrechtliche Beschwerde unbegründet und deshalb abzuweisen ist. Die Beschwerdeführerin hat trotz des Unterliegens keine Kosten für das bundesgerichtliche Verfahren zu tragen, da sie nicht aus Vermögensinteresse gehandelt hat (Art. 156 Abs. 2 OG).
Der Beschwerdegegner hat für das Verfahren vor Bundesgericht Anspruch auf eine angemessene Parteientschädigung durch die Beschwerdeführerin (Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen.
2.- Es werden keine Kosten erhoben.
3.- Die Beschwerdeführerin hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien sowie dem Verwaltungsgericht des Kantons Zürich schriftlich mitgeteilt.
_
Lausanne, 19. September 2001
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: