(Baubewilligung, Befehl, Verwirkung, Vertrauensschutz), hat sich ergeben: A.- Im ersten Obergeschoss des Gebäudes Y._-strasse XX, Zürich 4 - Aussersihl, wird seit mindestens Mitte der siebziger Jahre eine Dreizimmerwohnung ausschliesslich zu sexgewerblichen Zwecken genutzt. Eine Bewilligung für diese Nutzweise ist nie erteilt worden. Die städtische Sittenpolizei registrierte den Betrieb des Massagesalons erstmals per 15. Juli 1975. Gemäss Darstellung der Stadt Zürich, welche vom Wohnungseigentümer bestritten wird, erhielt das Amt für Baubewilligungen der Stadt Zürich erst im Juli 1999 von der Umnutzung der Wohnung Kenntnis, als sich die damalige Wohnungsmieterin beim Amt erkundigte, ob eine entsprechende Baubewilligung bezüglich dieser Räume vorliege. Mit Schreiben vom 26. Juli 1999 machte die Baupolizei den Eigentümer der betreffenden Stockwerkseinheit auf die unbewilligte Nutzungsänderung aufmerksam und gab ihm Gelegenheit zur Stellungnahme. Am 26. Oktober 1999 verweigerte die Bausektion der Stadt Zürich die (nachträgliche) baurechtliche Bewilligung für die Einrichtung eines sexgewerblichen Salons im betreffenden Gebäude und ordnete die Wiederherstellung des rechtmässigen Zustandes an. Der Bauentscheid wurde damit begründet, dass die Zweckänderung der Dreizimmerwohnung zu keinem Zeitpunkt hätte bewilligt werden können. B.- Gegen den Entscheid der städtischen Bausektion rekurrierte der Eigentümer an die Baurekurskommission I des Kantons Zürich. Diese wies den Rekurs am 28. April 2000 ab. Der Eigentümer zog den Rekursentscheid an das Verwaltungsgericht des Kantons Zürich weiter, welches die Beschwerde am 29. September 2000 guthiess. Das Gericht erwog im Wesentlichen, es sei fraglich, ob die spätestens im Juli 1975 erfolgte Nutzungsänderung gemäss damals geltendem Recht baurechtlich überhaupt bewilligungspflichtig war. Ferner hätten zum damaligen Zeitpunkt die kommunalen Vorschriften über den Wohnanteil noch nicht in Kraft gestanden. Zwar habe das damals geltende Gesetz über die Erhaltung von Wohnungen für Familien vom 30. Juni 1974 (WEG/ZH) den Abbruch, den Umbau und die Zweckänderung von solchen Wohnungen für bewilligungspflichtig erklärt und es dürfe nicht davon ausgegangen werden, dass eine Zweckänderungsbewilligung hätte erteilt werden müssen. Indessen könne auch nicht ausgeschlossen werden, dass eine solche Bewilligung möglicherweise erteilt worden wäre, zumal das WEG/ZH die Bewilligungstatbestände nicht abschliessend umschrieben habe. Unbestritten sei, dass die fragliche Umnutzung zum heutigen Zeitpunkt angesichts des für das betreffende Gebiet geltenden Wohnanteils von 83 % nicht bewilligungsfähig wäre. Das Verwaltungsgericht hielt sodann fest, die städtische Verwaltung habe durch die Duldung der (allenfalls) rechtswidrigen Nutzung während 25 Jahren einen Vertrauenstatbestand geschaffen, der dem Anspruch auf Wiederherstellung des rechtmässigen Zustandes entgegenstehe. Die städtische Baupolizei müsse sich das Wissen der städtischen Sittenpolizei anrechnen lassen. Ferner sei der Wiederherstellungsanspruch auch wegen Zeitablaufs untergegangen. C.- Gegen den Entscheid des Verwaltungsgerichts führt die Stadt Zürich mit Eingabe vom 5. Dezember 2000 staatsrechtliche Beschwerde wegen Verletzung der Gemeindeautonomie (Art. 50 Abs. 1 BV). Sie macht geltend, das Verwaltungsgericht habe das Vertrauensprinzip zugunsten des privaten Beschwerdegegners ungerechtfertigt gewichtet. Es entspreche einer willkürlichen Betrachtungsweise, wenn sich die städtische Baupolizei das Wissen einer anderen Polizeiabteilung anrechnen lassen müsse. Sie beantragt Gutheissung der Beschwerde und Aufhebung des angefochtenen Entscheids. D.- Das Verwaltungsgericht des Kantons Zürich und der Beschwerdegegner beantragen, die Beschwerde abzuweisen, soweit darauf einzutreten sei.