Sachverhalt:
A. Die Bausektion des Stadtrates von Zürich verweigerte am 20. April 2007 X._ und Mitbeteiligten die nachträgliche baurechtliche Bewilligung für die Einrichtung von sexgewerblichen Massagesalons im ersten bis vierten Obergeschoss des fünfstöckigen Gebäudes auf dem Grundstück Kat.-Nr. yyy; die Liegenschaft befindet sich im Zentrum von Zürich-Oerlikon. Gleichzeitig befahl die Behörde den Betroffenen, den rechtmässigen Zustand wiederherzustellen.
B. Gegen den kommunalen Entscheid gelangten X._ und Mitbeteiligte zunächst an die Baurekurskommission I des Kantons Zürich. Diese wies den Rekurs am 13. September 2007 ab. In der Folge wies das Verwaltungsgericht des Kantons Zürich ihre hiergegen gerichteten Beschwerde mit Entscheid vom 12. März 2008 ab.
C. Mit Eingabe vom 14. Mai 2008 erhebt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten. Er beantragt, den angefochtenen Entscheid aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Die Bausektion des Stadtrates und das Verwaltungsgericht ersuchen um Abweisung der Beschwerde, soweit darauf einzutreten sei. In der Replik hält der Beschwerdeführer an seinem Begehren fest.
D. Der Präsident der I. öffentlich-rechtlichen Abteilung hat das Gesuch des Beschwerdeführers um Gewährung der aufschiebenden Wirkung mit Verfügung vom 11. Juni 2008 abgewiesen.

Erwägungen:
1. Der angefochtene, kantonal letztinstanzliche Entscheid bestätigt die Verweigerung einer nachträglichen Baubewilligung und die Verpflichtung zur Wiederherstellung des rechtmässigen Zustands. Hiergegen steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (<ref-law>). Der Beschwerdeführer ist als Baugesuchsteller und Grundeigentümer zur Beschwerde legitimiert (<ref-law>). Vorbehältlich der Zulässigkeit der einzelnen Rügen (vgl. Art. 42 Abs. 2 i.V.m. <ref-law>) ist auf die Beschwerde einzutreten.
2. Das fragliche Gebäude wird im Erdgeschoss gewerblich genutzt. Die Obergeschosse weisen pro Stockwerk eine Wohnung auf; die Wohnungen verfügen jeweils über vier Zimmer (plus Küche und Nasszellen). Das Verwaltungsgericht stellte - ohne sich näher festzulegen - fest, die eigenmächtige Umnutzung als Massagesalons sei nicht vor 1996 erfolgt. Die Frage der Bewilligungsfähigkeit beurteilte das Verwaltungsgericht aufgrund des zur Zeit der eigenmächtigen Nutzungsänderung geltenden Rechts; neueres Recht sei zu berücksichtigen, falls es sich zugunsten der Bauherrschaft auswirke. Dabei gelangte es zum Schluss, dass das Vorhaben weder damals noch seither bewilligungsfähig gewesen sei. Die Wiederherstellung des rechtmässigen Zustands erachtete das Verwaltungsgericht als verhältnismässig.
Im Einzelnen erwog das Verwaltungsgericht, die Liegenschaft sei in der fraglichen Zeitspanne stets den städtischen Regelungen über den Wohnanteilplan unterstanden. Bei allen Salons handle es sich gemäss Polizeirapport vom 17. Oktober 2006 um sexgewerbliche Betriebe mit mehreren Arbeitsplätzen und nicht um erotische Dienstleistungen, die von einer Person in ihrer Privatwohnung angeboten würden. Die Unterbringung der in den Salons tätigen Personen lasse sich vorliegend nicht als Wohnnutzung im Sinne des kommunalen Wohnanteilplans qualifizieren. Mit anderen Worten lehnte das Verwaltungsgericht das Vorliegen einer teilweisen Wohnnutzung ab und betrachtete die Wohnungen als Einheiten für die Frage, ob eine Umnutzung den Wohnanteilplan verletze.
Gemäss dem angefochtenen Entscheid war für die Liegenschaft bis zum Inkrafttreten der heute geltenden Bau- und Zonenordnung vom 23. Oktober 1991 (BZO) ein Wohnanteil von 66 Prozent vorgeschrieben. Eine solche Vorgabe folge sowohl aus der bis zum 14. Juni 1996 gültigen Bau- und Zonenordnung von 1963 als auch aus der anschliessenden, von der kantonalen Baudirektion aufsichtsrechtlich erlassenen Ordnung. Da das Erdgeschoss gewerblich genutzt werde, sei der nach jenen Regelungen vorgesehene Wohnanteil bereits mit der Umnutzung bloss einer Wohnung zu einem Massagesalon unterschritten worden. Seit Dezember 1994 habe die Stadt Zürich eine konstant restriktive Praxis befolgt, wonach in Gebieten mit einer Wohnanteilsfestlegung von mehr als 50 Prozent sexgewerbliche Salons oder ähnliche Betriebe nicht zulässig seien. Gemäss der derzeitigen BZO befinde sich die Liegenschaft in einer Quartiererhaltungszone mit einem Wohnanteil von 60 Prozent. Nach Art. 24c Abs. 3 BZO seien sexgewerbliche Salons oder vergleichbare Einrichtungen nicht zulässig, wenn ein Wohnanteil von mindestens 50 Prozent vorgeschrieben sei.
Ergänzend nahm das Verwaltungsgericht Bezug auf das am 1. Januar 1999 ausser Kraft getretene, kantonale Gesetz vom 30. Juni 1974 über die Erhaltung von Wohnungen für Familien (aWEG/ZH; vgl. dazu das Urteil des Bundesgerichts 1P.768/2000 vom 19. September 2001, E. 2d/bb, in: ZBl 103/2002 S. 188). Es legte dar, dass jenes Gesetz auf die hier betroffenen 4-Zimmer-Wohnungen anwendbar war. Nach Ansicht des Verwaltungsgerichts sind keine Gründe ersichtlich, weshalb die fraglichen Umnutzungen gestützt auf § 5 und § 6 des Gesetzes bewilligt worden wären.
3. Der Beschwerdeführer hält daran fest, dass die Umnutzung der Wohnungen zu Massagesalons bewilligungsfähig sei. Mit dieser Stossrichtung erhebt er verschiedene Rügen.
3.1 Vom Beschwerdeführer wird nicht bestritten, dass die Massagesalons sexgewerbliche Betriebe mit mehreren Arbeitsplätzen darstellen und in den Räumlichkeiten nur Personen wohnen, die gleichzeitig in diesen Betrieben arbeiten. Nach seiner Darstellung macht jedoch die Wohnnutzung dieser Personen innerhalb der einzelnen Wohnungen mindestens 66 Prozent aus. Das Verwaltungsgericht habe ohne hinreichende Abklärungen gesagt, dass die Wohnnutzung hier von untergeordneter Natur sei. Diese Einschätzung des Verwaltungsgerichts sei nicht nur in der Sache fehlerhaft, sondern auch - wegen mangelhafter Beweiserhebung - unter Verletzung des rechtlichen Gehörs zustande gekommen.
Bei Betrieben der vorliegenden Art setzt das Verwaltungsgericht für die Annahme einer Wohnnutzung, bezogen auf einen Teil der Räume, voraus, dass eine klare interne Aufteilung zwischen den beiden Nutzungen besteht und diese durch je einen separaten Zugang gewährleistet wird. Diese Anforderungen sind nach dem Verwaltungsgericht hier nicht gegeben. Der Beschwerdeführer stellt nicht grundsätzlich in Abrede, dass die soeben erwähnten Kriterien des Verwaltungsgerichts sachgerecht sind. Zwar lässt er sich breit über die interne Zuordnung der Zimmer aus und betont, die Nutzungen seien voneinander getrennt. Er räumt aber ein, dass die Kunden der Massagesalons das WC in dem Wohnungsteil benützen, den er als für Wohnzwecke reserviert bezeichnet. Bei dieser Sachlage durfte das Verwaltungsgericht das Vorliegen einer relevanten Wohnnutzung in den Räumlichkeiten verwerfen. Es war nicht gehalten, weitere Abklärungen zu diesem Punkt vorzunehmen.
3.2 Teilweise unter Bezugnahme auf §§ 5 f. aWEG/ZH hält der Beschwerdeführer dem Verwaltungsgericht vor, den Charakter der Umgebung nicht hinreichend abgeklärt zu haben. Zu Unrecht gehe es von einer familienfreundlichen Gegend aus. In Wahrheit bestehe hier die Wohnzone nur noch auf dem Papier. Der in diesem Zusammenhang sinngemäss erhobene Vorwurf einer Gehörsverletzung ist unbehelflich. Das Verwaltungsgericht hat sich mit der Liegenschaft, was ihre Lage und ihre Zonenzuordnung angeht, hinreichend auseinandergesetzt.
3.3 Weiter zweifelt der Beschwerdeführer an, dass die Stadt Zürich bereits seit Dezember 1994 eine durchgehend restriktive Praxis bezüglich sexgewerblichen Betrieben in Zonen mit einem Wohnanteil von über 50 Prozent geübt habe.
3.3.1 Das Bundesgericht hat sich in einem Urteil vom 5. Mai 2003 zu den Anforderungen an den Nachweis einer entsprechenden Praxis geäussert. Dabei hielt es aufgrund der damaligen Aktenlage fest, es beständen Anhaltspunkte, dass die Stadt Zürich erst im Verlauf des Jahres 1995 zu dieser Praxis übergegangen sei (Urteil 1P.771/2001, E. 10.2, erwähnt in: ZBl 105/2004 S. 111). Im vorliegenden Fall hat die Stadt Zürich wiederum mehrere Belege für den Nachweis der Praxis ab Dezember 1994 eingereicht. Auf diese Indizien stützt sich der angefochtene Entscheid. Der Beschwerdeführer äussert sich nicht zur Feststellung, dass die eigenmächtigen Umnutzungen bei seiner Liegenschaft nicht vor dem Jahr 1996 erfolgt sind. Mit dem Beweiswert der hier für massgeblich erklärten städtischen Belege setzt er sich nicht einmal ansatzweise auseinander. Da es in dieser Hinsicht an rechtsgenüglichen Rügen fehlt (vgl. zu den Anforderungen an die Begründungspflicht der Beschwerde <ref-ruling> E. 1.4 S. 254 f.), ist dem Bundesgericht eine Überprüfung verwehrt.
3.3.2 Statt dessen macht der Beschwerdeführer geltend, die Stadt Zürich habe im September 1996 eine baurechtliche Bewilligung für Reklamen zugunsten eines Sexshops in der Nachbarschaft erteilt. Ausserdem befinde sich in der Nähe ein bewilligtes Sexkino. Der Beschwerdeführer erörtert allerdings nicht konkret, inwiefern bei diesen angeblichen Vergleichsbeispielen eine Wohnanteilspflicht betroffen sein soll. In dieser Hinsicht erweist sich die Argumentation in unzulässiger Weise als appellatorisch, so dass ebenfalls nicht darauf eingetreten werden kann. Die Vorbringen sind daher auch nicht geeignet, eine Verletzung des Gleichbehandlungsgebots darzutun.
3.4 Aufgrund der vorstehenden Erwägungen ist es nicht zu beanstanden, dass das Verwaltungsgericht die umstrittenen Umnutzungen zu keiner Zeit als bewilligungsfähig angesehen hat. Unter diesen Umständen muss nicht vertieft auf den zusätzlichen Vorwurf eingegangen werden, wonach die Möglichkeit einer Ausnahmebewilligung nicht ernsthaft geprüft worden sei. Dieser Gehörsrüge kann von vornherein kein Erfolg beschieden sein. Im Übrigen hat die Stadt Zürich in der Vernehmlassung an das Bundesgericht insoweit unwidersprochen erläutert, dass der Beschwerdeführer und die Mitbeteiligten kein Gesuch um Ausnahmebewilligung gestellt hatten.
4. Ferner rügt der Beschwerdeführer, die Anordnung zur Wiederherstellung des rechtmässigen Zustands verstosse gegen das Verhältnismässigkeitsprinzip und den Grundsatz von Treu und Glauben. Gleichzeitig habe das Verwaltungsgericht § 341 des kantonales Planungs- und Baugesetzes vom 7. September 1975 (PBG/ZH; LS 700.1) willkürlich angewendet. Nach dieser Bestimmung hat die zuständige Behörde ohne Rücksicht auf Strafverfahren und Bestrafung den rechtmässigen Zustand herbeizuführen. Der Willkürrüge kommt hier keine eigenständige Bedeutung zu.
4.1 Der Umstand, dass die eigenmächtigen Umnutzungen nachträglich nicht bewilligt werden können, hat noch nicht zur Folge, dass diese aufgegeben und der rechtmässige Zustand wiederhergestellt werden muss. Vielmehr sind die in diesem Zusammenhang massgebenden allgemeinen verfassungs- und verwaltungsrechtlichen Prinzipien zu berücksichtigen. Zu ihnen gehören namentlich die Grundsätze der Verhältnismässigkeit und des Schutzes des guten Glaubens. So kann die Wiederherstellung des rechtmässigen Zustands unterbleiben, wenn die Abweichung vom Erlaubten nur unbedeutend ist oder die Wiederherstellung nicht im öffentlichen Interesse liegt, ebenso wenn der Bauherr in gutem Glauben angenommen hat, die von ihm ausgeübte Nutzung stehe mit der Baubewilligung im Einklang, und ihre Fortsetzung nicht schwerwiegenden öffentlichen Interessen widerspricht (vgl. <ref-ruling> E. 6 S. 35 mit Hinweisen).
4.2 Nach der bundesgerichtlichen Rechtsprechung verwirkt der Anspruch der Behörden auf Wiederherstellung des rechtmässigen Zustands im Interesse der Rechtssicherheit grundsätzlich nach 30 Jahren, wobei sich aus Gründen des Vertrauensschutzes auch kürzere Verwirkungsfristen rechtfertigen können. Auf eine kürzere Verwirkungsfrist kann sich demnach nur berufen, wer selbst in gutem Glauben gehandelt hat (<ref-ruling> E. 6.3 S. 39 mit Hinweisen). Am guten Glauben im Sinne dieser Rechtsprechung fehlt es demjenigen, der die Rechtswidrigkeit der Umnutzung bei zumutbarer Sorgfalt hätte erkennen können. Er kann sich trotz langjähriger Duldung eines baurechtswidrigen Zustands durch die Behörden nicht auf Vertrauensschutz berufen (vgl. das Urteil 1P.768/2000 vom 19. September 2001, E. 4c, in: ZBl 103/2002 S. 188).
Gemäss dem Verwaltungsgericht hätten dem Beschwerdeführer und den Mitbeteiligten bei gebotener Sorgfalt die fehlende Bewilligung für die sexgewerbliche Nutzung bekannt sein müssen. Deswegen sprach es ihnen das Recht ab, sich auf Vertrauensschutz zu berufen. Diese Würdigung erweist sich als verfassungskonform; der gegenteiligen Auffassung des Beschwerdeführers kann nicht gefolgt werden.
4.3 Auf den Grundsatz der Verhältnismässigkeit kann sich auch ein Betroffener berufen, der nicht gutgläubig gehandelt hat. Er muss aber in Kauf nehmen, dass die Behörden aus grundsätzlichen Erwägungen, so zum Schutz der Rechtsgleichheit und der baulichen Ordnung, dem Interesse an der Wiederherstellung des gesetzmässigen Zustands erhöhtes Gewicht beimessen und die dem Betroffenen allenfalls erwachsenden Nachteile nicht oder nur in verringertem Masse berücksichtigen (<ref-ruling> E. 6.4 S. 39 f. mit Hinweis).
Das Verwaltungsgericht hält es im vorliegenden Fall für verhältnismässig, dass die Stadt die Wiederherstellung des rechtmässigen Zustands angeordnet hat. Demgegenüber geht die angeordnete Räumung nach Meinung des Beschwerdeführers zu weit. Die Behörden hätten mindestens die Weiterführung der Betriebe unter Auflagen zur Gewährleistung einer teilweisen Wohnnutzung zulassen müssen. Dabei blendet der Beschwerdeführer aus, dass heute aufgrund von Art. 24c Abs. 3 BZO sexgewerbliche Salons und vergleichbare Einrichtungen in einer Zone der vorliegenden Art überhaupt nicht gestattet sind. Wie das Bundesgericht im bereits erwähnten Urteil vom 5. Mai 2003 festgehalten hat, ist es vertretbar, in einer Zone mit einem Wohnanteil von 60 Prozent sexgewerbliche Salons aufgrund der ideellen Immissionen als stark störend einzustufen und wegen Zonenwidrigkeit auszuschliessen (Urteil 1P.771/2001, E. 9.2 und 11.2, erwähnt in: ZBl 105/2004 S. 111). Demzufolge hilft es dem Beschwerdeführer nicht, wenn er behauptet, die umstrittenen Massagesalons würden keinerlei Immissionen bewirken.
Das Verwaltungsgericht hat nicht übersehen, dass es sich nicht um eine privilegierte Wohnlage handelt; es hat jedoch in vertretbarer Weise die grundsätzliche Wohneignung der Liegenschaft bejaht. In dieser Hinsicht muss es für die Verhältnismässigkeit genügen, dass die Behörden mit der Anordnung der Wiederherstellung des rechtmässigen Zustands den Zonenvorschriften zum Durchbruch verhelfen.
5. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (<ref-law>). Zu Recht hat die Stadt Zürich keine Entschädigung für das bundesgerichtliche Verfahren verlangt (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Stadt Zürich, Bausektion des Stadtrates, und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, sowie der Baurekurskommission I des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 9. Oktober 2008
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Kessler Coendet