Sachverhalt:
A. Am 1. Dezember 1993 genehmigte der Gemeinderat Zürich den privaten Gestaltungsplan "Löwenbräu/CMZ-Areal", welcher die beiden Industrieareale der Brauerei Löwenbräu und der Getreidemühle Stadtmühle CMZ im Geviert zwischen Limmatstrasse, Gerstenstrasse, Sihlquai und Dammweg erfasste. Ein gestützt auf diesen Plan entwickeltes Projekt für das Areal wurde nicht ausgeführt. In den bestehenden, nicht mehr industriell genutzten Brauereigebäuden entlang der Limmatstrasse haben sich inzwischen verschiedene kulturelle Nutzungen etabliert; auf dem im Nordosten daran angrenzenden Areal der Stadtmühle (heute Swissmill) am Sihlquai dagegen wird auf unbestimmte Zeit weiterhin industriell produziert.
B. Aufgrund dieser Situation entwickelten die Grundeigentümerinnen zusammen mit der Stadt Zürich ein neues städtebauliches Konzept. Danach sollte das Swissmill-Areal aus dem Gestaltungsplan entlassen und stattdessen zusammen mit dem dazugehörigen Areal zwischen SihIquai und Limmat mit einer Gestaltungsplanpflicht belegt werden, die erst dann ausgeIöst würde, wenn Neu- oder Umbauten nicht mehr der Lebensmittelproduktion dienen sollen. Für das Löwenbräu-Areal jedoch sollte ein neuer Gestaltungsplan entwickelt werden, der von der Erhaltung verschiedener Bauteile, einer inneren Verdichtung mit Hochhäusern und einer vielseitigen Nutzungsmischung geprägt sein sollte.
Am 9. November 2005 stimmte der Gemeinderat Zürich auf Gesuch der Grundeigentümerinnen PSP Properties AG und Coop Immobilien AG dem neuen privaten Gestaltungsplan Löwenbräu-Areal zu und legte am 30. November 2005 für das Swissmill-Areal beidseits des Sihlquais eine Gestaltungsplanpflicht fest.
Gegen diese beiden Beschlüsse gelangte der Kaufmännische Verband Zürich, Eigentümer des an die Gerstenstrasse angrenzenden Grundstücks alt Kat.‐Nr. AU5794 (neue Kat.-Nr. AU6215), an die kantonale Baurekurskommission I. Er beantragte unter anderem, die Zustimmung zum privaten Gestaltungsplan Löwenbräu-Areal sei aufzuheben.
Die Baurekurskommission wies die Rekurse nach Durchführung eines Augenscheins am 13. Oktober 2006 ab. Dagegen gelangte der Kaufmännische Verband mit Beschwerde an das Verwaltungsgericht des Kantons Zürich. Die Baudirektion genehmigte die beiden Festlegungen je mit Verfügung vom 26. Januar 2007. Das Verwaltungsgericht wies die Beschwerde des Kaufmännischen Verbands mit Urteil vom 5. April 2007 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 4. Juni 2007 beantragt der Kaufmännische Verband Zürich im Wesentlichen, der Entscheid des Verwaltungsgerichts vom 5. April 2007 sei aufzuheben. Er rügt die Verletzung des Willkürverbots (Art. 9 BV) sowie formelle Rechtsverweigerung, insbesondere die Missachtung des Anspruchs auf rechtliches Gehör (Art. 29 BV).
D. Das Verwaltungsgericht beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die privaten Beschwerdegegnerinnen stellen den Antrag, auf die Beschwerde sei nicht einzutreten, eventuell sei sie abzuweisen. Die Stadt Zürich schliesst auf Abweisung der Beschwerde. Mit Eingabe vom 19. November 2007 hat sich der Beschwerdeführer zu den verschiedenen Stellungnahmen geäussert.
E. Mit Präsidialverfügung vom 27. Juni 2007 wurde ein Gesuch des Beschwerdeführers um aufschiebende Wirkung abgewiesen.
Erwägungen:
1. Das Bundesgericht prüft seine Zuständigkeit und die Zulässigkeit der Beschwerde von Amtes wegen (Art. 29 Abs. 1 BGG; BGE 133 II 249 E. 1.1 S. 251).
1.1 Der angefochtene Entscheid des Verwaltungsgerichts hat einen von den zuständigen kommunalen und kantonalen Instanzen genehmigten privaten Gestaltungsplan im Sinne von §§ 85 f. und 2 lit. b des Planungs- und Baugesetzes des Kantons Zürich vom 7. September 1975 (PBG/ZH) zum Gegenstand. Es handelt sich dabei um einen kommunalen Nutzungsplan im Sinne von Art. 14 ff. des Bundesgesetzes vom 22. Juni 1979 über die Raumplanung (Raumplanungsgesetz, RPG, SR 700). Gestützt auf Art. 82 lit. a BGG beurteilt das Bundesgericht Beschwerden gegen Entscheide in Angelegenheiten des öffentlichen Rechts. Dieses Rechtsmittel steht auch auf dem Gebiet des Raumplanungs- und Baurechts zur Verfügung (BGE 133 II 249 E. 1.2 S. 251).
1.2 Der Beschwerdeführer hat am kantonalen Verfahren teilgenommen (Art. 89 Abs. 1 lit. a BGG). Er ist durch den angefochtenen Entscheid als Eigentümer des vom Gestaltungsplangebiet nur durch die Gerstenstrasse getrennten Grundstücks alt Kat.‐Nr. AU5794 (neue Kat.-Nr. AU6215) besonders berührt (Art. 89 Abs. 1 lit. b BGG). Zur Begründung seiner Legitimation beruft er sich insbesondere auf die erwartete Zunahme des Verkehrs auf der Gerstenstrasse und den Schattenwurf der neu zulässigen Gebäudehöhen auf dem Löwenbräu-Areal. Damit verfügt er über ein schutzwürdiges Interesse an der Aufhebung oder Änderung der umstrittenen Zonenplanänderung (Art. 89 Abs. 1 lit. c BGG; BGE 133 II 249 E. 1.3 S. 252 f. mit Hinweisen).
1.3 Rechtsschriften haben nach Art. 42 Abs. 1 BGG unter anderem die Begehren und deren Begründung mit Angabe der Beweismittel zu enthalten. In der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 2 Satz 1 BGG). Damit obliegt den Beschwerdeführern, die behaupteten Rechtsverletzungen zu nennen und diese Rügen zu begründen (allgemeine Rüge- und Begründungspflicht).
Grundsätzlich wendet das Bundesgericht das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Rechtsverletzungen und Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. BGE 132 II 257 E. 2.5 S. 262; 130 III 136 E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (BGE 133 II 249 E. 1.4.1 S. 254).
Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten sowie von kantonalem und interkantonalem Recht. Bei solchen Rügen gilt der Grundsatz der Rechtsanwendung von Amtes wegen nicht. Vielmehr sind diese Rügen präzise vorzubringen und zu begründen (Art. 106 Abs. 2 BGG). Führt der Beschwerdeführer nicht zumindest in erkennbarer Weise an, welches Grundrecht seiner Meinung nach verletzt sei, und legt er nicht kurz dar, worin die behauptete Verletzung bestehe, unterbleibt die Prüfung durch das Bundesgericht (vgl. Botschaft zur Totalrevision der Bundesrechtspflege vom 28. Februar 2001, BBl 2001 4344 f.). Im Anwendungsbereich von Art. 106 Abs. 2 BGG ist demnach die Praxis zum Rügeprinzip gemäss Art. 90 Abs. 1 lit. b OG (vgl. dazu BGE 130 I 258 E. 1.3 S. 261 f.; 129 I 113 E. 2.1 S. 120) weiterzuführen (BGE 133 II 249 E. 1.4.2 S. 254, III 638 E. 2 S. 639 f.; Urteil des Bundesgerichts 1C_32/2007 vom 18. Oktober 2007 E. 1.3).
1.4 Die übrigen Sachurteilsvoraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten sind erfüllt und geben zu keinen weiteren Bemerkungen Anlass. Auf die Beschwerde ist somit einzutreten, soweit die Rüge- und Begründungsanforderungen (E. 1.3 hiervor) erfüllt sind.
2. Der Beschwerdeführer macht geltend, die Baurekurskommission und das Verwaltungsgericht hätten nicht geprüft, ob der umstrittene private Gestaltungsplan im öffentlichen Interesse liege, welches die gegenläufigen Interesse der Nachbarn überwiegen müsse. Darin liege eine formelle Rechtsverweigerung und Missachtung des Anspruchs auf rechtliches Gehör (Art. 29 Abs. 1 und 2 BV). Die Bestimmungen der §§ 85 f. PBG/ZH betreffend private Gestaltungspläne seien willkürlich angewendet worden, und es sei keine volle Überprüfung des Gestaltungsplans im Sinne von Art. 33 Abs. 3 lit. b RPG erfolgt.
2.1 Nach § 83 PBG/ZH werden mit Gestaltungsplänen für bestimmt umgrenzte Gebiete Zahl, Lage, äussere Abmessungen sowie die Nutzweise und Zweckbestimmung der Bauten bindend festgelegt. Dabei darf von den Bestimmungen über die Regelbauweise und von den kantonalen Mindestabständen abgewichen werden (Abs. 1). Für die Projektierung ist ein angemessener Spielraum zu belassen (Abs. 2). Der Gestaltungsplan hat auch die Erschliessung sowie die gemeinschaftlichen Ausstattungen und Ausrüstungen zu ordnen, soweit sie nicht schon durch einen Quartierplan geregelt sind; er kann Festlegungen über die weitere Umgebungsgestaltung enthalten (Abs. 3). Das kantonale Planungs- und Baugesetz unterscheidet zwischen dem öffentlichen Gestaltungsplan, der ein wesentliches öffentliches Interesse voraussetzt (§ 84 Abs. 1 PBG/ZH) und dem privaten Gestaltungsplan, der mit öffentlich-rechtlicher Wirkung von den Grundeigentümern aufgestelIt wird (§ 85 Abs. 1 PBG/ZH). Private Gestaltungspläne bedürfen der Zustimmung des für den Erlass der Bau- und Zonenordnung zuständigen Organs. Überschreiten sie den für Arealüberbauungen im betreffenden Gebiet geltenden Rahmen nicht, genügt die Zustimmung des Gemeinderats (§ 86 PBG/ZH).
2.2 Der private Gestaltungsplan Löwenbräu-Areal bezweckt, eine gemischte Nutzung des Grundstücks mit Gewerbe-, Büro- und Wohnbauten einerseits und Räumen für kulturelle Nutzungen andererseits zu ermöglichen; die planungsrechtlichen Grundlagen für die Errichtung von städtebaulich erwünschten Hochhäusern an geeigneten Standorten zu schaffen und die auf dem Areal vorhandenen Schutzobjekte zu schonen (Art. 1 der Vorschriften zum privaten Gestaltungsplan, GPV). Zu diesem Zweck wurden im Plan die Baubereiche für Neubauten, für Hochhäuser und für insgesamt acht Schutzobjekte ausgeschieden (zu deren Schutzumfang vgl. Art. 4 GPV). In allen Baubereichen wurde ein Gebäudemantel mit einer maximalen Höhenkote festgelegt (Art. 5 Abs. 1 GPV), unter näherer Regelung von dessen Bedeutung hinsichtlich verschiedener einzelner Bauteile (Art. 5 Abs. 2 und 3 sowie Art. 6 GPV). Neben dem als Schutzobjekt ausgeschiedenen bestehenden Stahlsilo sind in der Arealecke Limmatstrasse/Dammweg und in der Mitte des Areals zwei Hochhäuser mit Mantelhöhenkoten von 441 bzw. 474 m.ü.M. zugelassen. Zur Einordnung verlangt Art. 12 GPV, dass Bauten, Anlagen und Umschwung im Ganzen und in ihren einzelnen Teilen besonders gut gestaltet sein müssen. Die geometrisch klaren und einfachen Volumen der bestehenden Industriebauten sind weiterzuführen; gegenüber den Hauptfassaden zurückgesetzte Geschosse sowie Steildächer sind nicht zulässig. Die Hauptverkehrserschliessung bzw. die Garagenzufahrt für das ganze Areal ist von der Gerstenstrasse her vorgesehen. Ausserhalb dieses im Plan bezeichneten Bereichs sind nur Nebenerschliessungen gestattet (vgl. Art. 16 GPV). Mit der Festsetzung des Gestaltungsplans wird der bisherige Gestaltungsplan "Löwenbräu/CMZ‐Areal" gemäss Gemeinderatsbeschluss vom 1. Dezember 1993 aufgehoben (Art. 18 GPV). Solange der Plan in Kraft steht, sind die Bestimmungen der kommunalen Bau‐ und Zonenordnung sowie die Wirkungen der Baulinien an der Limmatstrasse, der Gerstenstrasse und dem Dammweg suspendiert (Art. 3 Abs. 2 GPV).
2.3 Die Baurekurskommission erwog im angefochtenen Entscheid, bei der Zustimmung zu einem privaten Gestaltungsplan komme der Behörde ein von der Gemeindeautonomie erfasster grösserer Ermessensspielraum zu, als wenn es sich um einen blossen Vorgang der Rechtsanwendung handeln würde. Ein privater Gestaltungsplan müsse auch nicht von öffentlichen Interessen gestützt werden, diese dürften dem Plan nur nicht entgegenstehen. Die Kognition der Rekursinstanz sei dementsprechend auf die Frage beschränkt, ob die gewählte Lösung gesetzmässig sei und ob ihr irgendwelche öffentlichen Interessen entgegenstünden.
Das Verwaltungsgericht hat diese Auffassung der Baurekurskommission mit verfassungsrechtlich haltbarer Begründung bestätigt. In Anwendung von § 20 des kantonalen Verwaltungsrechtspflegegesetzes vom 24. Mai 1959 (VRG/ZH) überprüfen die Baurekurskommissionen kommunale Nutzungspläne auf alle Mängel, insbesondere auch auf Zweckmässigkeit und Angemessenheit hin. Dabei haben sie die kommunale Planungsautonomie zu beachten und dürfen nur dann korrigierend eingreifen, wenn die kommunale Lösung sich aufgrund überkommunaler Interessen als unzweckmässig erweist, den wegleitenden Zielen und Grundsätzen der Raumplanung widerspricht oder wenn die Unzweckmässigkeit oder Unangemessenheit der kommunalen Planfestlegung offensichtlich ist (Alfred Kölz/Jürg Bosshart/Martin Röhl, Kommentar zum Verwaltungsrechtspflegegesetz des Kantons Zürich, 2. Auflage Zürich 1999, § 20 N. 20; Walter Haller/Peter Karlen, Rechtsschutz im Raumplanungs-und Baurecht, Zürich 1998, N. 1073 f.). Die Baurekurskommission und das Verwaltungsgericht haben diese Grundsätze beachtet und zutreffend auf die Gemeindeautonomie und die dadurch eingeschränkte Überprüfungsbefugnis hingewiesen.
2.4 Die Rüge, die Vorinstanzen hätten prüfen müssen, ob ein hinreichendes öffentliches Interesse am neuen Gestaltungsplan bestehe, erscheint unbegründet. Das Verwaltungsgericht legt zu Recht dar, dass letztlich jeder Nutzungsplan raumplanerisch motiviert sein müsse und daher den Grundsätzen und Zielen der Raumplanung zu entsprechen habe. Innerhalb dieses Rahmens bedürfe es nach dem kantonalen Recht jedoch keiner speziellen Rechtfertigung für eine bestimmte Planung, da das Gesetz keine spezifische Voraussetzung für die Zulässigkeit eines privaten Gestaltungsplans statuiere (vgl. §§ 85 f. PBG/ZH). Demnach setze die Zustimmung zu einem privaten Gestaltungsplan auch kein spezielles Gestaltungsplanbedürfnis voraus. Von der gesetzlichen Systematik her stehe der mit Zustimmung des zuständigen Organs erlassene private Gestaltungsplan auf gleicher Stufe wie der Rahmennutzungsplan und dürfe nicht an strengere Voraussetzungen geknüpft werden als die partielle Revision der Bau- und Zonenordnung. Unter dem Vorbehalt der Planbeständigkeit (Art. 21 RPG) sei es daher auch zulässig, eine bisherige Nutzungsordnung aufgrund einer neuen Gewichtung der verschiedenen raumrelevanten Kriterien partiell durch einen privaten Gestaltungsplan zu ersetzen. Dasselbe gelte, wenn ein privater Gestaltungsplan wie hier einen früheren privaten Gestaltungsplan ablösen solle.
Diese Ausführungen sind im Rahmen der vom Beschwerdeführer erhobenen Rügen nicht zu beanstanden. Wie der Beschwerdeführer selbst darlegt, haben die Baurekurskommission und das Verwaltungsgericht die neu zulässigen Bauvolumen insbesondere im Hinblick auf das Einordnungsgebot (Art. 3 Abs. 2 lit. b RPG) geprüft. Die geforderte weiter gehende Beachtung öffentlicher Interessen, welche entgegenstehende private Interessen überwiegen müssen, kommt in Anwendung von Art. 36 Abs. 2 und 3 BV im Rahmen der Prüfung der Einschränkung von Grundrechten wie der Eigentumsgarantie (Art. 26 BV) in Betracht. Die Beschwerde enthält indessen diesbezüglich weder eine Rüge noch eine hinreichende Begründung (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG), weshalb auf diese Frage nicht weiter einzugehen ist (E. 1.3 hiervor).
3. Der Beschwerdeführer bringt wie bereits im vorinstanzlichen Verfahren vor, die im Gestaltungsplan festgesetzte Höhenkote von 428.35 m.ü.M. für die Gebäudehöhe des Neubaus West und die Aufstockung auf den Alten Werkstätten an der Gerstenstrasse sei rechtswidrig, da damit wegen eines geringen Gefälles der Gerstenstrasse Gebäudehöhen von mehr als 25 m zugelassen würden.
Das Verwaltungsgericht hat festgestellt, dass die Gebäudemantelhöhe entlang der Gerstenstrasse etwas mehr als 25 m über dem massgebenden Terrain liegt. Dies gelte insbesondere für die nordwestliche Ecke des Gestaltungsplangebiets, wo das gegebene Terrain wohl auf einer Kote von weniger als 403.12 m.ü.M. liege und damit eine Mantelhöhe von über 25.23 m erreicht werde. Die Mantellinie werde dadurch indessen noch nicht gesetzwidrig. Die Mantellinie verleihe den Grundeigentümern nicht das uneingeschränkte Recht, diese an jeder Stelle vollumfänglich durch ein entsprechendes Gebäudevolumen auszuschöpfen. Ein kommunaler Gestaltungsplan könne insbesondere nicht von der Einhaltung kantonaler Baubeschränkungsnormen befreien. Unter Vorbehalt der Bestimmungen über die Hochhäuser betrage die höchstzulässige Gebäudehöhe 25 m (§ 278 Abs. 3 PBG/ZH). Das bedeute, dass die Stadt Zürich ein konkretes Bauvorhaben mit einer Gebäudehöhe von mehr als 25 m an dieser Stelle trotz der entsprechenden Mantellinie nicht bewilligen dürfe. Nach dem klaren Wortlaut von Art. 8 Abs. 3 GPV seien Hochhäuser nur in den im Plan angelegten Baubereichen zulässig.
Diese vom Beschwerdeführer als willkürlich bezeichnete Rechtsauffassung wird von der Stadt Zürich geteilt. Sie ist zumindest nachvollziehbar und bindet die zuständigen Behörden im nachfolgenden Baubewilligungsverfahren. Von Willkür (Art. 9 BV) kann keine Rede sein. Die beiden Bereiche, in welchen tatsächlich Hochhäuser mit einer Gebäudehöhe von weit über 25 m errichtet werden dürfen, sind im Gestaltungsplan klar bezeichnet. Auf den übrigen vom Gestaltungsplan erfassten Flächen dürfen die Gebäude die maximal zulässige Gebäudehöhe von 25 m nicht überschreiten. Der angefochtene Entscheid ist auch in dieser Hinsicht nicht zu beanstanden.
4. Zusammenfassend ergibt sich, dass die Beschwerde abzuweisen ist, soweit darauf eingetreten werden kann. Die Kosten des bundesgerichtlichen Verfahrens sind dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Dieser hat die privaten Beschwerdegegnerinnen angemessen zu entschädigen (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die privaten Beschwerdegegnerinnen für das bundesgerichtliche Verfahren mit insgesamt Fr. 4'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Gemeinderat von Zürich und dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, 3. Kammer, schriftlich mitgeteilt.
Lausanne, 4. März 2008
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Aemisegger Haag