Sachverhalt:
A. Mit Beschluss vom 20. Dezember 2010 erteilte die Bausektion des Stadtrats Zürich X._ die Bewilligung für den Neubau eines Mehrfamilienhauses am Brunnackerweg 6 in Zürich (Grundstück Kat.-Nr. WI416). Dagegen erhob Y._ Rekurs beim Baurekursgericht des Kantons Zürich. Nach Durchführung eines Augenscheins hiess dieses das Rechtsmittel mit Entscheid vom 27. Mai 2011 teilweise gut. Es ergänzte den Baubewilligungsentscheid mit der Auflage, vor Baubeginn seien beim Amt für Baubewilligungen abgeänderte Pläne, mit denen die Einhaltung der für Hauptgebäude und für besondere Gebäude maximal zulässigen Gebäudegrundfläche nachgewiesen werde, einzureichen und bewilligen zu lassen.
Gegen den Entscheid des Baurekursgerichts erhoben sowohl Y._ als auch X._ Beschwerde ans Verwaltungsgericht des Kantons Zürich. Mit Urteil vom 23. November 2011 vereinigte das Verwaltungsgericht die beiden Verfahren, wies die Beschwerde von X._ ab und jene von Y._ gut und hob die Entscheide der Bausektion und des Baurekursgerichts auf.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 20. Januar 2012 beantragt X._ im Wesentlichen, das Urteil des Verwaltungsgerichts sei insofern aufzuheben, als damit die Beschwerde von Y._ gutgeheissen worden sei. Eventualiter sei die Baubewilligung mit den erforderlichen Auflagen zur gestalterischen Verbesserung der Fensteranordnung und des Balkonturms zu erteilen. Subeventualiter sei die Sache zur neuen Beurteilung an das Verwaltungsgericht zurückzuweisen.
Das Verwaltungsgericht und der Beschwerdegegner beantragen die Abweisung der Beschwerde. Die Bausektion beantragt deren Gutheissung.
Erwägungen:
1. 1.1 Dem angefochtenen Entscheid liegt ein Beschwerdeverfahren über eine baurechtliche Bewilligung zugrunde. Nach Art. 34 Abs. 1 RPG (SR 700) gelten für die Rechtsmittel an die Bundesbehörden die allgemeinen Bestimmungen über die Bundesrechtspflege. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach Art. 82 lit. a BGG steht auf dem Gebiet des Raumplanungs- und Baurechts zur Verfügung. Das Bundesgerichtsgesetz enthält keinen Ausschlussgrund (Art. 83 BGG). Angefochten ist ein Entscheid einer letzten kantonalen Instanz (Art. 86 Abs. 1 lit. d BGG). Der Beschwerdeführer hat am vorinstanzlichen Verfahren teilgenommen, ist als Baugesuchsteller durch den angefochtenen Entscheid besonders berührt und hat ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung (Art. 89 Abs. 1 BGG). Auf seine Beschwerde ist einzutreten.
1.2 Der rechtserhebliche Sachverhalt geht aus den Akten hinreichend hervor. Auf die Durchführung eines Augenscheins kann daher verzichtet werden.
2. 2.1 Der Beschwerdeführer macht geltend, die Beurteilung der Einordnung und Gestaltung eines Bauvorhabens durch das Verwaltungsgericht, welche von den Entscheiden der Vorinstanzen abweiche, sei nur dann zulässig, wenn sich deren Würdigung als offensichtlich unvertretbar erweise. In Bezug auf die vorliegend umstrittene Fensteranordnung und den Balkonturm lasse sich dies nicht sagen.
In Bezug auf die Anordnung der Fenster basiere der angefochtene Entscheid auf einer willkürlichen Anwendung von Art. 43 der Bau- und Zonenordnung der Stadt Zürich vom 23. Oktober 1991 (im Folgenden: BZO) und von § 238 Abs. 2 des Gesetzes des Kantons Zürich vom 7. September 1975 über die Raumplanung und das öffentliche Baurecht (LS 700.1; im Folgenden: PBG) und verletze die Eigentumsgarantie und die Gemeindeautonomie. Das Verwaltungsgericht spreche von einem Widerspruch zum Quartiercharakter, übersehe indessen, dass Art. 60 Abs. 2 BZO die Fenster gar nicht zu den wesentlichen, ortsbildprägenden Elementen zähle. Wenn Art. 43 Abs. 1 BZO verlange, dass Bauten und Anlagen den typischen Gebietscharakter zu wahren haben, könne es somit auf die Anordnung der Fenster nicht entscheidend ankommen. Auch die gute Gesamtwirkung im Sinne dieser Bestimmung sei von der Bausektion zu Recht bejaht worden. Fraglich sei, ob sich aus § 238 Abs. 2 PBG darüber hinausgehende gestalterische Anforderungen ergeben. Jedenfalls seien diese erfüllt. Zwar möge die Anordnung der Fenster auf der Südwestseite aufgrund ihrer Regelmässigkeit etwas schematisch erscheinen, doch habe die mit den örtlichen Verhältnissen bestens vertraute Bausektion darin zu Recht keinen Mangel erblickt. Sie habe vielmehr positiv gewürdigt, dass die regelmässig angeordneten Lochfenster und Fenstertüren durch die dazwischen liegenden Schiebeläden aus Holz zusammengefasst seien. Diese Schiebeläden könnten je nach Lichteinfall geöffnet oder geschlossen werden, was die Regelmässigkeit der Anordnung unterbreche und zu spannenden Veränderungen des Fensterbilds führe. Schliesslich sei nicht nachvollziehbar, weshalb das Verwaltungsgericht behaupte, die Bausektion habe bei der Beurteilung der Fensteranordnung das bauliche Umfeld nicht einbezogen. Die Bausektion sei nicht gehalten gewesen, sich im Bauentscheid zu allen Details ihrer Prüfung zu äussern.
Hinsichtlich des Balkonturms räumt der Beschwerdeführer ein, dass derartige Anbauten in der Kernzone Witikon nicht vorkommen. Das bedeute aber nicht, dass sie unzulässig wären, denn auch mit ihnen könne eine gute Gesamtwirkung erzielt werden. Die Auffassung des Verwaltungsgerichts habe letztlich zur Folge, dass jedenfalls grössere giebelseitige Balkone selbst bei Neubauten grundsätzlich ausgeschlossen seien, was eine zeitgemässe Nutzung massiv erschweren würde. Hinzu komme, dass der Baubereich vorliegend nur rund 10 m breit sei. Dies erschwere die Anordnung von Balkonen auf der Traufseite erheblich. Schliesslich habe die Vorinstanz auch die Auflage des Baurekursgerichts nicht berücksichtigt. Danach sei vor Baubeginn die Einhaltung der zulässigen Gebäudegrundfläche nachzuweisen. Es sei klar, dass die Tiefe des Balkons nun von 5.18 m auf 2 m reduziert werde, komme doch eine Verkleinerung des Grundrisses des Hauptgebäudes nicht in Frage. Das Verwaltungsgericht hätte mit anderen Worten einen Balkonturm von lediglich 2 m Tiefe auf seine Vereinbarkeit mit Art. 43 BZO und § 238 Abs. 2 PBG überprüfen müssen.
Der Beschwerdeführer ist weiter der Ansicht, dass selbst wenn die Beurteilung des Verwaltungsgerichts korrekt wäre, eine Aufhebung der Baubewilligung unverhältnismässig und mit § 321 Abs. 1 PBG offensichtlich unvereinbar sei. Nach dieser Vorschrift seien Mängel durch Nebenbestimmungen zu heilen, wenn dies ohne besondere Schwierigkeiten möglich sei. Vorliegend bedeute eine Änderung der Anordnung der Fenster keine besondere Schwierigkeit. Auch in Bezug auf die Balkontiefe hätte eine korrigierende Auflage ausgereicht.
2.2 Das Verwaltungsgericht führte aus, das Baugrundstück liege gemäss der geltenden BZO in der Kernzone Witikon. Es habe somit gestützt auf § 238 Abs. 2 PBG und Art. 43 Abs. 1 BZO erhöhten Gestaltungsanforderungen zu genügen. Das Verwaltungsgericht prüfte diesbezüglich unter Hinweis auf die Gemeindeautonomie (Art. 85 Abs. 1 KV/ZH [SR 131.211]) den die Baubewilligung bestätigenden Entscheid des Baurekursgerichts lediglich auf seine Vertretbarkeit. Dabei kam es in Bezug auf die Befensterung und den Balkonturm zum Schluss, die Begründung der Bausektion sei nicht nachvollziehbar.
Zur Befensterung habe die Bausektion erwogen, sie erscheine aufgrund der Regelmässigkeit sehr schematisch, entspreche aber dem inneren Aufbau des Hauses. Weiter seien die regelmässig angeordneten Lochfenster und Fenstertüren durch die dazwischenliegenden Schiebeläden aus Holz zusammengefasst, sodass ein befriedigender Gesamteindruck entstehe. Zwar weise die Bausektion zu Recht darauf hin, die Wahrung des Gebietscharakters bedeute nicht, dass nur bereits vorkommende bauliche Gestaltungselemente übernommen werden könnten. Vorliegend vermöge die vorgesehene Anordnung der Fenster jedoch nicht zu überzeugen. Diesbezüglich lasse das Projekt jegliche Auseinandersetzung mit dem baulichen Umfeld in der Kernzone Witikon vermissen. Die regelmässige Anordnung von bis ins Dachgeschoss senkrecht übereinander angeordneten, im Erdgeschoss raumhohen, relativ schmalen Fenstern verleihe insbesondere der Südwestfassade eine eintönige Erscheinung, die der Kernzone Witikon fremd sei. Bereits die Baubewilligung enthalte den Hinweis, dass die Setzung der Fenster sehr schematisch sei. Dass sie dem inneren Aufbau des Hauses entsprechen solle, stelle jedoch keinen sachlichen Grund dar, Abstriche bei der geforderten guten Gesamtwirkung zu machen. Schon § 238 Abs. 1 PGB stelle eine positive ästhetische Generalklausel dar, die nicht bloss eine Verunstaltung verbiete, sondern positiv eine Gestaltung verlange, welche sicherstelle, dass sowohl für die Bauten selbst als auch für die bauliche und landschaftliche Umgebung eine befriedigende Gesamtwirkung erreicht werde. Die vorgesehene Anordnung der Fenster, die keinen auf die Kernzone Bezug nehmenden Gestaltungswillen erkennen lasse, vermöge den erhöhten Anforderungen von § 238 Abs. 2 PBG und Art. 43 Abs. 1 BZO deshalb nicht zu genügen. Die Begründung der Bausektion sei sachlich nicht vertretbar. Ihre liege keine umfassende Würdigung der massgebenden Gesichtspunkte zugrunde, weshalb das Baurekursgericht verpflichtet gewesen wäre einzuschreiten.
In Bezug auf den Balkonturm habe das Baurekursgericht zu Recht darauf hingewiesen, er vermöge "nicht vollends zu überzeugen". Ohne weitere Begründung sei es jedoch zum Schluss gekommen, die Würdigung der Bausektion erscheine trotzdem "nicht als völlig unhaltbar". Damit habe es sich eine zu grosse Zurückhaltung auferlegt. Wenn der Balkonturm nach den Worten des Baurekursgerichts mit seiner "in Relation zur Breite der südöstlichen Giebelfassade ungewöhnlich weiten Ausladung von 5.18 m und der zur Mittelachse jener Fassade seitlich leicht verschobenen Positionierung ... als ein dem Hauptgebäude in beliebiger, zusammenhangsloser Weise beigestelltes Element" erscheine und die von der Bewilligungsbehörde betonte Eigenschaft als untergeordneter Gebäudeteil in einem gewissen Mass verliere, könne nicht mehr davon gesprochen werden, das schutzwürdige Ortsbild der Kernzone Witikon werde erhalten oder entwickelt. An diesem Zweck habe sich ein Neubau in einer Kernzone jedoch zu orientieren (§ 50 Abs. 1 PBG). Auch als untergeordneter Baukörper sei der giebelseitige Balkonturm in der Kernzone Witikon ein Fremdkörper. Bereits die geplanten Ausmasse sowie die Positionierung gäben zu Zweifeln Anlass. Hinzu komme, dass die Bausektion sich damit begnüge, den Balkonturm hinsichtlich seiner Beziehung zum Haupthaus zu würdigen. Hingegen sei sie nicht auf die Einordnung in die bauliche Umgebung eingegangen. Dass Balkone hier kaum vorkommen, sei unbestritten geblieben und ergebe sich aus dem vorinstanzlichen Augenscheinsprotokoll sowie der in den Akten befindlichen Luftaufnahme. Wo dennoch Balkone vorhanden seien, wiesen sie eine geringe Tiefe auf und seien traufseitig angeordnet. Vorliegend solle der Holzfassade jedoch eine über 5 m weit ausladende Stahlkonstruktion vorgelagert werden. Damit erscheine der Balkonturm als selbstständiger Baukörper und sei auch nicht vereinbar mit Art. 60 Abs. 2 BZO, wonach der Gebietscharakter in der Kernzone Witikon durch traditionelle Bauformen und -materialien geprägt werde. Damit hätten sich die Bausektion und das Baurekursgericht nicht auseinandergesetzt. Die Würdigung der Bausektion berücksichtige nicht alle massgebenden Gesichtspunkte und sei von § 50 Abs. 1 PBG nicht mehr gedeckt. Das Baurekursgericht hätte die ästhetische Würdigung der örtlichen Baubehörde daher nicht als vertretbar bezeichnen dürfen.
Die im Zusammenhang mit der Befensterung und dem Balkonturm festgestellten Mängel könnten nicht ohne besondere Schwierigkeiten behoben werden, sondern verlangten eine grundlegende Überarbeitung des Projekts. Eine Heilung durch die Anordnung einer Nebenbestimmung im Sinn von § 321 Abs. 1 PBG komme daher nicht in Betracht.
Die im Zusammenhang mit der Befensterung und dem Balkonturm festgestellten Mängel könnten nicht ohne besondere Schwierigkeiten behoben werden, sondern verlangten eine grundlegende Überarbeitung des Projekts. Eine Heilung durch die Anordnung einer Nebenbestimmung im Sinn von § 321 Abs. 1 PBG komme daher nicht in Betracht.
2.3 2.3.1 Gemäss Abs. 1 von § 238 PBG sind Bauten, Anlagen und Umschwung für sich und in ihrem Zusammenhang mit der baulichen und landschaftlichen Umgebung im Ganzen und in ihren einzelnen Teilen so zu gestalten, dass eine befriedigende Gesamtwirkung erreicht wird; diese Anforderung gilt auch für Materialien und Farben. Gemäss Abs. 2 ist auf Objekte des Natur- und Heimatschutzes besondere Rücksicht zu nehmen; sie dürfen auch durch Nutzungsänderungen und Unterhaltsarbeiten nicht beeinträchtigt werden, für die keine baurechtliche Bewilligung nötig ist. Art. 43 Abs. 1 BZO verlangt, dass Bauten, Anlagen und Umschwung im Ganzen und in ihren einzelnen Teilen so zu gestalten sind, dass der typische Gebietscharakter gewahrt bleibt und eine gute Gesamtwirkung erzielt wird.
2.3.2 Die Bundesverfassung gewährleistet die Gemeindeautonomie nach Massgabe des kantonalen Rechts (Art. 50 Abs. 1 BV). Im Kanton Zürich ist die Gemeindeautonomie in Art. 85 Abs. 1 KV/ZH verankert. Nach der Rechtsprechung sind Gemeinden in einem Sachbereich autonom, wenn das kantonale Recht diesen nicht abschliessend ordnet, sondern ihn ganz oder teilweise der Gemeinde zur Regelung überlässt und ihr dabei eine relativ erhebliche Entscheidungsfreiheit einräumt. Der geschützte Autonomiebereich kann sich auf die Befugnis zum Erlass oder Vollzug eigener kommunaler Vorschriften beziehen oder einen entsprechenden Spielraum bei der Anwendung kantonalen oder eidgenössischen Rechts betreffen. Der Schutz der Gemeindeautonomie setzt eine solche nicht in einem ganzen Aufgabengebiet, sondern lediglich im streitigen Bereich voraus. Im Einzelnen ergibt sich der Umfang der kommunalen Autonomie aus dem für den entsprechenden Bereich anwendbaren kantonalen Verfassungs- und Gesetzesrecht (BGE 137 I 235 E. 2.2 S. 237 f.; 136 I 395 E. 3.2.1 S. 397 f.; je mit Hinweisen).
Bei der Anwendung von § 238 Abs. 2 PBG und Art. 43 Abs. 1 BZO handelt es sich um typische Anwendungsfälle der Gemeindeautonomie. Der kommunalen Baubehörde steht bei der Anwendung dieser Ästhetikvorschriften ein besonderer Ermessensspielraum zu, der im Rechtsmittelverfahren zu beachten ist. Ist der Einordnungsentscheid einer kommunalen Baubehörde nachvollziehbar, beruht er mithin auf einer vertretbaren Würdigung der massgebenden Sachumstände, so haben die Rechtsmittelinstanzen diesen zu respektieren und dürfen das Ermessen der kommunalen Behörde nicht durch ihr eigenes ersetzen (Urteile 1C_495/2011 vom 14. März 2012 E. 4.3; 1C_19/2008 vom 27. Mai 2008 E. 5.3; je mit Hinweisen).
Zu beachten ist indessen auch, dass sich Bauten und Anlagen in Kernzonen nicht nur befriedigend (§ 238 Abs. 1 PBG), sondern gut (§ 238 Abs. 2 PBG und Art. 43 Abs. 1 BZO) einzuordnen haben; mit anderen Worten müssen sie erhöhten gestalterischen Ansprüchen genügen (Urteile 1C_12/2007 vom 8. Januar 2008 E. 3.2; 1C_329/2007 vom 23. November 2007 E. 2; 1P.208/2005 vom 19. Juli 2005 E. 2.6; je mit Hinweisen). In diesem Zusammenhang weist das Verwaltungsgericht auch auf die Bestimmung von § 50 Abs. 1 PBG hin, wonach Kernzonen schutzwürdige Ortsbilder umfassen, die in ihrer Eigenart erhalten oder erweitert werden sollen (vgl. auch § 203 Abs. 1 lit. c PBG).
2.3.3 Bei der Beurteilung der Fenster hat das Verwaltungsgericht darauf abgestellt, dass diese für die Kernzone Witikon untypisch schematisch angeordnet sind. Die bei den Akten liegenden Fotos bestätigen diesen insbesondere von der Südwestfassade gewonnenen Eindruck. Die Bausektion hat sich mit diesem wesentlichen gestalterischen Gesichtspunkt nicht auseinandergesetzt, sondern hat darauf abgestellt, dass die Befensterung dem inneren Aufbau des Hauses entspreche. Zu Recht erachtet das Verwaltungsgericht diesen Umstand als unmassgeblich bzw. sachfremd. Der Beschwerdeführer macht zwar in grundsätzlicher Weise geltend, dass Art. 60 Abs. 2 BZO die Fenster gar nicht zu den wesentlichen, ortsbildprägenden Elementen zähle. Dies trifft zu, bedeutet aber keineswegs, dass die Fenster bei der Beurteilung der Einordnung eines Gebäudes unbeachtet bleiben dürfen, prägen sie doch das Erscheinungsbild eines Gebäudes wesentlich mit. Dass dies vorliegend anders sein sollte, wird vom Beschwerdeführer zu Recht nicht geltend gemacht. Ob eine sich durch Regelmässigkeit auszeichnende Anordnung der Fenster als architektonisches Gestaltungselement positiv oder negativ in Betracht fällt, hängt insbesondere von der die Umgebung prägenden Bauart ab. Qualifizierte das Verwaltungsgericht im vorliegenden Fall unter Berücksichtigung der traditionellen Bauart im Quartier die Anordnung der Fenster als eintönig und dem typischen Quartiercharakter widersprechend, so ist das nicht zu beanstanden. Dass "die mit den örtlichen Verhältnissen bestens vertraute Bausektion" darin keinen Mangel erblickt hat, wie der Beschwerdeführer vorbringt, besagt nichts über die Vertretbarkeit des Bauentscheids. Insgesamt ergibt sich, dass der angefochtene Entscheid weder die Gemeindeautonomie oder die Eigentumsgarantie verletzt noch auf einer willkürlichen Anwendung von Art. 43 Abs. 1 BZO und § 238 Abs. 2 PBG beruht.
2.3.4 Dass das Verwaltungsgericht hinsichtlich des Balkonturms zum Schluss kam, das Baurekursgericht habe sich zu grosse Zurückhaltung auferlegt, indem es die Würdigung der Bausektion "nicht als völlig unhaltbar" bezeichnete, ist ebenfalls nicht zu beanstanden. Der Baubewilligung lässt sich einzig entnehmen, dass der Balkonteil gartenseitig an die Giebelfassade angehängt werde und sich als transparente und begrünte Stahlkonstruktion dem Haupthaus unterordne, indem er nur einen Teil der Giebelfassade in Anspruch nehme. Das Verwaltungsgericht beanstandet zu Recht, dass die Bewilligung diesbezüglich eine Auseinandersetzung mit der Eingliederung in die Umgebung vermissen lässt. Was der Beschwerdeführer zur vom Baurekursgericht gemachten Auflage vorbringt, überzeugt hingegen nicht. Abgesehen davon, dass es für das Verwaltungsgericht keineswegs evident sein konnte, dass der Balkonturm infolge der Auflage von der ursprünglichen Tiefe von 5.18 m auf 2 m reduziert werden würde, hat es die ungenügende Einordnung nicht nur mit der Balkontiefe begründet. Es hat vielmehr ebenfalls darauf hingewiesen, dass in der Umgebung nur sehr wenige Balkone vorkommen und dass diese jedenfalls traufseitig angeordnet seien. Zu berücksichtigen ist auch, dass selbst wenn die Balkontiefe auf 2 m reduziert würde, es bei einem eigentlichen Balkonturm bliebe, der massiver in Erscheinung tritt als einzelne Balkone. Insgesamt kann dem Verwaltungsgericht deshalb auch in dieser Hinsicht weder eine Verletzung der Gemeindeautonomie noch eine willkürliche Anwendung von Art. 43 Abs. 1 BZO und § 238 Abs. 2 PBG vorgeworfen werden.
2.3.5 Gemäss § 321 Abs. 1 PBG sind mit der Bewilligung die gebotenen Nebenbestimmungen (Auflagen, Bedingungen, Befristungen) zu verknüpfen, wenn inhaltliche oder formale Mängel des Bauvorhabens ohne besondere Schwierigkeiten behoben werden können. Der Beschwerdeführer rügt eine willkürliche Anwendung dieser Bestimmung und mangelnde Verhältnismässigkeit, wobei das Verhältnismässigkeitsprinzip ausserhalb des Schutzbereichs spezieller Grundrechte keinen über das Willkürverbot hinausreichenden Schutz bietet. Vorliegend sind die beanstandeten Bauelemente in Bezug auf das gesamte Bauvorhaben keineswegs nebensächlicher Natur. Es ist dem Verwaltungsgericht deshalb keine Willkür vorzuwerfen, wenn es davon ausging, dass die Mängel des Bauvorhabens nicht ohne besondere Schwierigkeiten mit der Anordnung von Nebenbestimmungen behoben werden können. Die Kritik des Beschwerdeführers ist unbegründet.
3. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Der Beschwerdeführer hat dem anwaltlich vertretenen Beschwerdegegner eine angemessene Parteientschädigung auszurichten (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat dem Beschwerdegegner eine Parteientschädigung von Fr. 1'500.-- auszurichten.
4. Dieses Urteil wird den Parteien, der Bausektion des Stadtrates Zürich und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 2. Mai 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold