Sachverhalt:
A. X._ plant auf dem gemäss Bau- und Zonenordnung der Gemeinde Küsnacht 1994/2004 (BZO) der Wohnzone W2/1.40 zugeteilten Grundstück Kat.-Nr. 10608 den Abbruch des bestehenden Mehrfamilienhauses Geissbühlweg 16 und die Errichtung eines Einfamilienhauses mit einer Doppelgarage, einem Schwimmbad und einer umfassenden Einfriedung in Form einer Stützmauer. Mit Beschluss vom 8. Februar 2011 erteilte die Baukommission Küsnacht die baurechtliche Bewilligung für das Vorhaben. Die dagegen von den Anwohnern A._ und B._, C._ und D._ sowie E._ erhobenen Rekurse wies das Baurekursgericht des Kantons Zürich nach Durchführung eines Augenscheins mit Entscheid vom 19. September 2011 ab. Das Verwaltungsgericht des Kantons Zürich hiess Beschwerden der genannten Anwohner mit Urteil vom 13. Juni 2012 gut und hob den Entscheid des Baurekursgerichts vom 19. September 2011 sowie den Beschluss der Baukommission Küsnacht vom 8. Februar 2011 auf.
B. Gegen den verwaltungsgerichtlichen Entscheid hat X._ am 30. August 2012 Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht erhoben. Er beantragt die Aufhebung des angefochtenen Entscheids und die Bestätigung der kommunalen Baubewilligung; eventualiter seien die Akten zur weiteren Behandlung der Verwaltungsgerichtsbeschwerden an die Vorinstanz zurückzuweisen. Er rügt eine falsche Anwendung des kantonalen und kommunalen Bau- und Planungsrechts sowie eine Verletzung der Eigentumsgarantie (Art. 26 BV).
Das Verwaltungsgericht beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Denselben Antrag stellen die am Verfahren beteiligten Anwohner. Die Baukommission hat auf eine Stellungnahme zur Beschwerde verzichtet. In einer weiteren Eingabe hält der Beschwerdeführer an seinen Anträgen fest.
Erwägungen:
1. 1.1 Angefochten ist ein kantonal letztinstanzlicher Entscheid über eine Baubewilligung. Dagegen steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (Art. 82 lit. a, 86 Abs. 1 lit. d und 90 BGG). Der Beschwerdeführer ist als Eigentümer des Baugrundstücks und Baugesuchsteller zur Beschwerde legitimiert (Art. 89 Abs. 1 BGG).
1.2 Die Anwendung von kantonalem Recht prüft das Bundesgericht nicht frei, sondern unter dem Blickwinkel des Bundesrechts (Art. 95 lit. a BGG), namentlich des Verfassungsrechts und insbesondere des Willkürverbots. Willkür liegt nach der Rechtsprechung nicht schon dann vor, wenn eine andere Lösung ebenfalls vertretbar erscheint oder sogar vorzuziehen wäre. Das Bundesgericht weicht vom Entscheid der kantonalen Instanz nur ab, wenn dieser offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (BGE 136 I 316 E. 2.2.2 S. 318 f. mit Hinweisen).
Die Verletzung von Grundrechten - einschliesslich die willkürliche Anwendung von kommunalem Recht - wird vom Bundesgericht geprüft, soweit eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Hierfür gelten qualifizierte Begründungsanforderungen (BGE 133 II 249 E. 1.4.2 S. 254 mit Hinweisen). Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen; auf rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein.
1.3 Die übrigen Sachurteilsvoraussetzungen sind erfüllt und geben zu keinen weiteren Bemerkungen Anlass. Auf die Beschwerde ist somit unter Vorbehalt der Ausführungen in E. 1.2 hiervor einzutreten.
2. Das projektierte Einfamilienhaus besteht aus einem Hauptgebäude (zwei Vollgeschosse und ein anrechenbares Dachgeschoss) mit einer Fassadenlänge von 25 m, woran sich auf beiden Seiten Anbauten anschliessen: In südöstlicher Richtung ist ein um 0,7 m rückversetzter Abstellraum von 4 m Länge und 4,5 m Breite vorgesehen, der mit einer 7 m langen Doppelgarage verbunden werden soll (Gesamtlänge der südöstlichen Anbauten: 11 m). Angrenzend an den nordwestlichen Flügel des Hauptgebäudes mit der Küche ("Küchentrakt") ist zudem eine 4,5 m lange gedeckte Sitzplatzerweiterung projektiert.
2.1 Der umstrittenen Baubewilligung liegt die Auffassung zugrunde, bei den südöstlich und nordwestlich an das Hauptgebäude angelegten, eingeschossigen Anbauten (Abstellraum, Doppelgarage, nordwestliche Sitzplatzerweiterung) handle es sich um "besondere Gebäude" im Sinne von § 273 in Verbindung mit § 49 Abs. 3 des Planungs- und Baugesetzes vom 7. September 1975 (PBG/ZH; LS 700.1). Das Hauptgebäude soll dabei nicht nur aus dem dreigeschossigen mittleren Gebäudeteil bestehen, sondern den im nordwestlichen Gebäudeflügel untergebrachten Küchentrakt mitumfassen. Das Verwaltungsgericht gelangte zum Schluss, die Unterteilung des Bauvorhabens in Haupt- und "besondere Gebäude" erscheine willkürlich und diene offenbar dem Zweck, hinsichtlich der für das Hauptgebäude geltenden Bauvorschriften (Gebäudelänge, Abstandsvorschriften, Baumasse) Vorteile zu verschaffen. Im Übrigen sei bei der nordwestseitigen Sitzplatzerweiterung und beim Abstellraum neben der Doppelgarage zweifelhaft, ob sie sich optisch als separate Anbauten präsentierten.
2.2 Nach § 273 PBG/ZH gelten als "besondere Gebäude" Bauten, die nicht für den dauernden Aufenthalt von Menschen bestimmt sind und deren grösste Höhe 4 m, bei Schrägdächern 5 m, nicht übersteigt. Solche besonderen Gebäude dürfen gemäss § 273 PBG/ZH in einem Abstand von 3,5 m von anderen Gebäuden errichtet werden. § 49 Abs. 3 PBG bestimmt, dass für solche Bauten von den kantonalen Mindestabständen abgewichen oder der Grenzbau erleichtert werden kann.
Nach der Praxis des Verwaltungsgerichts ist für die Qualifikation einer Baute als "besonderes Gebäude" deren fehlende objektive Eignung zum dauernden Aufenthalt von Personen ausschlaggebend und nicht die von der Bauherrschaft beabsichtigte bzw. in den Plänen ausgewiesene Nutzung (Entscheid des Zürcher Verwaltungsgerichts VB.2000.00304, 00341 vom 7. Dezember 2000 = BEZ 2001 Nr. 4). Erfüllt ein Gebäude(teil) aufgrund seines Ausbaus die in § 299 ff. PBG/ZH festgelegten Anforderungen an Wohn-, Schlaf- und Arbeitsräume oder unterschreitet er diese nur unwesentlich, stellt er von vornherein kein "besonderes Gebäude" dar. Trifft dies nicht zu, so ist im Sinn einer Gesamtwürdigung zu prüfen, in welchem Ausmass der tatsächliche Zustand den wohnhygienischen Anforderungen genügt (CHRISTOPH FRITZSCHE/PETER BÖSCH/THOMAS WIPF, Zürcher Planungs- und Baurecht, Bd. 2, 5. Aufl. Zürich 2011, S. 743).
Aus dem Wortlaut von § 49 Abs. 3 PBG/ZH folgert die kantonale Rechtsprechung, dass besondere Gebäude, sofern die kommunale Bau- und Zonenordnung nicht etwas anderes bestimmt, an Hauptgebäude angebaut werden dürfen (Urteile des Verwaltungsgerichts des Kantons Zürich VB.2003.00210 vom 10. September 2003 E. 2a; VB.2003.00069 vom 7. Mai 2003 E. 4). Voraussetzung ist, dass die Verbindung oder die Nähe zu einem Hauptgebäude zusammen mit der Beschaffenheit des Gebäudes (Grösse, Befensterung, Isolation, Heizung und dergleichen) nicht dazu führt, dass in einer als "besonderes Gebäude" deklarierten Baute Räume entstehen, die bei objektiver Betrachtungsweise zum dauernden Aufenthalt von Menschen geeignet sind. Daher liegt nach der kantonalen Praxis kein "besonderes Gebäude" mehr vor, wenn dessen Ausstattung eine solche Nutzung während des grösseren Teils des Jahres erlaubt (vgl. BEZ 1988 Nr. 26 E. 3b) oder wenn die Lage eines darin enthaltenen Raumes eine dauernde Nutzung erleichtert, weil durch eine direkte Verbindung zum Hauptgebäude mit seinem Einbezug in die Wohn- oder Arbeitsnutzung gerechnet werden muss (FRITZSCHE/BÖSCH/WIPF, a.a.O. S. 869). Eine weitergehende funktionale Selbstständigkeit des besonderen Gebäudes wird nicht verlangt; dieses darf auch der Wohn- oder Arbeitsnutzung des Hauptgebäudes dienen, sofern es selber nicht zu solchen Zwecken genutzt werden kann (Urteil des Verwaltungsgerichts Zürich VB.2003.00210 vom 10. September 2003, E. 2a; BEZ 2010 Nr. 23 E. 4.2.3; FRITZSCHE/BÖSCH/WIPF, a.a.O. S. 870; s. auch Urteil des Verwaltungsgerichts Zürich VB.2006.00278 vom 23. Mai 2007 E. 9.2). Allerdings dürfen blosse Bestandteile von Hauptgebäuden, auch wenn sie sich für den dauernden Aufenthalt von Menschen nicht eignen, nicht willkürlich zu besonderen Gebäuden erklärt werden. Um als besondere Gebäude zu gelten, müssen sie in ihrer äusseren Erscheinung und in ihrem räumlichen Verhältnis vom Hauptgebäude abgrenzbar sein (vgl. Urteil des Verwaltungsgerichts Zürich VB.2002.00172 vom 2. September 2002 E. 2b/bb). Deshalb wird in der Praxis der kantonalen Behörden in Anlehnung an die zur Abgrenzung zwischen Hauptgebäuden auf der einen und An- und Nebenbauten auf der anderen Seite entwickelte Rechtsprechung eine gewisse konstruktive und architektonische Selbstständigkeit des besonderen Gebäudes verlangt (FRITZSCHE/BÖSCH/WIPF, a.a.O. S. 870). In der Regel soll sich diese bereits aufgrund der gegenüber Hauptgebäuden geringeren Gebäudehöhe ergeben.
2.3 Das Verwaltungsgericht hat die vom Baurekursgericht als "besondere Gebäude" bezeichnete Teile des Bauvorhabens im Einzelnen geprüft und gelangte zu folgenden Erkenntnissen:
2.3.1 Die überdachte 4,5 m lange Sitzplatzerweiterung neben der zum Hauptgebäude gehörenden Küche bezeichnete die Vorinstanz als unselbstständigen Bestandteil des nordwestlichen Gebäudeflügels. Die Sitzplatzerweiterung erscheine in architektonischer Hinsicht nicht als eigenständig, da sie auch über eine durchgehende (südwestseitig auskragende) Dachterrasse mit dem Hauptgebäude verbunden sei. Der aussenstehende Betrachter nehme die gedeckte Sitzplatzerweiterung als Fortsetzung des gleich hohen Küchentrakts wahr. Verstärkt werde dieser Eindruck durch das nordostseitige (strassenseitige) Fassadenbild, das ohne Rücksicht auf die beabsichtigte Aufteilung zwischen Hauptbau und "besonderem Gebäude" aus zwei identischen, je 5,5 m langen und mit je einem ovalen Fenster bestückten Abschnitten bestehe. Obwohl die Sitzplatzerweiterung aufgrund der geringeren Mauerstärke eine gewisse konstruktive Selbstständigkeit aufweise, lasse sich ihre Qualifikation als "besonderes Gebäude" infolge ungenügender optischer Eigenständigkeit nicht rechtfertigen. Dass sich der Sitzplatz nicht für den dauernden Aufenthalt von Menschen eigne, ändere daran nichts, weil es sich bei der architektonischen Selbstständigkeit um eine kumulative Voraussetzung handle (s. E. 2.2 hiervor).
2.3.2 Beim südöstlichen Gebäudeflügel spricht das Verwaltungsgericht von einer Unterteilung in zwei separate Anbauten (Abstellraum und Doppelgarage). Diese liessen sich in Anbetracht der baulichen Gesamtsituation des im Landhausstil geplanten Wohnhauses von vornherein nicht als "besonderes Gebäude" qualifizieren. Nachdem der nordwestliche Gebäudeflügel als fester Bestandteil des axial aufgebauten Hauptgebäudes geplant (Küchentrakt) bzw. mangels architektonischer Selbstständigkeit als solcher zu werten sei (Sitzplatzerweiterung), gehe es nicht an, den weitgehend spiegelbildlich angeordneten Südostflügel als Nebengebäude einzustufen. Fasse man nämlich den dreistöckigen Mitteltrakt zusammen mit der nordwestlichen Annexbaute als Hauptgebäude auf, grenze sich der südöstliche Gebäudeflügel in seiner Anordnung und im äusseren Erscheinungsbild (Fassadengestaltung) kaum mehr vom Hauptgebäude ab, sondern bilde vielmehr das architektonische Gegenstück des dazugehörigen Nordwestflügels. Die geplante Unterteilung des Bauvorhabens in Hauptbau und besondere Gebäude erscheine willkürlich. Im Übrigen sei wie bei der nordwestseitigen Sitzplatzerweiterung zweifelhaft, ob sich der Abstellraum gegenüber der Doppelgarage optisch als separater Anbau präsentiere.
2.4 Der Beschwerdeführer stellt zunächst in Abrede, dass aufgrund der vom Verwaltungsgericht genannten gesetzlichen Grundlagen eine architektonische Selbstständigkeit im Sinne einer optischen Selbstständigkeit verlangt werden dürfe, damit eine (An-)baute als "besonderes Gebäude" behandelt werden könne. Weise ein Gebäudeteil neben den gesetzlichen Beschränkungen die geforderte bauliche, konstruktive Selbstständigkeit auf, dürfe es nicht allein wegen fehlender optischer Unterscheidbarkeit vom Hauptgebäude als solches qualifiziert werden. Wolle die Gemeinde Einfluss auf die optische Erscheinung von Hauptgebäuden mit angebauten "besonderen Gebäuden" nehmen, so könne sie diese als an die Gebäudelänge anrechenbar erklären (§ 28 Abs. 2 der Allgemeinen Bauverordnung des Kantons Zürich vom 22. Juni 1977; LS 700.2). Die Gemeinde Küsnacht habe darauf bewusst verzichtet. Ausserdem müsste, selbst wenn es auf die optische Unterscheidbarkeit zwischen Hauptbau und "besonderem Gebäude" ankäme, eine Gesamtbetrachtung vorgenommen werden.
In Bezug auf die nordwestlich gelegene gedeckte Sitzplatzerweiterung verweist der Beschwerdeführer auf die konstruktive Selbstständigkeit wegen des im Vergleich zum Hauptgebäude deutlich schlankeren Mauerwerks und der nur dreiseitigen Einwandung. Die Sitzplatzerweiterung werde nicht beheizt und sei nicht über einen direkten Zugang mit dem Hauptgebäude verbunden. Auch das Baurekursgericht habe festgehalten, dass die Sitzplatzerweiterung beseitigt werden könne, ohne dass in die Substanz des Hauptgebäudes eingegriffen werden müsste. Die Angleichung habe allein gestalterische Gründe. Von der Gartenseite her seien der offene Sitzplatz und der Küchentrakt im Übrigen deutlich voneinander unterscheidbar. Die Tatsache allein, dass der Küchentrakt als Teil des Hauptgebäudes und der gedeckte Aussensitzplatz gleich hoch sind, dürfe der Bauherrschaft nicht zum Nachteil gereichen; ansonsten könnten an eingeschossige Hauptgebäude keine "besonderen Gebäude" mehr angebaut werden. Die Beurteilung der Vorinstanz finde weder im kantonalen noch im kommunalen Recht eine Grundlage.
Auch die Qualifikation der südöstlichen Anbauten als Teile des Hauptgebäudes hält der Beschwerdeführer für völlig unbegründet. Es sei kein Grund ersichtlich, weshalb bei einem Hauptgebäude mit zwei spiegelbildlich angeordneten Anbauten nicht der eine Gebäudeflügel als Hauptgebäude und der andere Gebäudeflügel als "besonderes Gebäude" ausgestaltet werden dürfe. Einzig entscheidend sei, ob die Anforderungen von § 273 PBG/ZH erfüllt seien und die geforderte bauliche Selbstständigkeit vorliege. Auf die Qualifikation der auf der anderen Seite des Hauptgebäudes vorgesehenen Anbauten könne es nicht ankommen. In baulich-architektonischer Hinsicht würden sich die eingeschossigen Anbauten deutlich vom dreigeschossigen Hauptgebäude unterscheiden. Die Garage hebe sich in ihrer Erscheinung zudem wegen des Garagentors erheblich vom Hauptgebäude und vom Abstellraum ab. Bereits das Baurekursgericht habe unwidersprochen festgehalten, dass die südöstlichen Anbauten über die für ein "besonderes Gebäude" erforderliche konstruktive und architektonische Selbstständigkeit gegenüber dem Hauptgebäude verfügten.
2.5 Die Kritik des Beschwerdeführers am angefochtenen Entscheid ist nicht geeignet, die vom Verwaltungsgericht vorgenommene Auslegung und Anwendung des massgebenden kantonalen Rechts als willkürlich erscheinen zu lassen. Die Vorinstanz ist aufgrund einer sachlich haltbaren gesamthaften Würdigung der Anbauten beidseits des Hauptgebäudes zum vertretbaren Schluss gelangt, dass keine "besonderen Gebäude" im Sinne des PBG/ZH vorliegen. Sie hat im Sinne ihrer Rechtsprechung zum kantonalen Recht eine architektonische Gesamtbetrachtung vorgenommen, die nicht zu beanstanden ist. Insbesondere hat sie willkürfrei berücksichtigt, dass es sich bei den Anbauten nicht um optisch, konstruktiv und funktionell eigenständige Gebäudeteile handelt. Dies ergibt sich insbesondere aus der einheitlichen Fassadengestaltung zur Strassenseite hin sowie aus der Ausgestaltung des Dachs der Anbauten als Terrassen des Hauptgebäudes. Was der Beschwerdeführer gegen die vorinstanzliche Beurteilung vorbringt, kann jedenfalls nicht zur Bejahung einer Bundesrechtsverletzung führen. Auch soweit der Beschwerdeführer darlegt, die Verweigerung der Baubewilligung sei unverhältnismässig und verstosse somit gegen die Eigentumsgarantie (Art. 26 und Art. 36 Abs. 3 BV), kann ihm nicht gefolgt werden. Das Verwaltungsgericht erwägt in E. 4.5.3 des angefochtenen Entscheids in haltbarer Weise, dass die aufgezeigten Mängel nur durch eine wesentliche Umprojektierung des weitgehend symmetrisch angelegten Wohnhauses behoben werden könnten. Damit falle eine nebenbestimmungsweise Heilung im Sinne von § 321 PBG/ZH ausser Betracht, weshalb die Baubewilligung aufzuheben sei. Dem Beschwerdeführer bleibt es aber unbenommen, ein überarbeitetes Bauprojekt zur Bewilligung einzureichen, das den kantonalen Vorschriften und der dazu bestehenden Praxis entspricht.
3. Es ergibt sich, dass die Beschwerde abzuweisen ist, soweit darauf eingetreten werden kann. Bei diesem Ausgang des bundesgerichtlichen Verfahrens sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Dieser hat den anwaltlich vertretenen Beschwerdegegnern eine angemessene Parteientschädigung auszurichten (Art. 68 Abs. 2 BGG). Den kantonalen und kommunalen Behörden steht keine Parteientschädigung zu (Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf eingetreten werden kann.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat den Beschwerdegegnern 1-4 eine Parteientschädigung von insgesamt Fr. 2'500.-- und dem Beschwerdegegner 5 eine Parteientschädigung von Fr. 2'500.-- zu bezahlen.
4. Dieses Urteil wird den Parteien, der Baukommission Küsnacht und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 6. Februar 2013
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Haag