Sachverhalt:
A.
Die Baukommission Küsnacht erteilte der Swisscom (Schweiz) AG mit Beschluss vom 25. Februar 2014 die Baubewilligung für die Änderung der Mobilfunkantennenanlage auf dem Gebäude Vers.-Nr. 1128, Parzelle Kat.-Nr. 12674 in Küsnacht.
Am 26. Februar 2014 setzte der Gemeinderat Küsnacht Art. 49a der Bau- und Zonenordnung (BZO) fest, womit in der Gemeinde eine Kaskadenregelung zur Standortsteuerung von Mobilfunk-Basisstationen eingeführt wurde. Art. 49a BZO wurde am 23. September 2014 durch die Baudirektion des Kantons Zürich genehmigt. Die Bestimmung lautet:
"Art. 49a Bestimmungen für Mobilfunkanlagen
1) Mobilfunkanlagen haben der Quartierversorgung zu dienen. In der Industrie- und Gewerbezone sind überdies auch Anlagen für die kommunale Versorgung zulässig.
2) Visuell wahrnehmbare Mobilfunkanlagen sind nur in folgenden Zonen und gemäss folgenden Prioritäten zulässig:
1. Priorität: Industrie- und Gewerbezonen
2. Priorität: Wohnzonen mit Gewerbeanteil
3. Priorität: Wohnzonen, in denen mässig störende Betriebe zulässig sind (Art. 23 Abs. 2 BZO)
4. Priorität: Gebiete mit besonderen Nutzungsanordnungen gemäss Art. 34 Abs. 2 BZO und Zonen für öffentliche Bauten
Erbringt der Betreiber den Nachweis, dass aufgrund von funktechnischen Bedingungen ein Standort ausserhalb der zulässigen Zonen erforderlich ist, ist eine Mobilfunkanlage auch in den übrigen Wohnzonen zulässig.
3) Die Betreiber erbringen den Nachweis, dass in den Zonen mit jeweils höherer Priorität keine Standorte zur Verfügung stehen."
B.
Auf Rekurs von Nachbarn hob das Baurekursgericht des Kantons Zürich mit Entscheid vom 18. Oktober 2016 den Beschluss der Baukommission Küsnacht vom 25. Februar 2014 auf und wies die Sache zur Neubeurteilung an diese zurück.
Die von der Swisscom (Schweiz) AG gegen den Rekursentscheid erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich mit Urteil vom 31. August 2017 ab.
C.
Die Swisscom (Schweiz) AG führt gegen dieses Urteil Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Sie beantragt, die Baubewilligung sei unter Aufhebung des angefochtenen Urteils zu bestätigen. Eventualiter sei die Sache zur ergänzenden Beurteilung an die Vorinstanz, subeventualiter an das Baurekursgericht zurückzuweisen.
Die Beschwerdegegner stellen den Antrag, auf das Rechtsmittel sei nicht einzutreten; eventualiter sei dieses abzuweisen, soweit darauf einzutreten sei. Das Verwaltungsgericht schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Baukommission Küsnacht hat auf eine Vernehmlassung verzichtet.

Erwägungen:
1.
1.1. Dem angefochtenen Urteil der Vorinstanz liegt eine baurechtliche Streitigkeit und damit eine öffentlich-rechtliche Angelegenheit zugrunde. Das Bundesgerichtsgesetz enthält auf dem Gebiet des Raumplanungs- und Baurechts keinen Ausschlussgrund von der Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 lit. a und Art. 83 BGG). Die Beschwerdeführerin ist als Baugesuchstellerin zur Beschwerde berechtigt (Art. 89 Abs. 1 BGG).
1.2.
1.2.1. Als Ergebnis des kantonalen Verfahrens ist das Baugesuch an die kommunale Baukommission zur Überprüfung der Zonenkonformität bzw. der Voraussetzungen der Prioritätenordnung gemäss Art. 49a der BZO zurückgewiesen worden. Dieser Rückweisungsentscheid schliesst das Verfahren nicht ab, sondern stellt einen Zwischenentscheid dar (vgl. <ref-ruling> E. 1.2 S. 23 f. mit Hinweisen).
1.2.2. Unter dem Vorbehalt der hier nicht betroffenen Fälle von Art. 92 BGG ist die Beschwerde gegen einen selbständig eröffneten Zwischenentscheid im Gebiet des Baurechts nur nach den Anforderungen von Art. 93 Abs. 1 BGG zulässig.
Entgegen der Darstellung der Beschwerdeführerin kann das Bundesgericht in der vorliegenden Sache mit einer Gutheissung der Beschwerde nicht sofort gemäss Art. 93 Abs. 1 lit. b BGG einen Endentscheid herbeiführen. Das Baurekursgericht hat bei seinem Rückweisungsentscheid die Beurteilung von Rügen der Nachbarn gegen das Bauprojekt offen gelassen, so dass das Bundesgericht nicht sofort über die Zulässigkeit des Vorhabens befinden kann.
Gemäss Art. 93 Abs. 1 lit. a BGG ist weiter eine direkte Anfechtbarkeit des Zwischenentscheids gegeben, wenn dieser einen nicht wieder gutzumachenden Nachteil bewirken kann. Ein nicht wieder gutzumachender Nachteil im Sinne von Art. 93 Abs. 1 lit. a BGG liegt vor, wenn dieser auch mit einem für die beschwerdeführende Partei günstigen Endentscheid nicht oder nicht vollständig behebbar ist; hingegen genügt die blosse Verlängerung oder Verteuerung des Verfahrens nicht (vgl. <ref-ruling> E. 1.3.4 S. 36). Dabei muss nicht feststehen, dass ein nicht wieder gutzumachender Nachteil eintritt; die blosse Möglichkeit eines solchen genügt (vgl. <ref-ruling> E. 1.2.1 S. 382 mit Hinweisen).
1.2.3. Die vorinstanzliche Rückweisung hätte zur Folge, dass die Beschwerdeführerin für ihr Bauprojekt den von Art. 49a BZO verlangten Nachweis erbringen müsste. Da es in einer Wohnzone ausserhalb der prioritären Zonen gemäss Art. 49a BZO liegt, hätte sie aufzuzeigen, dass kein Standort in einer prioritären Zone zur Verfügung steht und sie aus funktechnischen Gründen auf den gewählten Standort angewiesen ist. Die sofortige Anwendung von Art. 49a BZO kann für die Beschwerdeführerin zu einer Beschränkung in der Wahl der Antennenstandorte über das ganze Gemeindegebiet hinweg führen. Die Beschwerdeführerin beansprucht, den betroffenen Umbau unabhängig von der Verfügbarkeit von alternativen Standorten gemäss Art. 49a BZO durchzuführen; diese Möglichkeit wird durch die sofortige Anwendbarkeit von Art. 49a BZO eingeschränkt. Der damit verbundene Nachteil kann unter Umständen selbst mit einem für die Beschwerdeführerin günstigen Endentscheid nicht mehr behoben werden. Sollte der Beschwerdeführerin die umstrittene Baubewilligung unter Einbezug von Art. 49a BZO erteilt werden, so würde ihr deren spätere Anfechtung mit der Begründung, Art. 49a BZO sei gar nicht anwendbar, selbst bei einem gutheissenden Urteil nichts mehr nützen; diesfalls hätte sie den von Art. 49a BZO geforderten Nachweis schon erbracht und wäre in der Folge an anderen Standorten in der Gemeinde ausgeschlossen. Unter diesen Umständen ist ein nicht wieder gutzumachender Nachteil zu bejahen.
1.3. Da auch die übrigen Sachurteilsvoraussetzungen gegeben sind, ist auf die Beschwerde einzutreten.
2.
2.1. Nach der Vorinstanz hat die Rechtslage infolge des Inkrafttretens von Art. 49a BZO während des Verfahrens vor dem unterinstanzlichen Baurekursgericht geändert. Die Vorinstanz hat Art. 49a BZO als planungsrechtliche Festlegung eingestuft. Unter dieser Annahme hat die Vorinstanz § 234 des Planungs- und Baugesetzes des Kantons Zürich vom 7. September 1975 (PBG; LS 700.1) als intertemporale Regelung auf das umstrittene Bauvorhaben angewendet. Gemäss § 234 PBG ist ein Grundstück baureif, wenn es erschlossen ist und wenn durch die bauliche Massnahme keine noch fehlende planungsrechtliche Festlegung nachteilig beeinflusst wird. Die Anwendung von Art. 49a BZO als neues Recht hat die Vorinstanz zwar aus § 234 PBG hergeleitet; dennoch hat sie aber auch eine Interessenabwägung im Hinblick auf die Frage durchgeführt, ob die Anwendung dieses neuen Rechts im Rechtsmittelverfahren gerechtfertigt ist. Diese Frage hat die Vorinstanz bejaht. Weiter hat die Vorinstanz erwogen, dass § 234 PBG auf Umbauten und Nutzungsänderungen anwendbar sei. Im Ergebnis hat die Vorinstanz festgehalten, Art. 49a BZO sei auf den vorliegenden Fall anwendbar.
2.2. Die Beschwerdeführerin hält dem entgegen, die Anwendung von Art. 49a BZO verstosse gegen das Legalitätsprinzip (Art. 5 Abs. 1 BV), das Willkürverbot (Art. 9 BV) und den verfassungsmässigen Anspruch auf Vertrauensschutz (Art. 9 BV). Ausserdem werde die Gemeindeautonomie (Art. 50 BV, Art. 85 der Kantonsverfassung vom 27. Februar 2005 [KV; LS 101]) missachtet, denn das angefochtene Urteil übergehe den Umstand, dass die Gemeinde die Baubewilligung erteilt habe. Eine sofortige Anwendung neuen Rechts im Rechtsmittelver-fahren sei nur zulässig, wenn dies zur Durchsetzung erheblicher öffentlicher Interessen erforderlich sei. Letzteres sei hier aber nicht der Fall. Die Vorinstanz habe in Missachtung von Art. 29 Abs. 2 BV nicht genügend dargelegt, weshalb die öffentlichen Interessen an der Anwendung des neuen Rechts überwiegen sollten. Das angefochtene Urteil beruhe auf einer fehlerhaften Interessenabwägung und sei für die Beschwerdeführerin im Ergebnis unhaltbar.
2.3. Über die Anrufung des allgemeinen Legalitätsprinzips nach Art. 5 Abs. 1 BV kann die Beschwerdeführerin nicht erreichen, dass das Bundesgericht die Auslegung und Anwendung von kantonalem und kommunalem Recht frei prüft (<ref-ruling> E. 3.1 S. 5; Urteil 1C_511/2014 vom 13. Mai 2016 E. 4.2). Es bleibt insofern bei einer Willkürprüfung (vgl. zum Willkürverbot <ref-ruling> E. 2.2 S. 72; <ref-ruling> E. 2.4 S. 5; je mit Hinweisen).
2.3.1. Es ist nachvollziehbar, dass Art. 49a BZO als planerische Festlegung eingestuft worden ist. Im angefochtenen Urteil wird weiter unter Bezugnahme auf den Begriff der baulichen Massnahme in § 234 PBG dargelegt, dass Umbauten und Nutzungsänderungen unter diese Vorschrift fallen. Unter dem Blickwinkel des Willkürverbots ist es somit vertretbar, dass die Vorinstanz das konkrete Umbauvorhaben dem Geltungsbereich von § 234 PBG unterstellt hat. Ausserdem entspricht das Vorgehen der Vorinstanz, den Entscheid über die Anwendung neuen Rechts, das im Rechtsmittelverfahren in Kraft tritt, mithilfe einer Interessenabwägung zu fällen, insoweit der bundesgerichtlichen Rechtsprechung. Letztere berücksichtigt die Rechtsänderungen nach der erstinstanzlichen Baubewilligung (bei Fehlen einer speziellen intertemporalen Regelung) ausnahmsweise, wenn erhebliche öffentliche Interessen für die Anwendung des neuen Rechts im Rechtsmittelverfahren sprechen (vgl. Urteil 1C_23/2014 vom 24. März 2015 E. 7.4.2, in: ZBl 116/2015 S. 536).
2.3.2. Was die von der Vorinstanz angestellte Interessenabwägung betrifft, so hält diese ebenfalls vor dem Willkürverbot stand. Bei der umstrittenen Rechtsanwendung steht die Sicherung einer planerischen Neuordnung zur Diskussion. § 234 PBG dient dem gewichtigen öffentlichen Interesse an der Verwirklichung des verfassungsrechtlichen Auftrags der Raumplanung (vgl. Art. 75 BV; <ref-ruling> E. 4d S. 513 f.). Dieses Ziel ist erst dann erreicht, wenn ein beschlossener Plan, soweit er in Kraft tritt, auch tatsächlich zur Anwendung gelangt. Die neue Ordnung von Art. 49a BZO bezweckt bei Standorten wie dem vorliegend betroffenen den Schutz vor ideellen Immissionen gegenüber visuell wahrnehmbaren Mobilfunkantennen in Wohnzonen (vgl. <ref-ruling> E. 4.4 S. 38 ff. mit Hinweisen) und den Schutz ästhetischer Interessen. Das Umbauvorhaben strebt unbestrittenermassen eine Vergrösserung der bestehenden Mobilfunkanlage an. Der Beschwerdeführerin kann nicht gefolgt werden, wenn sie einen Einfluss ihres Umbauvorhabens auf die genannten öffentlichen Interessen völlig in Abrede stellt. Ob diese öffentlichen Interessen genügend erheblich sind, dass sie auch bei einer freien Prüfung durch das Bundesgericht zur Anwendung des neuen Rechts führen würden, kann im vorliegenden Fall offen bleiben. Jedenfalls war es nicht willkürlich, die Erheblichkeit dieser Interessen im Hinblick auf § 234 PBG zu bejahen. Die Vorinstanz durfte das Umbauvorhaben somit als nachteilige Beeinflussung im Sinne von § 234 PBG behandeln.
2.3.3. Im Übrigen nimmt das angefochtene Urteil bei den diesbezüglichen Erwägungen in genügender Weise Bezug auf das konkret betroffene Umbauvorhaben. Die Beschwerdeführerin vermochte das verwaltungsgerichtliche Urteil in diesem Punkt durchaus sachgerecht anzufechten. Der aus dem Anspruch auf rechtliches Gehör (Art. 29 Abs. 2 BV) abgeleitete Vorwurf mangelhafter Entscheidbegründung (vgl. dazu <ref-ruling> E. 9.2 S. 65 mit Hinweisen) geht fehl.
2.4. Bei der Anwendung von neuem Recht, das im Lauf eines Beschwerdeverfahrens in Kraft tritt, ist jedoch dem berechtigten Vertrauen (Art. 9 BV) in die Beständigkeit des bisherigen Rechts Rechnung zu tragen (vgl. <ref-ruling> E. 7.6.1 S. 40 f.; <ref-ruling> E. 7c S. 315 f.). Dem Vertrauen der Betroffenen in die Beständigkeit der geltenden Rechtsordnung trägt § 234 PBG namentlich dadurch Rechnung, dass die Vorschrift einem Bauvorhaben die fehlende planungsrechtliche Baureife nur bei hinreichend konkreter Planungsabsicht entgegensetzt (<ref-ruling> E. 4a und 4d S. 512 und 514; vgl. auch § 235 PBG). Diese Voraussetzung ist hier erfüllt. Die Gemeinde Küsnacht hatte Art. 49a BZO, allerdings in einer zu weitgehenden Fassung, bereits am 7. Dezember 2009 beschlossen. Welche Teile von Art. 49a BZO rechtmässig sind, steht seit dem Eintritt der Rechtskraft des verwaltungsgerichtlichen Urteils VB.2010.00456 vom 24. Januar 2013 fest. Dieser Umstand war der Beschwerdeführerin bekannt, weil sie sich, wie im Entscheid des Baurekursgerichts im vorliegenden Verfahren festgehalten, gegen Art. 49a BZO gewehrt hatte. Das Baugesuch für den umstrittenen Umbau datiert vom 11. November 2013. Damals musste die Beschwerdeführerin davon ausgehen, dass die Neuordnung nach deren Inkrafttreten auf das streitige Bauvorhaben anwendbar sein würde. Unter diesen Umständen ist es nicht zu beanstanden, wenn die Vorinstanz den im Rechtsmittelverfahren in Kraft getretenen Art. 49a BZO tatsächlich als anwendbar erklärte. Das berechtigte Vertrauen der Beschwerdeführerin in die Beständigkeit des alten Rechts hat sie dadurch nicht verletzt.
2.5. Die hilfsweise Anrufung der Gemeindeautonomie ist zwar zulässig (vgl. <ref-ruling> E. 1.2.4 S. 41 mit Hinweisen), aber sie hilft der Beschwerdeführerin im konkreten Fall nicht weiter. Gemäss der Vernehmlassung der kommunalen Baukommission an das Baurekursgericht wirkt sich die übergangsrechtliche Anwendung von Art. 49a BZO einzig dadurch aus, dass die Regelung über den Bestandesschutz gemäss § 357 PBG zur Anwendung kommt; nach ihrer Ansicht greift diese Besitzstandsgarantie beim umstrittenen Bauprojekt. Mit anderen Worten stellt sich die Gemeinde der Anwendbarkeit von Art. 49a BZO unter dem Blickwinkel von § 234 PBG nicht grundsätzlich entgegen, sondern behält insoweit bloss § 357 PBG vor (dazu unten E. 3 und 4). Damit erweist sich die Rüge der Verletzung der Gemeindeautonomie im Hinblick auf die Anwendung von § 234 PBG bzw. Art. 49a BZO als unbegründet.
2.6. Als Zwischenergebnis ist festzuhalten, dass die gegen die Anwendung von § 234 PBG gerichteten Vorwürfe betreffend Legalitätsprinzip, Willkürverbot, Vertrauensschutz und Gemeindeautonomie sowie die zusätzlich erhobene Rüge mangelhafter Entscheidbegründung nicht durchzudringen vermögen.
3.
3.1. Die Vorinstanz prüfte das Umbauvorhaben zusätzlich anhand der Besitzstandsgarantie gemäss § 357 Abs. 1 PBG. Nach dieser Bestimmung dürfen bestehende Bauten und Anlagen, die Bauvorschriften widersprechen, umgebaut, erweitert und anderen Nutzungen zugeführt werden, sofern sie sich für eine zonengemässe Nutzung nicht eignen, wenn keine überwiegenden öffentlichen oder nachbarlichen Interessen entgegenstehen. Für neue oder weiter gehende Abweichungen von Vorschriften bleiben die erforderlichen Ausnahmebewilligungen vorbehalten.
3.2. Die Vorinstanz stufte das Umbauvorhaben jedoch als neubauähnliche Umgestaltung ein; demzufolge sprenge es den Rahmen der Besitzstandsgarantie gemäss § 357 PBG.
3.2.1. Für diese Beurteilung stützte sich die Vorinstanz auf kantonales Recht. Sie wandte die zu § 357 PBG entwickelte Rechtsprechung an; danach liegt eine neubauähnliche Umgestaltung vor, wenn sich der Bauherrschaft durch die Änderung und Erweiterung der vorschriftswidrig gewordenen Baute wesentlich weitergehende Baumöglichkeiten bieten, als dies bei einem Neubau der Fall wäre (vgl. BEZ 2006 Nr. 32; FRITZSCHE/BÖSCH/WIPF, Zürcher Planungs- und Baurecht, 5. Aufl. 2011, S. 1137 ff.). Hingegen stellte die Vorinstanz, im Unterschied zum Baurekursgericht, zu Recht nicht auf die Regelung von Art. 3 Abs. 2 der Verordnung vom 23. Dezember 1999 über den Schutz vor nichtionisierender Strahlung (NISV; SR 814.710) betreffend die Gleichstellung von Änderungen einer Mobilfunkanlage mit einer Neuanlage ab. Art. 3 NISV ist Bestandteil der Bundesregelung über den Schutz vor nichtionisierender Strahlung, die abschliessend ist (<ref-ruling> E. 5.1 S. 177 mit Hinweisen). Daneben sind bei Mobilfunkanlagen planungs- und baurechtliche Vorschriften zu beachten, sofern sie die bundesrechtlichen Schranken, die sich aus dem Bundesumwelt- und -fernmelderecht ergeben einhalten (vgl. <ref-ruling> E. 6.3 S. 181 mit Hinweisen). In diesem Rahmen steht einer Mobilfunkbetreiberin wie der Beschwerdeführerin die Berufung auf die Besitzstandsgarantie gemäss § 357 PBG zu.
3.2.2. Mit Bezug auf den konkreten Fall hielt die Vorinstanz gestützt auf § 357 PBG fest, dass der Situation nach dem Ersatz der Antennenmodule die Möglichkeiten bei einem Neubau gegenüberzustellen seien. Bei diesem Vergleich sei wesentlich, dass am Standort - je nach Beurteilung gemäss Art. 49a BZO - allenfalls gar kein Neubau möglich sei. Daher laufe der Umbau auf eine neubauähnliche Umgestaltung hinaus. Somit habe dieser die Neubauvorschriften zu erfüllen.
3.3. Gegen die Einstufung als neubauähnliche Umgestaltung wendet die Beschwerdeführerin ein, dadurch würden die Gemeindeautonomie (Art. 50 BV, Art. 85 KV), das Willkürverbot (Art. 9 BV), die Eigentumsgarantie (Art. 26 BV) und die Wirtschaftsfreiheit (Art. 27 BV) verletzt. Im Zusammenhang mit der behaupteten Verletzung der Gemeindeautonomie bemängelt die Beschwerdeführerin wiederum eine mangelhafte Entscheidbegründung (Art. 29 Abs. 2 BV).
3.4. Die Annahme einer neubauähnlichen Umgestaltung im vorliegenden Fall ist nicht mit dem Willkürverbot vereinbar.
3.4.1. Die unter anderem aus der Eigentumsgarantie abgeleitete, bundesverfassungsrechtliche Besitzstandsgarantie schützt nur die bestehende, nicht aber eine geänderte Nutzung (vgl. <ref-ruling> E. 2a S. 122). Die Kantone können für Bauten innerhalb der Bauzonen eine erweiterte Besitzstandsgarantie vorsehen, was der Kanton Zürich mit § 357 PBG getan hat (vgl. Urteile 1C_326/2008 vom 29. Oktober 2008 E. 2.2; 1C_319/2016 vom 1. Februar 2017 E. 3.1). Grundsätzlich sind nach § 357 Abs. 1 PBG bauliche Veränderungen möglich, die über das hinausgehen, was noch unter den Begriff der teilweisen Änderung nach Art. 24c Abs. 2 RPG (SR 700) im Hinblick auf zonenwidrige Bauten und Anlagen ausserhalb der Bauzone fällt (FRITZSCHE/BÖSCH/WIPF, a.a.O., S. 1139).
3.4.2. Im vorliegenden Fall hat die Vorinstanz jedoch einen viel strengeren Massstab bei der Beurteilung nach § 357 PBG angelegt. Unter Bezugnahme auf den Umstand, dass am Standort - je nach Beurteilung gemäss Art. 49a BZO - allenfalls gar kein Neubau möglich sei, behandelt sie den betroffenen Umbau ohne Weiteres als neubauähnliche Umgestaltung und schliesst diesen vom Anwendungsbereich von § 357 PBG aus. Ihre Argumentation läuft darauf hinaus, dass jegliche Vergrösserung der Anlage am Standort gestützt auf § 357 PBG ausgeschlossen sein soll. Damit bleibt für eine erweiterte Besitzstandsgarantie, wie sie § 357 PBG vorschreibt, gar kein Raum.
3.4.3. Der Ausschluss von § 357 PBG auf den vorliegenden Fall ist nicht nur in der Begründung, sondern auch im Ergebnis unhaltbar. Allgemein nimmt die Vorinstanz nur mit grosser Zurückhaltung eine neubauähnliche Umgestaltung an. Sie beschränkt diese auf Fälle einer Gesetzesumgehung; dabei ist massgeblich, ob es nicht darum geht, bestehende Investitionen zu schützen, sondern vorwiegend die Anwendung der für einen Neubau geltenden Bestimmungen zu verhindern (BEZ 2006 Nr. 32 E. 4.1; FRITZSCHE/BÖSCH/WIPF, a.a.O., S. 1138). Zwar soll die fragliche Mobilfunkanlage vergrössert werden und neue technische Spezifikationen erhalten; sie soll aber doch nicht vollständig ersetzt oder in der Konstruktion bzw. im Erscheinungsbild grundlegend verändert werden. Bereits aufgrund der Akten lässt sich der umstrittene Umbau nicht einem Neubau gleichstellen; weitere Abklärungen sind in dieser Hinsicht unnötig. Mit dem fraglichen Umbau können ferner offensichtlich zu einem beträchtlichen Teil bestehende Investitionen geschützt werden. Es ist nicht nachvollziehbar, wenn die Vorinstanz erwägt, dass die bisher getätigten Investitionen der Beschwerdeführerin im Hinblick auf den fraglichen Standort keine Rolle spielen sollen. Jedenfalls lässt sich der Beschwerdeführerin bei objektiver Betrachtung nicht vorhalten, es gehe ihr vorwiegend darum, mit dem Umbau die Anwendbarkeit von Art. 49a BZO zu verhindern bzw. zu umgehen.
Es ist deshalb willkürlich, dass die Vorinstanz dem umstrittenen Bauprojekt die Anwendung von § 357 PBG versagt hat.
3.5. Damit erübrigt sich ein Eingehen auf die weiteren Vorbringen der Beschwerdeführerin.
4.
Nach dem Gesagten erweist sich die Beschwerde als begründet und ist gutzuheissen.
Die Gutheissung der Beschwerde führt dazu, dass die Vereinbarkeit des Bauvorhabens mit den weiteren Voraussetzungen von § 357 PBG zu prüfen ist. Die Baukommission hat sich vernehmlassungsweise zu § 357 PBG geäussert und die Bewilligungsfähigkeit unter diesem Titel bejaht (vgl. oben E. 2.5). Bereits das Baurekursgericht hat indessen die weiteren Voraussetzungen von § 357 PBG noch nicht geprüft. Insgesamt rechtfertigt es sich, die Sache zur neuen Beurteilung des Bauvorhabens nicht an das Verwaltungsgericht, sondern an das Baurekursgericht zurückzuweisen.
Bei diesem Ausgang des Verfahrens werden die Beschwerdegegner kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und 5 sowie Art. 68 Abs. 1, 2 und 4 BGG). Zur Neuverlegung der Kosten- und Entschädigungsfolgen des kantonalen Verfahrens ist die Sache an das Verwaltungsgericht zurückzuweisen.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen und das Urteil des Verwaltungsgerichts des Kantons Zürich, 1. Abteilung, 1. Kammer, vom 31. August 2017 wird aufgehoben. Die Sache wird zu neuer Beurteilung im Sinne der Erwägungen an das Baurekursgericht des Kantons Zürich zurückgewiesen.
2.
Die Gerichtskosten von Fr. 5'000.-- werden den Beschwerdegegnern auferlegt.
3.
Die Beschwerdegegner haben der Beschwerdeführerin für das bundesgerichtliche Verfahren eine Parteientschädigung von insgesamt Fr. 4'000.-- zu bezahlen.
4.
Die Sache wird zur Neuverlegung der Kosten des kantonalen Verfahrens an das Verwaltungsgericht Zürich zurückgewiesen.
5.
Dieses Urteil wird den Parteien, der Baukommission Küsnacht und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 6. Februar 2018
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Merkli
Der Gerichtsschreiber: Kessler Coendet