Sachverhalt:
A.
Mit Beschluss vom 15. März 2016 erteilte die Bausektion der Stadt Zürich E._ und F._ die Bewilligung für den Ersatzneubau eines Einfamilienhauses auf dem Grundstück Kat.-Nr. FL2973 an der Hochstrasse 3 in Zürich-Fluntern. Am 9. Juni 2016 bewilligte das Amt für Baubewilligungen der Stadt Zürich im Anzeigeverfahren E._ und F._ eine Projektänderung am vorgenannten Bauvorhaben.
Gegen den Baubewilligungsbeschluss vom 15. März 2016 rekurrierten A._ und B._ sowie C._ und D._ am 20. April 2016 an das Baurekursgericht des Kantons Zürich. Die gleichen Personen erhoben am 10. Juli 2016 auch Rekurs gegen die am 9. Juni 2016 erteilte Projektänderung. Das Baurekursgericht führte am 30. August 2016 einen Augenschein durch. Mit Entscheid vom 18. November 2016 vereinigte es die beiden Rechtsmittel. Es wies die Rekurse ab, soweit es darauf eintrat und diese nicht als gegenstandslos geworden abschrieb.
Mit Eingabe vom 9. Januar 2017 reichten A._ und B._ sowie C._ und D._ Beschwerde beim Verwaltungsgericht des Kantons Zürich ein. Dieses wies die Beschwerde mit Urteil vom 18. Mai 2017 ab.
B.
Mit Eingabe vom 12. Juli 2017 führen A._, B._ sowie C._ und D._ Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht und beantragen die Aufhebung des angefochtenen Entscheids. Eventualiter sei das Geschäft in Aufhebung des angefochtenen Entscheids zur Beweisabnahme und zu neuem Entscheid an das Baurekursgericht oder an die Vorinstanz zurückzuweisen.
Mit Verfügung vom 4. September 2017 hat der Präsident der I. öffentlich-rechtlichen Abteilung der Beschwerde aufschiebende Wirkung zuerkannt.
Das Verwaltungsgericht und E._ und F._ beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Stadt Zürich stellt Antrag auf Beschwerdeabweisung. Die Beschwerdeführer halten an ihrem Standpunkt und an ihren Anträgen fest.
Mit Verfügung vom 29. Mai 2018 stellte der Präsident der I. öffentlich-rechtlichen Abteilung fest, aus den Eingaben der Beschwerdeführer ergebe sich, dass die Beschwerdegegner für die Liegenschaft Hochstrasse 3 eine zweite Abbruch- und Baubewilligung erwirkt hätten. Es frage sich daher, ob das Beschwerdeverfahren vor dem Bundesgericht wegen Wegfalls des Streitobjekts gegenstandslos geworden sei bzw. ob an der Beurteilung des ersten Projekts noch ein Rechtsschutzinteresse bestehe, und - wenn ja - ob das Beschwerdeverfahren vor dem Bundesgericht zumindest zu sistieren sei, bis über das zweite Projekt rechtskräftig entschieden oder dieses ebenfalls vor dem Bundesgericht anhängig gemacht worden sei.
Die Beschwerdegegner erklären, mit der Einreichung eines Alternativprojekts hätten sie auf die Ausführung des im vorliegenden Verfahren zu beurteilenden Stammprojekts nicht verzichtet. Das Streitobjekt sei nicht weggefallen bzw. das vorliegende Verfahren sei nicht gegenstandslos geworden; eine Sistierung werde abgelehnt. Das Verfahren betreffend Alternativprojekt sei derzeit beim Verwaltungsgericht des Kantons Zürich hängig.

Erwägungen:
1.
1.1. Dem angefochtenen Urteil der Vorinstanz liegt eine baurechtliche Streitigkeit und damit eine öffentlich-rechtliche Angelegenheit zugrunde. Das Bundesgerichtsgesetz enthält auf dem Gebiet des Raumplanungs- und Baurechts keinen Ausschlussgrund von der Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 lit. a und Art. 83 BGG). Die Beschwerdeführer sind Nachbarn im baurechtlichen Sinn und hatten im vorinstanzlichen Verfahren Parteistellung. Sie sind durch den angefochtenen Entscheid besonders berührt und haben ein schutzwürdiges Interesse an dessen Aufhebung. Sie sind damit zur Beschwerdeführung berechtigt (<ref-law>).
Es besteht weiterhin ein aktuelles Rechtsschutzinteresse an der Beurteilung der Beschwerde, da die Beschwerdegegner ausdrücklich erklärten, trotz Einreichung eines Gesuchs für ein Alternativprojekt an der Ausführung des im vorliegenden Verfahren zu beurteilenden Stammprojekts festhalten zu wollen.
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten können Rechtsverletzungen im Sinne von <ref-law> gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254). Hinsichtlich der Verletzung von Grundrechten - einschliesslich Willkür bei der Sachverhaltsfeststellung - gilt eine qualifizierte Rügepflicht (<ref-law>; vgl. <ref-ruling> E. 1.6 S. 281 f.). Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen; auf rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein.
2.
2.1. Die streitbetroffene Liegenschaft zählt zu den sogenannten Baumeisterhäusern, von welchen in der Stadt Zürich noch etwa 700 bestehen. Die Stadt Zürich nahm im Oktober 2014 eine Überarbeitung des städtischen Inventars der kunst- und kulturhistorischen Schutzobjekte von kommunaler Bedeutung vor, in deren Rahmen 81 Baumeisterhäuser neu ins Inventar aufgenommen wurden; vor der Ergänzung zählte das Inventar 80 Baumeisterhäuser. Das Streitobjekt ist nicht inventarisiert.
Die Beschwerdeführer machen geltend, die kommunale Baubewilligungsbehörde habe es zu Unrecht unterlassen, das Gebäude an der Hochstrasse 3 auf seinen denkmalpflegerischen Wert hin zu überprüfen. Eine solche Abklärung hätte mutmasslich eine Schutzwürdigkeit im Sinn von § 203 Abs. 1 lit. c des kantonalen Planungs- und Baugesetzes vom 7. September 1975 (PBG/ZH; LS 700.1) ergeben.
Nach dieser Bestimmung sind insbesondere Gebäudegruppen und Gebäude dann als Schutzobjekte zu qualifizieren, wenn sie als wichtige Zeugen einer politischen, wirtschaftlichen, sozialen oder baukünstlerischen Epoche erhaltenswürdig sind oder die Landschaften oder Siedlungen wesentlich mitprägen.
2.2. Die Vorinstanz hat erwogen, ein Nachbar dürfe sich nicht damit begnügen, die Schutzwürdigkeit eines angrenzenden Objekts bloss zu behaupten. Vielmehr müsse er diese anhand konkreter Anhaltspunkte aufzeigen. Aufgrund der Ausführungen der Beschwerdeführer bleibe unklar, worin die besonderen Qualitäten der fraglichen Liegenschaft bestünden. Bei den Akten befänden sich zudem weder ein Sachverständigengutachten noch architekturhistorische Schriften oder ähnliche Unterlagen, welche sich in qualifizierter Form mit der strittigen Baute befassten. Die Qualifikation des Gebäudes als Baumeisterhaus begründe für sich genommen noch keine Schutzwürdigkeitsvermutung. Gleiches gelte für die Tatsache, dass das Gebäude einer bestimmten Bauepoche zugeordnet werden könne und mittlerweile 170 Jahre alt sei. Das Denkmalrecht wolle Gebäude mit einem besonderen Situations- und/oder Eigenwert schützen. Es sei vorliegend nicht ersichtlich, weshalb gerade das zur Diskussion stehende Wohnhaus epochentypisch oder gar -prägend sei.
2.3. Die Beschwerdeführer rügen insbesondere eine qualifiziert unrichtige Sachverhaltsfeststellung seitens der Vorinstanz. In ihrer Beschwerde an die Vorinstanz vom 9. Januar 2017 hätten sie die mögliche Schutzwürdigkeit der Baute anhand diverser Anhaltspunkte aufgezeigt. Das Gebäude hätte daher inventarisiert und einer Schutzabklärung zugeführt werden müssen.
2.4. Die Beschwerdeführer haben einen Sachverständigen (Architekt ETH und Architekturhistoriker) als Berater beigezogen, welcher auch am Augenschein vor dem Baurekursgericht vom 30. August 2016 teilnahm.
In ihrer Beschwerde an das Verwaltungsgericht vom 9. Januar 2017 stellten die Beschwerdeführer die Baugeschichte des Hauses eingehend dar. Sie führten aus, das heute zu Fluntern gehörende Baumeisterhaus an der Hochstrasse 3 habe sich ursprünglich auf dem Gemeindegebiet von Oberstrass befunden und gehöre erst seit der neuen Quartiereinteilung um 1916 zu Fluntern. Das heutige Wohnhaus sei 1844/45 anstelle eines Vorgängerbaus, der am 27. April 1844 abgebrannt sei, neu erstellt worden. Dessen damaliger Eigentümer sei der ehemalige Gemeindepräsident von Oberstrass gewesen, der die Liegenschaft 1833 erworben habe. 1899 habe Jean Wunderli die Liegenschaft gekauft, und sein Sohn, der Architekt Edwin Wunderli, habe danach 1913 auf demselben Grundstück die Mehrfamilienhausgruppe mit den Gebäuden Hochstrasse 5-15 in Heimatstilformen um das bestehende Baumeisterhaus Hochstrasse 3 herum gebaut. Die Baugruppe repräsentiere damit zeugenhaft eine ablesbare Quartierentwicklung im Geviert. Lagemässig sei das Gebäude Teil der historischen Häusergruppe "Unterer Vogelsang", wozu auch der Hauskomplex Hochstrasse 8, 10 und 12, der im Kern mindestens bis ins Jahr 1511 zurückreiche, gehöre.
Das Objekt - so brachten die Beschwerdeführer in ihrer Beschwerde an die Vorinstanz weiter vor - repräsentiere gut erhalten die Wohnform der ländlichen, vorstädtischen Oberschicht in exemplarischer Weise. Auffallend seien die starke Befensterung auf allen Seiten sowie die Überhöhung des Obergeschosses, welches zum eigentlichen "Piano nobile" werde. Während das Äussere mit wenig Dekor auskomme, überrasche das Innere mit reichhaltiger Ausstattung aus der Biedermeierzeit mit Parkettböden, Wandtäfer, Türen und Stukkaturen. Es sei äusserst selten, dass Ausstattungen aus jener Zeit derart intakt erhalten geblieben seien. Das besagte Wohnhaus zähle fraglos zu den frühen, äusserst wichtigen Vertretern und Zeugen der Baumeisterhäuser.
Die Beschwerdeführer hielten in ihrer Beschwerde an die Vorinstanz zusammenfassend fest, diese Art von anschaulichem Verstädterungsprozess (Situationswert) mit einem hervorragend erhaltenen, zeugenhaften Baumeisterhaus (Eigenwert) sei in dieser Ausprägung sonst nicht mehr existent in der Stadt Zürich.
2.5. Die Vorinstanz setzt sich im angefochtenen Urteil nicht näher mit dieser Darstellung der Beschwerdeführer auseinander. Wenn sie trotz der ausführlichen, sich auf die Fachmeinung eines von den Beschwerdeführern als Berater beigezogenen Sachverständigen stützenden Darlegungen in der Beschwerde zum Schluss kommt, die Beschwerdeführer hätten nicht aufgezeigt, worin der Situations- und/oder Eigenwert der strittigen Liegenschaft bestehen solle, so ist dies nicht haltbar. Es verletzt mithin das Willkürverbot gemäss <ref-law> zu folgern, mit ihren Ausführungen hätten die Beschwerdeführer keine konkreten Anhaltspunkte für eine mögliche Schutzwürdigkeit des Gebäudes dargelegt.
3.
Die Beschwerde ist gutzuheissen und das angefochtene Urteil aufzuheben. Die Schutzwürdigkeit des Gebäudes an der Hochstrasse 3 wird nach dem Gesagten (mittels eines Sachverständigengutachtens) näher abzuklären sein. Da das Verfahren betreffend das zweite Projekt der Beschwerdegegner (zweite Abbruch- und Baubewilligung für die Liegenschaft an der Hochstrasse 3) beim Verwaltungsgericht hängig ist und sich dort die Frage der Schutzwürdigkeit ebenfalls stellt, ist es sachgerecht, die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Bei diesem Ergebnis erübrigt sich ein Eingehen auf die weiteren Vorbringen der Beschwerdeführer.
Die Kosten des bundesgerichtlichen Verfahrens sind den unterliegenden Beschwerdegegnern aufzuerlegen (Art. 66 Abs. 1 und 5 BGG). Diese haben den obsiegenden Beschwerdeführern 1-3 für das bundesgerichtliche Verfahren eine angemessene Parteientschädigung zu bezahlen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen und das Urteil des Verwaltungsgerichts des Kantons Zürich vom 18. Mai 2017 wird aufgehoben. Die Sache wird zur Neubeurteilung im Sinne der Erwägungen an das Verwaltungsgericht zurückgewiesen.
2.
Die Gerichtskosten von Fr. 4'000.-- werden den Beschwerdegegnern auferlegt.
3.
Die Beschwerdegegner haben den Beschwerdeführern 1-3 für das bundesgerichtliche Verfahren eine Parteientschädigung von je Fr. 1'000.--, d.h. von insgesamt Fr. 3'000.--, zu bezahlen.
4.
Dieses Urteil wird den Parteien, der Bausektion des Stadtrates Zürich, dem Amt für Baubewilligungen der Stadt Zürich und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 17. Juli 2018
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Merkli
Der Gerichtsschreiber: Stohner