Sachverhalt:
A.
A.a. Am 24. April 2007 erteilte der Bauausschuss der Gemeinde Bäretswil A._ die Bewilligung für den Neubau dreier Einfamilienhäuser, eines Landhauses, eines Zwei- und eines Vierfamilienhauses sowie zweier Tiefgaragen auf der Parzelle aKat.-Nr. 7733. Gleichzeitig hielt er fest, dass der Fluchtweg aus den beiden Terrassenhäusern ungenügend sei und verfügte, vor der Baufreigabe seien entsprechend revidierte Pläne zur Bewilligung einzureichen.
Aus unbekannten Gründen wurde in der Folge die Baufreigabe erteilt, obwohl keine angepassten Pläne eingereicht worden waren. A._ erstellte die genannten Bauten und unterteilte das Baugrundstück aKat.-Nr. 7733 in die Parzellen Kat.-Nrn. 7998, 7999, 8000, 8001, 8002 und 8005.
Mit Präsidialverfügung vom 19. November 2009 ordnete der Ressortleiter Hochbau der Gemeinde Bäretswil an, dass die Untergeschosse der Terrassenhäuser aufgrund fehlender sicherer Fluchtwege bis zur Behebung dieses Mangels nicht mehr benutzt werden dürften. Zugleich wurde A._ eine Frist bis zum 18. Dezember 2009 angesetzt, um die entsprechenden baulichen Sicherheitsvorkehrungen zu planen und bewilligen zu lassen. Mit Präsidialverfügung vom 11. Januar 2011 erteilte der Ressortleiter Hochbau A._ unter Auflagen und Bedingungen die Bewilligung für den Bau der Fluchtwege für die zwei Terrassenhäuser. Einen von A._ hiergegen erhobenen Rekurs hiess das Baurekursgericht des Kantons Zürich mit Entscheid vom 9. Mai 2012 infolge sachlicher Unzuständigkeit des Ressortleiters gut und hob die Präsidialverfügung auf. Der zuständige Bauausschuss bewilligte am 22. Juni 2012 ebenfalls unter Auflagen und Bedingungen die Projektänderung. Dieser Beschluss wurde von A._ nicht angefochten. Er sieht in Bezug auf das Zweifamilienterrassenhaus als feuerpolizeiliche Vorkehrung insbesondere vor, dass die Kellerräume des Terrassenhauses mit einem verlängerten Korridor durch die Tiefgarage und einer Aussentreppe versehen werden. Dieses Bauvorhaben wurde weder publiziert noch mittels eines Baugespannes ausgesteckt.
A._ begann Ende Mai 2013 mit dem Bau des Fluchtweges. Am 5. Juli 2013 erhoben B._ und C._, denen die Parzelle Kat.-Nr. 8000 gehört, beim Bauamt Bäretswil eine "Baueinsprache mit anfechtbarer Verfügung" und ersuchten um Erlass eines Baustopps. Zur Begründung führten sie aus, das Bauprojekt sei weder öffentlich ausgeschrieben noch mittels eines Baugespanns ausgesteckt worden. Es unterschreite den Grenzabstand und erweise sich deshalb auch als materiell baurechtswidrig. Mit Schreiben vom 19. Juli 2013 teilte ihnen das Bauamt Bäretswil Folgendes mit: "Wie wir Ihnen schon anlässlich Ihres Besuches auf dem Bauamt am 2. Juli 2013 mitgeteilt haben, handelt es sich bei den Bauarbeiten um die Erfüllung der feuerpolizeilichen Auflagen des Beschlusses des Bauausschusses vom 22. Juni 2012 resp. des Beschlusses des Bauausschusses vom 24. April 2007. Bitte beachten Sie sodann auch, dass nachwievor ein Nutzungsverbot der Tiefgarage besteht." Eine Rechtsmittelbelehrung enthielt dieses Schreiben nicht.
A.b. B._ und C._ gelangten ans Baurekursgericht und beantragten, die Verfügung vom 19. Juli 2013 des Bauamts sei aufzuheben und dieses sei anzuweisen, ein ordentliches Baubewilligungsverfahren, eventualiter ein Anzeigeverfahren betreffend Auflagenerfüllung, durchzuführen. Das Baurekursgericht bejahte mit Entscheid vom 4. Dezember 2013 zunächst den Verfügungscharakter des Schreibens des Bauamts vom 19. Juli 2013. Anschliessend erwog es, die lokale Baubehörde hätte korrekterweise ein ordentliches Baubewilligungsverfahren durchführen und den Baubewilligungsbeschluss vom 22. Juni 2012 B._ und C._ eröffnen müssen. Dies sei aber nicht entscheidend. B._ und C._ hätten nämlich erst in ihrer Rekursreplik, mithin drei Monate nach Kenntnisnahme, die Aufhebung der Baubewilligung vom 22. Juni 2012 verlangt. Angesichts des klar verspäteten Antrags erübrige sich eine Wiederholung des Baubewilligungsverfahrens. Im Ergebnis sei der Rekurs deshalb abzuweisen, soweit darauf einzutreten sei.
A.c. Eine dagegen von B._ und C._ erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Zürich mit Urteil vom 4. Juni 2014 teilweise gut. Es hielt fest, dass entgegen der Ansicht des Baurekursgerichts bereits aus der Rekursschrift - und nicht erst aus der Rekursreplik - hervorgegangen sei, dass sich das Rechtsmittel inhaltlich gegen die Baubewilligung vom 22. Juni 2012 richte. Zudem fügte es an, es sei davon auszugehen, dass die Bewilligung B._ und C._ im Juli 2013 zur Kenntnis gelangt sei und diese mit ihrem Rechtsmittel rechtzeitig reagiert hätten.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht vom 2. September 2014 beantragt A._ die Aufhebung des verwaltungsgerichtlichen Urteils. Zur Begründung macht er im Wesentlichen geltend, B._ und C._ hätten mit ihrem Rekurs ans Baurekursgericht zu lange zugewartet. Sie hätten damit ihr Rechtsmittel verwirkt.
Das Verwaltungsgericht sowie die Beschwerdegegner 1 und 2 beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Gemeinde Bäretswil beantragt sinngemäss deren Gutheissung. Die weiteren Verfahrensbeteiligten haben sich nicht vernehmen lassen. Der Beschwerdeführer hält in seiner Replik an seiner Rechtsauffassung fest.
Mit Präsidialverfügung vom 6. Oktober 2014 hat das Bundesgericht das Gesuch des Beschwerdeführers um aufschiebende Wirkung abgewiesen.
Erwägungen:
1.
1.1. Angefochten ist ein kantonal letztinstanzlicher Entscheid über eine Baubewilligung. Dagegen steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (Art. 82 ff. BGG). Der Beschwerdeführer hat am vorinstanzlichen Verfahren teilgenommen und ist als Baugesuchsteller vom angefochtenen Entscheid besonders betroffen. Er ist gemäss Art. 89 Abs. 1 BGG zur Beschwerde legitimiert.
1.2. Der angefochtene Rückweisungsentscheid ist ein selbstständig eröffneter Zwischenentscheid im Sinne von Art. 93 Abs. 1 BGG. Nach dieser Bestimmung ist die Beschwerde nur zulässig, wenn der angefochtene Entscheid einen nicht wieder gutzumachenden Nachteil bewirken kann (lit. a), oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b).
Die selbstständige Anfechtbarkeit von Vor- und Zwischenentscheiden bildet aus prozessökonomischen Gründen eine Ausnahme vom Grundsatz, dass sich das Bundesgericht mit jeder Angelegenheit nur einmal befassen soll. Die Ausnahme ist restriktiv zu handhaben, zumal die Parteien keiner Rechte verlustig gehen, wenn sie einen Vor- oder Zwischenentscheid im Sinne von Art. 93 BGG nicht selbstständig anfechten, können sie ihn doch mit dem Endentscheid anfechten, soweit er sich auf dessen Inhalt auswirkt (Art. 93 Abs. 3 BGG). Es obliegt dem Beschwerdeführer, detailliert darzutun, dass die Eintretensvoraussetzungen von Art. 93 BGG erfüllt sind, soweit dies nicht offensichtlich der Fall ist (BGE 138 III 46 E. 1.2 S. 47; 137 III 324 E. 1.1 S. 328 f.; 133 III 629 E. 2.3.1 und 2.4.2 S. 632 f.; je mit Hinweisen).
1.3. Es ist nicht ersichtlich, dass der angefochtene Entscheid einen nicht wieder gutzumachenden Nachteil im Sinne von Art. 93 Abs. 1 lit. a BGG bewirkt. Dies behauptet der Beschwerdeführer auch nicht. Er stützt sich vielmehr auf Art. 93 Abs. 1 lit. b BGG. Indessen begründet er nicht, inwiefern eine Gutheissung der Beschwerde durch das Bundesgericht einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde. Die Beschwerdegegner rügten mit ihrem Rekurs ans Baurekursgericht, es habe kein ordentliches Baubewilligungsverfahren stattgefunden, die Grenzabstände würden nicht eingehalten und die erforderliche Zustimmung der Miteigentümer liege nicht vor. Die Klärung dieser Fragen erfordert kein weitläufiges Beweisverfahren, sondern lässt sich voraussichtlich aufgrund der bestehenden Akten bewerkstelligen. Im Übrigen hat das Baurekursgericht ausgeführt, dass sich der Grenzabstand durch eine Projektanpassung ohne grösseren Aufwand einhalten lasse, sofern er tatsächlich verletzt worden sei. Der Beschwerdeführer äussert sich dazu nicht. Vor dem Hintergrund seiner Ausführungen (vgl. Art. 42 Abs. 2 BGG und E. 1.2 i.f. hiervor) erscheint die Voraussetzung von Art. 93 Abs. 1 lit. b BGG deshalb ebenfalls als nicht erfüllt.
2.
Auf die Beschwerde ist nicht einzutreten.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Der Beschwerdeführer hat zudem den obsiegenden, anwaltlich vertretenen Beschwerdegegnern 1 und 2 eine angemessene Parteientschädigung auszurichten (Art. 68 Abs. 1 und 2 BGG).
Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat die Beschwerdegegner 1 und 2 für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien, der Gemeinde Bäretswil, dem Regierungsrat und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 27. Oktober 2014
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold