Sachverhalt:
A.
Mit Beschluss vom 23. August 2017 erteilte die Planungs- und Baukommission Thalwil D. und E. G._ die baurechtliche Bewilligung für den Umbau des Herrenhauses "Haus zur Platte" sowie den Neubau eines Pavillons und einer Unterniveaugarage mit elf Fahrzeugabstellplätzen auf der Parzelle Nr. 5994 an der Alten Landstrasse 95 in Thalwil. Gleichzeitig eröffnete sie ihnen die ortsbildschutzrechtliche Bewilligung der Baudirektion des Kantons Zürich vom 21. Juni 2017.
Dagegen erhoben A. und B. C._ sowie die Evangelisch-reformierte Kirchgemeinde Thalwil Rekurs. Das Baurekursgericht vereinigte mit Entscheid vom 17. April 2017 die beiden Verfahren, hiess die Rekurse teilweise gut und ergänzte den Beschluss der Planungs- und Baukommission mit einer verkehrssicherheitsrechtlichen Auflage. Im Übrigen wies es die Rekurse ab, soweit sie nicht gegenstandslos geworden waren. Eine daraufhin von A. und B. C._ eingelegte Beschwerde wies das Verwaltungsgericht des Kantons Zürich mit Urteil vom 17. Januar 2019 ab.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 1. März 2019 beantragen A. und B. C._ im Wesentlichen, das Urteil des Verwaltungsgerichts sei aufzuheben und die Baubewilligung zu verweigern oder die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Eventualiter sei die Gerichtsgebühr des vorinstanzlichen Verfahrens von Fr. 10'000.-- angemessen zu reduzieren, mindestens auf Fr. 6'000.--.
Das Verwaltungsgericht beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. D. und E. G._, die Baudirektion und die Planungs- und Baukommission schliessen auf Abweisung der Beschwerde.
C.
Mit Präsidialverfügung vom 12. April 2019 hat das Bundesgericht der Beschwerde die aufschiebende Wirkung zuerkannt.

Erwägungen:
1.
Dem angefochtenen Entscheid liegt ein Beschwerdeverfahren über eine baurechtliche Bewilligung zu Grunde. Dagegen ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach <ref-law> das zutreffende Rechtsmittel. Die Beschwerdeführer haben am vorinstanzlichen Verfahren teilgenommen, sind als Nachbarn durch den angefochtenen Entscheid besonders berührt und haben ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung (<ref-law>). Die weiteren Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist grundsätzlich einzutreten.
2.
2.1. Auf dem Grundstück der Beschwerdeführer steht ein Tulpenbaum, der im Inventar der Natur- und Landschaftsschutzobjekte der Gemeinde Thalwil verzeichnet ist. Ein Verfahren zur Unterschutzstellung ist hängig. Die Beschwerdeführer sind aus verschiedenen Gründen der Auffassung, dass vor dessen Abschluss die Baubewilligung nicht erteilt werden dürfe, weil eine Gefährdung des Baums durch das Bauvorhaben nicht ausgeschlossen werden könne.
2.2. Zur Beurteilung der Schutzwürdigkeit des Tulpenbaums holte die Gemeinde Thalwil während des hängigen Baubewilligungsverfahrens ein Gutachten des Gartenhistorikers und Landschaftsarchitekten F._ ein. In seinem Gutachten vom 24. Juli 2017 kam dieser zum Schluss, dass es sich beim Tulpenbaum um einen wertvollen Einzelbaum bzw. um ein Naturdenkmal handelt. Er zähle zu den ältesten seiner Art im Kanton Zürich. Ihm komme aus kunsthistorischer, gartenkünstlerischer sowie naturwissenschaftlicher Sicht grosse Bedeutung zu. Der festgestellte Kronendurchmesser definiere den Schutzumfang, weshalb auch die benachbarten Parzellen tangiert seien. Vor Eingriffen im Wurzelbereich seien Sondierungsgrabungen zur Feststellung des tatsächlichen Verlaufs der Wurzeln auszuführen. Jedes Bauprojekt im Wurzelbereich müsse so angepasst werden, dass der Baum keinen Schaden nehme.
Gestützt auf diese Beurteilung hielt die Planungs- und Baukommission in ihrem Baubewilligungsentscheid in Form einer Auflage fest, dass die Bauarbeiten den inventarisierten Tulpenbaum nicht beeinträchtigen dürfen und dieser während den Bauarbeiten fachgerecht zu schützen sei. Vor Baubeginn seien Sondierungsgrabungen zur Feststellung des Wurzelverlaufs vorzunehmen. Vorgesehene Schutzmassnahmen seien der Baubehörde mitzuteilen.
2.3. Das Verwaltungsgericht hält fest, zuständig für den Erlass von Schutzmassnahmen für Objekte von kommunaler Bedeutung sei nach § 211 Abs. 2 des Planungs- und Baugesetzes des Kantons Zürich vom 7. September 1975 (PBG; LS 700.1) der Gemeinderat (Exekutive). Die Baubehörden seien somit - soweit sie nicht mit dem Gemeinderat identisch seien - nicht befugt, im Rahmen eines Baubewilligungsverfahrens vorfrageweise einen materiellen Schutzentscheid zu treffen. Könne eine Beeinträchtigung eines inventarisierten Objekts durch ein Bauvorhaben nicht ausgeschlossen werden, so sei entweder das Baubewilligungsverfahren zu sistieren, bis der Schutzentscheid des Gemeinderats vorliegt, oder aber die beiden Verfahren seien koordiniert zu entscheiden.
In Bezug auf den vorliegend in Frage stehenden Tulpenbaum kommt das Verwaltungsgericht zum Schluss, eine Schädigung durch das Bauvorhaben könne ausgeschlossen werden, sodass eine Koordination beider Verfahren nicht erforderlich sei. Die in der Baubewilligung enthaltene Auflage gewährleiste den Schutz und Erhalt des Tulpenbaums. Der im Gutachten vom 24. Juli 2017 empfohlene Schutzumfang umfasse den Kronenbereich sowie den darunterliegenden Wurzelbereich und erstrecke sich somit ca. 6 m gegen Osten (d. h. in Richtung des geplanten Untergeschosses). Ein Blick auf die der Baubewilligung zugrundeliegenden Pläne zeige, dass die in einer Distanz von mindestens ca. 8 m geplanten Kellerräumlichkeiten sowie auch die zu ihrer Erstellung erforderlichen Baumassnahmen (namentlich Rühlwände) insofern keinen Eingriff in den gutachterlich empfohlenen geschützten Bereich bewirkten. Indessen hätten die in der Baubewilligung angeordneten Sondierungsgrabungen zur Feststellung des Wurzelverlaufs einen etwas grösseren Schutzumfang ergeben. Gemäss dem nach den Sondierungsgrabungen erstellten Gutachten des Baumpflegespezialisten G._ vom 26. September 2017 erstrecke sich die durchwurzelte Fläche in östlicher Richtung bis ca. 10 m vom Stamm weg, weshalb zum Schutz des Baums während den Bauarbeiten umfangreiche Massnahmen angezeigt seien. Namentlich müsse der Baugrubenrand mit einer senkrechten Sicherungsart (Rühlwände oder Ähnliches) ausgestattet werden. Entlang dieser Baugrubensicherung seien baumseitig Wurzelschutzmassnahmen in Form eines Wurzelvorhangs anzubringen. Unter Zugrundelegung des im zweiten Gutachten festgestellten (grösseren) Wurzelbereichs greife das Bauvorhaben zwar in den Bereich des Tulpenbaums ein. Die empfohlenen Baumschutzmassnahmen seien zudem umfangreich, zeigten indes gerade, dass das in den bewilligten Plänen vorgesehene Untergeschoss in dieser Form gebaut werden könne, ohne den Erhalt des Baums zu gefährden. Andernfalls hätte das Gutachten, welches eigens die Auswirkungen des Bauvorhabens auf den Tulpenbaum untersucht habe und dessen Feststellungen von den Beschwerdeführenden nicht in substanziierter Weise in Abrede gestellt würden, entsprechende Empfehlungen enthalten müssen. Das Untergeschoss lasse sich somit ohne Schädigung des Tulpenbaums in der geplanten Form realisieren.
3.
3.1. Die Beschwerdeführer gehen mit dem Verwaltungsgericht einig, dass die Erteilung der Baubewilligung ohne Vorliegen eines Entscheids über die Schutzwürdigkeit zulässig sei, wenn eine Beeinträchtigung des Schutzobjekts offensichtlich ausgeschlossen werden könne. Sie sind jedoch der Auffassung, vorliegend handle es sich nicht um einen derartigen Fall. Wie sich aus dem Entscheid des Baurekursgerichts vom 11. Dezember 2018 betreffend die Unterschutzstellung ergebe, sei der Sachverhalt noch nicht hinreichend festgestellt. Zudem sei offensichtlich falsch, davon auszugehen, dass der Tulpenbaum im Grenzbereich der Parzellen Nrn. 5994, 5993 und 8933 stehe. Das Verwaltungsgericht habe § 211 Abs. 2 PBG, wonach der Gemeindevorstand die Schutzmassnahmen für Objekte von kommunaler Bedeutung trifft, willkürlich ausgelegt (<ref-law>). Die Missachtung dieser Zuständigkeitsordnung führe auch zu einer Verletzung von Art. 25a RPG (SR 700), <ref-law>, des Grundsatzes der Gewaltenteilung sowie von <ref-law> und Art. 6 Abs. 1 EMRK. Zudem werde die Eigentumsgarantie verletzt.
3.2. Die Feststellung, der Tulpenbaum stehe im Grenzbereich der Parzellen Nrn. 5994, 5993 und 8933, erscheint keineswegs als offensichtlich falsch. Die Beschwerdeführer übersehen, dass in dieser Hinsicht neben dem Stamm auch der Kronen- und/oder Wurzelbereich gemeint sein kann. Zudem ist die Feststellung für die Frage des Schutzumfangs und damit für den Ausgang des Verfahrens ohnehin nicht entscheidend (<ref-law>).
3.3. Zutreffend ist, dass das Baurekursgericht in seinem Entscheid vom 11. Dezember 2018 betreffend Unterschutzstellung den Sachverhalt als noch nicht hinreichend festgestellt erachtete. Daraus folgt jedoch nicht, dass eine Gefährdung des Baums unter keinen Umständen von vornherein ausgeschlossen werden könnte und damit auch für die Zwecke der Baubewilligung der Sachverhalt noch nicht genügend abgeklärt wäre. In Bezug auf den in diesem Zusammenhang interessierenden Wurzelbereich hielt das Baurekursgericht fest, es sei unklar, ob der Gemeinderat in seinem Beschluss damit den gesamten Bereich unter der Baumkrone oder nur den statisch relevanten Wurzelbereich mit der Wurzelstockanhebung gemeint habe. Dies müsse, auch im Hinblick auf eine allfällige Fahrbeschränkung "im Wurzelbereich", genau geklärt werden. Das Verwaltungsgericht stellte dagegen darauf ab, ob der Baum durch das in mehr als 8 m Entfernung vom Stamm geplante Kellergeschoss gefährdet werde. Dies ist angesichts des Inventareintrags, das als Schutzziel den Erhalt des Einzelbaums vorsieht, nicht zu beanstanden. Ebenfalls nicht zu beanstanden ist angesichts dieses Inventareintrags, dass sich das Verwaltungsgericht auf die Abklärung einer möglichen Schädigung des Baums selbst beschränkt hat. Zwar machen die Beschwerdeführer im Verfahren vor Bundesgericht geltend, der Schutz könnte auch die für die Wirkung des Schutzobjekts wesentliche Umgebung erfassen, doch legen sie nicht dar, inwiefern in dieser Hinsicht durch das Bauprojekt eine Beeinträchtigung bzw. Präjudizierung des Schutzentscheids droht, und kommen damit ihrer Begründungsobliegenheit nicht nach (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG). Auf diesen Punkt ist deshalb nicht weiter einzugehen. Lediglich der Vollständigkeit halber ist festzuhalten, dass das in der Nähe des Tulpenbaums geplante Kellergeschoss ein Unterniveaugeschoss ist, das deshalb kaum als Teil der für die Wirkung des Baums wesentlichen Umgebung angesehen werden kann.
3.4. Mit Blick auf eine mögliche Beeinträchtigung der Wurzeln stützte sich das Verwaltungsgericht nach dem Ausgeführten im Wesentlichen auf die Feststellungen des Gutachters G._. Dieser hielt nach einer Wurzelortung sowie einer Kontrollgrabung fest, zwar müsse für die Baugruben eine senkrechte Sicherungsart verwendet werden und seien vor Baubeginn Wurzelschutzmassnahmen (Wurzelvorhang) zu ergreifen, doch könne die Aushublinie des Kellers auf der Baumseite beibehalten werden. Dass das Verwaltungsgericht davon ausging, eine Schädigung des Baums könne ausgeschlossen werden, ist unter diesen Voraussetzungen nicht als willkürliche Missachtung der Zuständigkeitsregelung in § 211 Abs. 2 PBG zu betrachten. Die Beschwerdeführer behaupten zwar, sie hätten das Gutachten G._ im Unterschutzstellungsverfahren widerlegt, führen diese Behauptung jedoch nicht weiter aus, weshalb darauf nicht einzutreten ist. Auch ihre weiteren Einwände verfangen nicht. So trifft zwar zu, dass der Gutachter F._ festhielt, dass wegen des flachen Wurzelverlaufs bereits wenig tiefgreifende Eingriffe im Wurzelbereich schwere Schäden anrichten könnten. Er bezog sich dabei jedoch offensichtlich nicht auf das geplante Kellergeschoss. Schliesslich findet die Behauptung, das Bauvorhaben könnte wichtige Wasseradern abklemmen oder den Grundwasserspiegel verändern und den Tulpenbaum auf diese Weise beeinträchtigen, in den Akten keinerlei Stütze.
3.5. Insgesamt durfte das Verwaltungsgericht in tatsächlicher Hinsicht willkürfrei davon ausgehen, dass das Bauprojekt den Tulpenbaum nicht beeinträchtigen wird. Damit fällt eine willkürliche Auslegung von § 211 Abs. 2 PBG sowie eine Verletzung der weiteren von den Beschwerdeführern angerufenen Bestimmungen ausser Betracht. Die diesbezüglichen Rügen erweisen sich deshalb als unbegründet, soweit sie in der Beschwerdeschrift hinreichend substanziiert wurden.
4.
4.1. In ihrem Eventualantrag verlangen die Beschwerdeführer, die vorinstanzliche Gerichtsgebühr von Fr. 10'000.-- sei angemessen zu reduzieren und höchstens auf Fr. 6'000.-- zuzüglich Zustellkosten von Fr. 180.-- festzusetzen. Der Kostenentscheid verletze das Äquivalenzprinzip. Der Zeitaufwand für das Verwaltungsgericht sei höchstens durchschnittlich gewesen, aussergewöhnliche Umstände seien nicht ersichtlich. Das angefochtene Urteil umfasse 17 Seiten und sei in Dreierbesetzung gefällt worden, zudem habe kein Augenschein stattgefunden.
4.2. Das Äquivalenzprinzip konkretisiert das Verhältnismässigkeitsprinzip und das Willkürverbot für den Bereich der Kausalabgaben. Es bestimmt, dass eine Gebühr nicht in einem offensichtlichen Missverhältnis zum objektiven Wert der abzugeltenden Leistung stehen darf und sich in vernünftigen Grenzen halten muss. Der Wert der Leistung bemisst sich nach dem wirtschaftlichen Nutzen, den sie dem Pflichtigen bringt, oder nach dem Kostenaufwand der konkreten Inanspruchnahme im Verhältnis zum gesamten Aufwand des betreffenden Verwaltungszweigs. Dabei darf auf Durchschnittserfahrungen abgestellt werden, weshalb die Gebühren nicht in jedem Fall genau dem erbrachten Verwaltungsaufwand entsprechen müssen. Sie sollen jedoch nach sachlich vertretbaren Kriterien bemessen sein und nicht Unterscheidungen treffen, für die keine vernünftigen Gründe ersichtlich sind. Bei ihrer Festsetzung darf innerhalb eines gewissen Rahmens der wirtschaftlichen Situation des Pflichtigen und dessen Interesse am abzugeltenden Akt Rechnung getragen werden. Zudem darf gemäss dem Äquivalenzprinzip die Höhe der Gebühr die Inanspruchnahme gewisser Institutionen nicht verunmöglichen oder übermässig erschweren. Dies gilt namentlich bezüglich der Gerichtsgebühren, deren Höhe den Zugang zur Justiz (<ref-law>) nicht übermässig erschweren darf (zum Ganzen: <ref-ruling> E. 5.2.3 S. 66 mit Hinweisen).
Die kantonalen Gerichte verfügen bei der Festsetzung von Gerichtsgebühren über einen grossen Ermessensspielraum, der jedoch überschritten wird, wenn ein offensichtliches Missverhältnis zwischen der Gebühr und dem objektiven Wert der bezogenen Leistung besteht (<ref-ruling> E. 5.2.4 S. 67 mit Hinweisen). Das Bundesgericht hat im zitierten Urteil festgehalten, dass der Gebührenrahmen in Verfahren vor dem Verwaltungsgericht des Kantons Zürich bei Streitigkeiten ohne bestimmbaren Streitwert aussergewöhnlich weit sei und zudem die Bemessungskriterien unbestimmt seien. Dem Äquivalenzprinzip komme unter diesen Voraussetzungen eine erhöhte Bedeutung zu, weshalb verlangt werden könne, dass die strittige Gerichtsgebühr das in der Schweiz für ähnliche Verfahren übliche Mass nicht deutlich überschreite (<ref-ruling> E. 5.6 f. S. 69 mit Hinweisen auf die kantonalen Rechtsgrundlagen).
4.3. Im erwähnten Bundesgerichtsurteil erschien die damals strittige Gerichtsgebühr von Fr. 13'000.-- im interkantonalen Vergleich und auch im Vergleich zu den Gebühren des Bundesgerichts als aussergewöhnlich hoch, und auch die im vorliegenden Fall eingeforderte Gerichtsgebühr von Fr. 10'000.-- überschreitet das in der Schweiz für ähnliche Verfahren übliche Mass immer noch deutlich. Dass aussergewöhnliche Verhältnisse eine solche Abweichung rechtfertigen, legt die Vorinstanz nicht dar und ist auch nicht ersichtlich. So ist von einem höchstens durchschnittlichen Zeitaufwand auszugehen, zumal das angefochtene Urteil insgesamt 17 Seiten umfasst, die Parteien keine umfangreichen Rechtsschriften eingereicht hatten, die Vorinstanz keinen Augenschein vornahm und sie in Dreierbesetzung die Rechtsauffassung des Baurekursgerichts bestätigte. Auch war der Fall nicht besonders schwierig. Neben der Rüge betreffend den Tulpenbaum hatte das Verwaltungsgericht einzig den Gebäudeabstand und die Verkehrssicherheit der projektierten Tiefgaragenausfahrt zu beurteilen. Vor diesem Hintergrund verletzte die Gerichtsgebühr von Fr. 10'000.-- das Äquivalenzprinzip, weil zwischen ihr und dem objektiven Wert des angefochtenen Urteils unter Berücksichtigung der heute in der Schweiz für baurechtliche Streitigkeiten üblicherweise verlangten Gebühren ein offensichtliches Missverhältnis besteht. Dies wird dadurch bestätigt, dass das Baurekursgericht als erste gerichtliche Instanz eine Gebühr von Fr. 8'000.-- erhob, obwohl es einen Augenschein durchführte und daher einen wesentlich grösseren Aufwand hatte als die Vorinstanz. Unter diesen Umständen rechtfertigt es sich, die vorinstanzliche Gerichtsgebühr gemäss dem Eventualantrag der Beschwerdeführer auf Fr. 6'000.-- zu reduzieren.
5.
Die Beschwerde ist aus diesen Erwägungen insoweit gutzuheissen, als das angefochtene Urteil bezüglich der Gerichtskosten von Fr. 10'000.-- für das vorinstanzliche Verfahren aufzuheben ist und diese Kosten auf Fr. 6'000.-- (zzgl. Zustellkosten von Fr. 180.--) zu reduzieren sind. Im Übrigen ist die Beschwerde abzuweisen.
Bei diesem Verfahrensausgang sind die Gerichtskosten des bundesgerichtlichen Verfahrens von Fr. 4'000.-- im Umfang von Fr. 3'000.-- den Beschwerdeführern aufzuerlegen. Bezüglich der Herabsetzung der von den Beschwerdeführern zu bezahlenden Gerichtskosten des vorinstanzlichen Verfahrens kommt den Beschwerdegegnern kein eigenes Interesse zu, weshalb diese insofern nicht als unterliegend zu qualifizieren sind. Auch dem Kanton Zürich und der Gemeinde Thalwil sind keine Gerichtskosten aufzuerlegen (<ref-law>; Urteil 1C_358/2017 vom 5. September 2018 E. 6, nicht publ. in <ref-ruling>). Die Beschwerdeführer haben zudem die Beschwerdegegner mit Fr. 3'000.-- zu entschädigen. Der Kanton Zürich hat den Beschwerdeführern eine reduzierte Parteientschädigung von Fr. 1'000.-- zu bezahlen (Art. 68 Abs. 1-3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und Ziffer 2 des Dispositivs des Urteils des Verwaltungsgerichts des Kantons Zürich vom 17. Januar 2019 dahingehend abgeändert, dass die Gerichtsgebühr auf Fr. 6'000.-- festgesetzt wird, was zuzüglich der Zustellkosten von Fr. 180.-- zu einem Total von Fr. 6'180.-- führt. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten des bundesgerichtlichen Verfahrens werden im Umfang von Fr. 3'000.-- den Beschwerdeführern auferlegt.
3.
Die Beschwerdeführer haben den Beschwerdegegnern eine Parteientschädigung von Fr. 3'000.-- zu bezahlen.
4.
Der Kanton Zürich hat den Beschwerdeführern eine Parteientschädigung von Fr. 1'000.-- zu bezahlen.
5.
Dieses Urteil wird den Parteien, der Planungs- und Baukommission Thalwil, der Baudirektion und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 11. Juli 2019
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Der Gerichtsschreiber: Dold