Sachverhalt:
A.
G._ ist Eigentümer des der Wohnzone W2/25 zugeordneten Grundstücks Kat.-Nr. 6057 in Erlenbach (nachstehend: Baugrundstück). Verschiedene umliegende Grundstücke stehen im Eigentum von E._, H.H._ und I.H._, F._ sowie der Erbengemeinschaft A.A._ und B.A._, bestehend aus C.A._ und D.A._ (nachstehend: Nachbarn).
B.
Mit Beschluss vom 3. April 2018 erteilte die Bau- und Planungskommission Erlenbach G._ die Bewilligung, das auf dem Baugrundstück vorbestehende Wohnhaus abzubrechen und durch ein neues Einfamilienhaus mit einem Aussenschwimmbad und einer Garage zu ersetzen.
Den dagegen von den Nachbarn erhobenen Rekurs wies das Baurekursgericht des Kantons Zürich mit Entscheid vom 11. Dezember 2018 ab. Die Nachbarn fochten diesen Entscheid mit Beschwerde an, die das Verwaltungsgericht des Kantons Zürich mit Urteil vom 29. August 2019 abwies.
C.
Mit Ausnahme von H.H._ und I.H._ erheben die Nachbarn (Beschwerdeführer) Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, das Urteil des Verwaltungsgerichts vom 29. August 2019 und die G._ (Beschwerdegegner) erteilte Baubewilligung aufzuheben.
Mit Präsidialverfügung vom 6. November 2019 wies das Bundesgericht das Gesuch der Beschwerdeführer, der Beschwerde die aufschiebende Wirkung zu erteilen, ab.
Das Verwaltungsgericht schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Der Beschwerdegegner beantragt, auf die Beschwerde nicht einzutreten, eventuell sie abzuweisen. Die Bau- und Planungskommission der Gemeinde Erlenbach stellt den Antrag, die Beschwerde abzuweisen.
In ihrer Replik halten die Beschwerdeführer an ihren Beschwerdeanträgen fest.

Erwägungen:
1.
1.1. Gegen den kantonal letztinstanzlichen Endentscheid der Vorinstanz im Bereich des Baurechts steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten grundsätzlich offen (Art. 82 ff. BGG; BGE133 II 353 E. 2 S. 356). Die Beschwerdeführer sind beschwerdelegitimiert, da sie am vorinstanzlichen Verfahren teilgenommen haben und sie als Eigentümer von Grundstücken in der Nähe des Baugrundstücks ein schutzwürdiges Interesse an der Aufhebung der strittigen Baubewilligung haben (Art. 89 Abs. 1 BGG). Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die form- und fristgerecht erhobene Beschwerde grundsätzlich einzutreten.
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann geltend gemacht werden, der angefochtene Entscheid verletze Bundes- oder Völkerrecht (Art. 95 lit. a und b BGG). Zulässig ist auch die Rüge der Verletzung von kantonalen verfassungsmässigen Rechten, kantonalen Bestimmungen über die politische Stimmberechtigung der Bürger und über Volkswahlen und -abstimmungen (Art. 95 lit. c und d BGG). Abgesehen davon überprüft das Bundesgericht die Anwendung des kantonalen Rechts nicht als solche. Jedoch kann gerügt werden, diese Anwendung widerspreche dem Bundesrecht, namentlich dem Willkürverbot gemäss Art. 9 BV (<ref-ruling> E. 2.1 S. 372 mit Hinweisen). Nach der Praxis des Bundesgerichts verstösst ein Entscheid gegen dieses Verbot, wenn er im Ergebnis offensichtlich unhaltbar ist, weil er zum Beispiel eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt. Dass eine andere Lösung ebenfalls als vertretbar erscheint, genügt nicht (<ref-ruling> E. 2.2 S. 72 mit Hinweisen). Die Willkürrüge muss in der Beschwerde explizit vorgebracht und substanziiert begründet werden (Art. 106 Abs. 2 BGG). Auf rein appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 5.4 S. 324 mit Hinweisen).
2.
2.1. Gemäss § 280 Abs. 1 des Planungs- und Baugesetzes des Kantons Zürich vom 7. September 1975 (PBG) wird die zulässige Gebäudehöhe von der jeweiligen Schnittlinie zwischen Fassade und Dachfläche auf den darunterliegenden gewachsenen Boden gemessen.
Da die Gemeinde Erlenbach ihre Bau- und Zonenordnung der interkantonalen Vereinbarung über die Harmonisierung der Baubegriffe noch nicht angepasst hat, ist für die Konkretisierung des Begriffs des gewachsenen Bodens § 5 des Anhangs 2 der Allgemeinen Bauverordnung vom 22. Juni 1977 (ABV) massgeblich, der bestimmt:
" 1 Gewachsener Boden ist der bei Einreichung des Baugesuchs bestehende Verlauf des Bodens.
2 Auf frühere Verhältnisse ist zurückzugreifen, wenn der Boden
a. innert eines Zeitraums von 10 Jahren vor der Baueingabe in einem im Zeitpunkt der Ausführung der Bewilligungspflicht unterliegenden Ausmass aufgeschüttet und das neue Terrain in der baurechtlichen Bewilligung oder in einem förmlichen Planungs- oder Projektgenehmigungsverfahren nicht ausdrücklich als künftig gewachsener Boden erklärt worden ist;
b. [...]"
2.2. Im kantonalen Verfahren war die Bestimmung des gewachsenen Bodens gemäss § 5 Anhang 2 ABV umstritten. Die Vorinstanz führte dazu zusammengefasst aus, werde zur Erstellung eines Gebäudes ein bestehendes abgerissen, entstünden im Bereich der Untergeschosse und Garagen regelmässig Gruben und Senken. Würde man für die Beurteilung des Neubaus auf diesen tatsächlichen Bodenverlauf abstellen, ergäbe sich eine unnatürliche und die Neuüberbauung des Grundstücks erheblich erschwerende Terrainsituation. Um dies zu verhindern sei gemäss Lehre und Rechtsprechung die Fläche innerhalb des Grundrisses von bestehenden Bauten allgemein nicht als gewachsenen Boden im Sinne von § 5 Abs. 1 (Anhang 2) ABV zu betrachten, sondern mittels Interpolation fiktiv aufzufüllen. Dabei könne innerhalb von abzubrechenden Gebäuden der Bodenverlauf entlang der Fassaden als Referenz dienen. Gerade bei komplexen topographischen Verhältnissen müssten mehr oder weniger genaue Annahmen über die dreidimensionale Ausgestaltung des Geländes getroffen werden, weshalb es nicht eine einzig richtige, sondern bloss eine Bandbreite zulässiger Interpolationen geben könne.
Da der Messpunkt 605, an dem die Beschwerdeführer eine Überschreitung der Gebäudehöhe behaupteten, innerhalb des Grundrisses des heute bestehenden Gebäudes liege, müsse dessen Höhe durch Interpolation ermittelt werden. Dabei sei zu beachten, dass das Terrain aufgrund der Aufschüttung im Bereich des Sitzplatzes des abzubrechenden Wohnhauses entlang der Südwestfassade einen Sprung von mehr als 2 m aufweise. So liege der Punkt A auf einer Höhe von 510,89 m.ü.M. und der unmittelbar (westlich) danebenliegende Punkt auf einer Höhe von 508,23 m.ü.M. Das Terrain verlaufe in nördlicher und in östlicher Richtung ansteigend. Dieser gegenwärtig auf der Bauparzelle bestehende Terrainverlauf gelte als gewachsener Boden. Wenn die Beschwerdeführer bemängelten, die vorgenommene Interpolation führe den durch die Aufschüttung geschaffenen Geländesprung innerhalb des Gebäudes nicht weiter, so würden sie verkennen, dass die Interpolation gemäss ihrem Zweck nicht zu einem völlig unnatürlichen und schwer bebaubaren Terrainverlauf führen soll. Es sei keineswegs zwingend, dass eine vertretbare Interpolation einen Geländesprung ausserhalb des Grundrisses des vorbestehenden Gebäudes wiedergeben müsse. Die strittige Interpolation verbinde den Punkt C auf 510,50 m.ü.M. mit dem auf der gleichen Höhe liegenden Punkt D an der Nordwestfassade. Die Verbindungslinie komme unmittelbar in der Nähe des Punkts 605 zu liegen und orientiere sich am effektiven Geländeverlauf rund um das abzubrechende Gebäude. Sie führe zu einem annähernd natürlichen Verlauf des Bodens innerhalb des Gebäudegrundrisses, was nicht zu bemängeln sei. Die unteren Instanzen gingen entsprechend von einer Höhenlage des Punkts 605 von (mindestens) 510,50 m.ü.M. aus. Die vorgenommene Interpolation sei nicht unzulässig, weil der Punkt C nicht unmittelbar auf der Südwestfassade der abzubrechenden Baute liege, da der Bodenverlauf entlang der Fassaden dazu lediglich als Referenz und Ausgangspunkt diene. Es sei vertretbar, Punkte gleicher Höhe zu verbinden, die in unmittelbarer Nähe einer Fassade liegen. Zwar sinke das Terrain an der Südwestfassade unmittelbar nordwestlich des Punkts C auf eine Höhe von 508,23 m.ü.M. ab. Eine Interpolation, die von diesem Höhenpunkt ausgehe, sei für die Bestimmung der Höhe des Punkts 605 indessen nicht sinnvoll, da gar keine Verbindungslinie zu einem Punkt auf gleicher Höhe gezogen werden könnte. Damit liege die vorgenommene Interpolation im pflichtgemässen Ermessen der Baubehörde. Ob die von den Beschwerdeführern vorgeschlagene Interpolation, die sich nicht am Verlauf des gewachsenen Bodens um das bestehende Gebäude herum, sondern an dessen Grundriss orientiere, ebenfalls vertretbar wäre, brauche nicht geprüft zu werden.
2.3. Die Beschwerdeführer rügen, die Vorinstanz habe den gewachsenen Boden gemäss § 280 Abs. 1 PGB und § 5 Anhang 2 ABV in willkürlicher Weise ermittelt. Zur Begründung bringen sie zusammengefasst vor, zwar entspreche es der Praxis zu diesen Bestimmungen, dass eine vor mehr als 10 Jahren erfolgte Aufschüttung zu gewachsenem Boden werde. Bei der Interpolation innerhalb des Grundrisses von abzubrechenden Bauten sei aber eine Gesamtsicht erforderlich. Es könne daher nicht angehen, nur den aufgeschütteten Bereich, nicht aber das entlang eines erheblichen Teils der Fassaden verlaufende natürliche Terrain zu berücksichtigen. Gemäss dem Terrainaufnahmeplan (act. 9/12.4) mündeten im Bereich des mit Stützmauern erhöhten Sitzplatzes an der Südwestfassade des bestehenden Gebäudes keine Höhenlinien in dieses Gebäude. Der Sitzplatz weise namentlich am Punkt A an der Fassade eine Höhe von ca. 510,89 m.ü.M. auf. Das gesamte Terrain entlang der Nordwestfassade des bestehenden Gebäudes liege jedoch tiefer. Werde ein Punkt entlang der Fassaden des bestehenden Gebäudes mit einer vergleichbaren Höhe mit dem Punkt A verbunden, so müsse er auf der Nordseite des bestehenden Gebäudes liegen. Dies habe die Vorinstanz nicht verneint. Sie habe jedoch als zulässig erachtet, dass der Punkt C nicht unmittelbar auf der Südwestfassade der abzubrechenden Baute liege. Dies sei jedoch unzulässig, weil gemäss der vorinstanzlichen Rechtsprechung die Interpolation ausserhalb des Gebäudegrundrisses nur im Bereich von Abgrabungen für Garageneinfahrten oder Rampen zu Tiefgaragen zulässig sei und vorliegend im relevanten Bereich keine Abgrabungen, sondern Aufschüttungen stattgefunden hätten. Indem die Vorinstanz dennoch die von einem Punkt ausserhalb des Gebäudegrundrisses ausgehende Interpolation zugelassen habe, habe sie § 5 Abs. 1 Anhang 2 ABV in unhaltbarer Weise angewandt.
Korrekterweise hätte bei der Interpolation talseitig der Punkt an der Südfassade der bestehenden Baute mit der Höhe von 508,50 m.ü.M. mit dem Punkt an der Nordwestfassade mit der Höhe von 510,95 m.ü.M. verbunden werden müssen, was beim Punkt 605 zu einer Höhe von 509,40 m.ü.M. führe. Diese Interpolation stimme mit dem Terrainverlauf entlang der Nordwestfassade und dem Teil der Südwestfassade - ohne vorgelagerte Stützmauer - überein und berücksichtige, dass der durch eine Aufschüttung entlang einer Fassade geschaffene unnatürliche Geländesprung auch innerhalb des Gebäudegrundrisses der Bestandesbaute abgebildet werden müsse. Da dies unterlassen worden sei, werde inner- und ausserhalb des Grundrisses der Bestandesbaute von einem unterschiedlichen Terrainverlauf ausgegangen, was der vorinstanzlichen Rechtsprechung widerspreche.
2.4. Ob diese Willkürrüge den Begründungsanforderungen genügt, ist fraglich, kann jedoch offenbleiben, weil sie sich ohnehin als unbegründet erweist. So bestreiten die Beschwerdeführer nicht, dass die Aufschüttung im Bereich der Südwestfassade des bestehenden Hauses mit vorgelagerter Stützmauer als gewachsener Boden zu qualifizieren ist. Sie machen auch nicht geltend, dass der damit geschaffene Geländesprung zur Realisierung des Neubauvorhabens wieder entfernt werden soll. Demnach ist bei der Interpolation von der fiktiven Auffüllung des Bereichs nördlich dieses Geländesprungs auszugehen, wobei diesbezüglich zur Erreichung eines annähernd natürlichen Verlaufs des Bodens innerhalb des Gebäudegrundrisses verschiedene Varianten denkbar sind. Eine dieser Varianten könnte darin bestehen, den Punkt A an der Südwestfassade des bestehenden Hauses mit einer Höhe von 510,89 m.ü.M. mit dem an der Nordwestfassade gelegenen Punkt D mit einer Höhe von ca. 510,50 m.ü.M. zu verbinden, was beim Punkt 605 auf dieser Linie zu einer Höhe von über 510,50 m.ü.M. führen würde. Der Umstand, dass die umstrittene Interpolation zur Erreichung einer Verbindungslinie auf gleicher Höhe nicht vom etwas höheren Punkt A an der Fassade der bestehenden Baute, sondern vom etwas tiefer liegenden Punkt C ausserhalb des Grundrisses dieser Baute ausgeht, erweist sich damit als nicht entscheidrelevant. Demnach hat die Vorinstanz § 5 Anhang 2 ABV jedenfalls im Ergebnis nicht willkürlich angewandt, wenn sie diese Interpolation als zulässig qualifizierte.
3.
Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten den unterliegenden Beschwerdeführern aufzuerlegen (Art. 66 Abs. 1 BGG). Diese haben dem privaten Beschwerdegegner unter solidarischer Haftbarkeit eine angemessene Parteientschädigung auszurichten (Art. 68 Abs. 1, 2 und 4 BGG i.V.m. Art. 66 Abs. 5 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 4'000.-- werden den Beschwerdeführern auferlegt.
3.
Die Beschwerdeführer haben den Beschwerdegegner für das bundesgerichtliche Verfahren unter solidarischer Haftbarkeit mit Fr. 3'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien, der Bau- und Planungskommission Erlenbach und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 9. Juli 2020
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Kneubühler
Der Gerichtsschreiber: Gelzer