Sachverhalt:
A.
Mit Beschluss vom 6. November 2017 erteilte der Gemeinderat Horgen A. und B. C._ die baurechtliche Bewilligung für den Abbruch des Gebäudes Assek.-Nr. 3526 und den Neubau eines Einfamilienhauses auf ihrem in der Wohnzone W 1.2 gelegenen Grundstück Kat.-Nr. HN10240 an der Claridenstrasse 17 in Horgen. Dagegen erhob B._, Eigentümer der direkt an das Baugrundstück angrenzenden Parzelle Kat.-Nr. HN10239, Rekurs beim Baurekursgericht des Kantons Zürich. Am 17. April 2018 wies dieses sein Rechtsmittel ab, soweit es darauf eintrat.
B.
Gegen diesen Entscheid gelangte B._ an das Verwaltungsgericht des Kantons Zürich. Mit Urteil vom 19. Dezember 2018 hiess das Gericht seine Beschwerde gut und hob den Beschluss des Gemeinderats Horgen sowie den Entscheid des Baurekursgerichts auf.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 28. Januar 2019 an das Bundesgericht beantragen A. und B. C._, den Entscheid des Verwaltungsgerichts aufzuheben und die Baubewilligung des Gemeinderats Horgen zu bestätigen.
B._ und das Verwaltungsgericht beantragen die Abweisung der Beschwerde, soweit darauf einzutreten sei. Der Gemeinderat Horgen hält die Beschwerde für begründet, hat aber auf Anträge verzichtet. A. und B. C._ haben am 4. April 2019 eine weitere Stellungnahme eingereicht.

Erwägungen:
1.
Angefochten ist ein kantonal letztinstanzlicher Endentscheid über die Bewilligungsfähigkeit eines Bauvorhabens. Dagegen steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (vgl. Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG); ein Ausschlussgrund nach <ref-law> liegt nicht vor. Die Beschwerdeführer haben am vorinstanzlichen Verfahren teilgenommen, sind durch das angefochtene Urteil auch materiell beschwert und damit nach <ref-law> zur Beschwerde berechtigt. Auch sonst steht einem Sachurteil nichts entgegen.
2.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht gerügt werden (<ref-law>). Das Bundesgericht wendet dieses von Amtes wegen an (<ref-law>), prüft die bei ihm angefochtenen Entscheide aber grundsätzlich nur auf Rechtsverletzungen hin, welche die beschwerdeführende Person vorbringt und begründet (vgl. <ref-law>). Erhöhte Anforderungen an die Begründung gelten, soweit die Verletzung von Grundrechten gerügt wird (<ref-law>). Die Anwendung von kantonalem Recht überprüft das Bundesgericht grundsätzlich nur auf Willkür und bloss insoweit, als eine solche Rüge in der Beschwerde präzis vorgebracht und begründet wird (<ref-law> i.V.m. <ref-law> und <ref-law>). Es legt seinem Urteil weiter den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig, das heisst willkürlich (vgl. dazu <ref-ruling> E. 4.1.2 S. 62), oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
3.
3.1. Gegenstand des vorliegenden Streits bildet die Frage, ob sich das Bauvorhaben der Beschwerdeführer im Rahmen der für das Baugrundstück zulässigen Ausnützung hält. Der Gemeinderat Horgen hat dies in der baurechtlichen Bewilligung vom 6. November 2017 bejaht und ausgeführt, das Projekt halte die Baumassenziffer gemäss Ziff. 5.1 der aktuellen, seit 15. September 2011 geltenden Bau- und Zonenordnung der Gemeinde Horgen ein. Das Baurekursgericht ist in seinem Entscheid vom 17. April 2018 ebenfalls von einer zulässigen Ausnützung ausgegangen. Die Vorinstanz hat eine solche im angefochtenen Urteil hingegen verneint.
3.2. Ausgangspunkt des Streits bildet ein (Land-) Tauschvertrag vom 28. November 1994, worin sich die früheren Eigentümer des heutigen Baugrundstücks gegenüber dem Beschwerdegegner und dessen Ehefrau unter anderem verpflichteten, von ihrem Grundstück 72,87 m2 Ausnützung auf deren Grundstück Kat.-Nr. HN12039 zu übertragen. Das Baurekursgericht hielt den Vollzug der vereinbarten Ausnützungsübertragung nicht für nachgewiesen und sah deshalb keinen Anlass, die baurechtliche Bewilligung des Gemeinderats Horgen für das Bauvorhaben der Beschwerdeführer aufzuheben. Die Vorinstanz hat es dagegen als erwiesen erachtet, dass die vereinbarte Ausnützung tatsächlich übertragen worden ist. Die Baubewilligungsbehörde habe die zusätzliche Ausnützung berücksichtigt, als sie das Änderungsbaugesuch betreffend das am 27. Februar 1995 bewilligte Projekt zur Errichtung eines Doppeleinfamilienhauses auf dem Grundstück des Beschwerdegegners mit Doppelgarage auf dem heutigen Baugrundstück geprüft und bewilligt habe. Den Beschwerdeführern stehe deshalb für ihr Bauvorhaben nicht die volle Ausnützung ihres Grundstücks zur Verfügung, weshalb ihr Projekt nicht bewilligungsfähig sei.
3.3. Bei der Ausnützungsübertragung wird eine noch nicht genutzte Grundstücksfläche einer benachbarten Parzelle dem zu bebauenden Grundstück angerechnet (vgl. Urteile 1C_52/2013 vom 27. Juni 2013 E. 5.2; 1C_416/2007 vom 3. Oktober 2008 E. 2.1 mit Hinweisen). Über die Zulässigkeit derartiger Übertragungen enthält das Planungs- und Baugesetz des Kantons Zürich vom 7. September 1975 (PBG/ZH; OS 700.1) keine ausdrückliche Regelung. Aus dessen § 259 Abs. 1 wird jedoch abgeleitet, zoneninterne Ausnützungsübertragungen zwischen verschiedenen Parzellen seien grundsätzlich zulässig, wobei die interessierenden Flächen nicht (mehr) zusammenhängen müssen. Diese Ordnung ist bundesrechtskonform (zum Ganzen: Urteil 1C_52/ 2013 vom 27. Juni 2013 E. 5.2 mit Hinweisen).
Gemäss der zürcherischen Lehre und Praxis zum PBG/ZH ist die Übertragung von Ausnützung nur zulässig, wenn der belastete Eigentümer zustimmt, was mit einfacher Schriftlichkeit erfolgen kann (vgl. Urteil des Verwaltungsgerichts VB.2012.00800 vom 19. September 2013 E. 3.4; FRITZSCHE/BÖSCH/WIPF/KUNZ, Zürcher Planungs- und Baurecht, Band 2, 6. Aufl. 2019, S. 933). Baurechtliche Relevanz erlangt der Ausnützungstransfer erst mit der Bewilligung des Projekts, das auf die zusätzlichen Ausnützungsreserven angewiesen ist, und lediglich im dafür benötigten Umfang (vgl. das vorstehend zitierte Urteil E. 3.4). Vorher entfaltet die mit schriftlicher Vereinbarung oder einer entsprechenden Dienstbarkeit beabsichtigte Verschiebung (nur) allenfalls zivilrechtliche Wirkungen (vgl. Urteil des Verwaltungsgerichts VB.2012. 00715 vom 27. Februar 2013 E. 6.2.1). Die Ausnützungsübertragung hat baurechtlich zur Folge, dass bei einer späteren Überbauung des belasteten Grundstücks nicht mehr die gesamte ausnützbare Fläche zur Verfügung steht. Sie hat mithin die Wirkung einer öffentlich-rechtlichen Eigentumsbeschränkung (vgl. Urteil des Verwaltungsgerichts VB.2012.00800 vom 19. September 2013 E. 3.4; FRITZSCHE/BÖSCH/ WIPF/KUNZ, a.a.O., S. 934).
3.4. Die Beschwerdeführer rügen zunächst die Feststellung der Vorinstanz, die im Tauschvertrag vom 28. November 1994 vereinbarte Ausnützungsübertragung von 72,87 m 2 sei vollzogen worden, als offensichtlich unrichtig bzw. rechtsverletzend.
Die fragliche Ausnützungsübertragung wird weder in der baurechtlichen Bewilligung vom 27. Februar 1995 für das damalige Doppeleinfamilienhausprojekt auf dem Grundstück des Beschwerdegegners noch in der Bewilligung des Änderungsbaugesuchs betreffend dieses Projekt vom 19. März 1996 erwähnt; insbesondere findet sich keine entsprechende Nebenbestimmung. Ebenso wenig besteht eine Anmerkung (Revers) im Grundbuch. In der ersten Bewilligung wird ausserdem einzig hinsichtlich des Überbaurechts für die Erstellung der Doppelgarage auf dem heutigen Baugrundstück der Beschwerdeführer auf den Tauschvertrag Bezug genommen. Die Vorinstanz verweist allerdings auf die dem Änderungsbaugesuch beigelegte Baumassenzifferberechnung. Darin werde zur Bestimmung der massgeblichen Grundstücksfläche zur "Alte (n) Grundfläche, ohne Nachbargrundfläche" eine "Zugekaufte Nachbargrundfläche" addiert. Die Grösse der zugekauften Fläche werde mit 242,90 m2 angegeben, was unter dem Regime der zuvor geltenden Ausnützungsziffer von 30 % einer zusätzlichen Ausnützung von exakt 72,87 m2 und damit dem im Tauschvertrag vereinbarten Wert entspreche. Die mit der Bewilligung des Änderungsbaugesuchs genehmigten Gesuchsunterlagen erbrächten demzufolge den Nachweis, dass die Bewilligungsbehörde bei der Prüfung dieses Gesuchs auf Einhaltung der Ausnützung den vereinbarten Ausnützungstransfer miteinbezogen habe, dieser mithin vollzogen worden sei.
Diese Beweiswürdigung ist nicht zu beanstanden. Dass sie bzw. die darauf beruhende Sachverhaltsfeststellung der Vorinstanz offensichtlich unzutreffend und damit willkürlich wäre (vgl. <ref-ruling> E. 2.3 S. 266; Urteil 2C_818/2018 vom 25. November 2019 E. 2.2 mit Hinweisen), geht aus den Vorbringen der Beschwerdeführer nicht hervor und ist auch sonst nicht ersichtlich. Die Beschwerdeführer legen auch nicht dar, inwiefern die entsprechende Beweiswürdigung bzw. Sachverhaltsfeststellung auf einer Rechtsverletzung im Sinne von <ref-law> beruhen sollte. Damit ist ihre Rüge unbegründet und besteht kein Anlass, von der erwähnten Sachverhaltsfeststellung der Vorinstanz abzuweichen; diese ist für das Bundesgericht vielmehr verbindlich (vgl. vorne E. 2).
3.5. Die Beschwerdeführer bringen weiter vor, der Beschwerdegegner habe den Nachweis nicht erbracht, dass sein Grundstück ohne Berücksichtigung der strittigen Ausnützungsübertragung heute übernutzt wäre.
Ob das Grundstück des Beschwerdegegners ohne Berücksichtigung der damaligen Ausnützungsübertragung heute übernutzt wäre, bildete weder Gegenstand der kantonalen Rechtsmittelverfahren noch des Baubewilligungsverfahrens. Lediglich das Baurekursgericht erwähnte die Frage kurz in seinem Entscheid. Die Beschwerdeführer äusserten sich nicht dazu. Sie beschränkten sich vielmehr darauf, den Vollzug des vereinbarten Ausnützungstransfers zu bestreiten. Eine Stellungnahme zur Frage hätte sich jedoch aufgedrängt, bestand doch die Möglichkeit, dass die Rechtsmittelbehörden die bestrittene Ausnützungsübertragung als erwiesen erachten würden. Dass sich die Beschwerdeführer erst vor Bundesgericht zur Frage äussern - freilich ohne diese ausdrücklich zu verneinen - ist demzufolge verspätet und unzulässig (<ref-law>). Auf ihr Vorbringen ist deshalb nicht weiter einzugehen.
3.6. Die Beschwerdeführer rügen ausserdem, die Vorinstanz sei zu Unrecht davon ausgegangen, der Vollzug des vereinbarten Ausnützungstransfers im dargelegten Sinn habe zu einer Beschränkung der zulässigen Ausnützung auf ihrem Grundstück geführt. Diese Ansicht widerspreche dem auf <ref-law> beruhenden Grundsatz, dass Eigentumsbeschränkungen in Baubewilligungsverfahren zwingend in der entsprechenden Baubewilligung (in einer Nebenbestimmung) festzuhalten seien. Auf diesen Grundsatz habe die Vorinstanz in drei früheren Fällen und, an anderer Stelle, auch im angefochtenen Entscheid abgestellt.
Gemäss der dargelegten Rechtsprechung der Vorinstanz bedarf es zwar unter dem PBG/ZH für die baurechtliche Wirksamkeit einer privatrechtlich vereinbarten Ausnützungsübertragung und damit insbesondere für deren eigentumsbeschränkende Wirkung in Bezug auf das übertragende Grundstück der Bewilligung des Bauvorhabens, das auf die zusätzliche Ausnützung angewiesen ist bzw. diese in Anspruch nimmt. Dass der Ausnützungstransfer und die Reduktion der zulässigen Ausnützung auf dem belasteten Grundstück in der Baubewilligung ausdrücklich festgehalten werden müssten, geht aus dieser Rechtsprechung jedoch nicht hervor. Die Vorinstanz hat solches bzw. einen Grundsatz, wie ihn die Beschwerdeführer genannt haben, im angefochtenen Entscheid denn auch nicht erwähnt, sondern einzig ihre bisherige Praxis wiedergegeben. Dass diese auf einer willkürlichen Anwendung des PBG/ZH beruhen würde (vgl. <ref-ruling> E. 7.3 S. 174 f.; <ref-ruling> E. 3.6.2 S. 287; jeweils mit Hinweisen), machen die Beschwerdeführer nicht ausdrücklich geltend, obschon sie der Vorinstanz neben der Verletzung von <ref-law> namentlich auch Willkür vorwerfen, allerdings ohne diese Rüge zu substanziieren. Eine willkürliche Anwendung des PBG/ZH geht aus ihren Vorbringen auch implizit nicht hervor. Insbesondere ergibt sich solches nicht aus den drei von ihnen zitierten Entscheiden der Vorinstanz. Aus diesen lässt sich kein Grundsatz ableiten, dass unter dem PBG/ZH jede Eigentumsbeschränkung, mithin auch eine solche, wie sie vorliegend strittig ist, zwingend in der Baubewilligung festzuhalten ist.
Die erwähnte Praxis der Vorinstanz verstösst sodann auch nicht gegen die Eigentumsgarantie von <ref-law>. Der Eigentümer des Ausnützung übertragenden Grundstücks verzichtet freiwillig auf Ausnützungsreserven. Es ist daher mit dieser Garantie vereinbar, dass die eigentumsbeschränkenden Folgen seines Verzichts unabhängig davon eintreten, ob dies in der Bewilligung des Bauvorhabens, das auf die übertragene Ausnützung angewiesen ist bzw. diese in Anspruch nimmt, ausdrücklich festgehalten wird. Daran ändert nichts, dass einem allfälligen Rechtsnachfolger der Verzicht des Rechtsvorgängers und damit die verminderte Ausnützbarkeit des erworbenen Grundstücks bzw. die entsprechende Eigentumsbeschränkung unter Umständen nicht bekannt ist. Diese Möglichkeit besteht bei öffentlich-rechtlichen Eigentumsbeschränkungen generell, gelten diese gegenüber dem Erwerber eines Grundstücks doch auch dann, wenn sie nicht im Grundbuch angemerkt sind, da eine solche Anmerkung lediglich deklaratorische Bedeutung hat und nicht an der Wirkung des öffentlichen Glaubens des Grundbuchs gemäss <ref-law> teilnimmt (vgl. <ref-ruling> E. 5.3 S. 92; <ref-ruling> E. 4 S. 183; Urteil 1C_587/2018 vom 18. September 2019 E. 2.3 mit Hinweisen).
3.7. Soweit die Beschwerdeführer neben den erwähnten Rügen zudem einen Verstoss gegen die Grundsätze rechtsstaatlichen Handelns (<ref-law>) und die Rechtsgleichheit (<ref-law>) rügen, substanziieren sie dies nicht. Auf diese Rügen ist deshalb mangels rechtsgenüglicher Begründung von vornherein nicht einzugehen (vgl. E. 2). Ihre weitere Rüge der Verletzung der obligationenrechtlichen Verjährungsregelung geht an der Sache vorbei. Da die im Tauschvertrag vereinbarte Ausnützungsübertragung tatsächlich erfolgte, stellt sich die Frage nicht, ob der Anspruch auf Erfüllung dieser Vereinbarung mittlerweile verjährt wäre. Schliesslich hat sich die Vorinstanz im angefochtenen Urteil zwar nicht ausdrücklich mit ihren drei früheren Entscheiden auseinandergesetzt, welche die Beschwerdeführer zitieren (vgl. vorne E. 3.6). Aus ihrer Begründung geht aber implizit hervor, dass sie diese Entscheide nicht für einschlägig bzw. das diesbezügliche Vorbringen der Beschwerdeführer für unzutreffend hält. Ihre Begründung enthält die für ihren Entscheid wesentlichen Punkte und ermöglichte es den Beschwerdeführern, sich über dessen Tragweite Rechenschaft zu geben und ihn in voller Kenntnis der Sache beim Bundesgericht anzufechten. Die Vorinstanz hat daher auch ihre Begründungspflicht und den Anspruch der Beschwerdeführer auf rechtliches Gehör nicht verletzt (vgl. <ref-ruling> E. 5.2 S. 70 f. mit Hinweisen). Ihr Entscheid verletzt somit auch insoweit und damit insgesamt kein Bundesrecht.
4.
Demnach ist die Beschwerde abzuweisen.
Bei diesem Ausgang des Verfahrens werden die Beschwerdeführer kostenpflichtig (<ref-law>). Sie haben zudem den Beschwerdegegner für das bundesgerichtliche Verfahren angemessen zu entschädigen (Art. 68 Abs. 1-2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 4'000.-- werden den Beschwerdeführern auferlegt.
3.
Die Beschwerdeführer haben den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Gemeinderat Horgen und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 19. Dezember 2019
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Der Gerichtsschreiber: Baur