Sachverhalt:
A.
B._ (Kläger, Beschwerdegegner) einerseits und A._ (Beklagter, Beschwerdeführer) sowie C._ andererseits schlossen einen auf den 26. April 2011 datierten Vertrag mit dem Titel "Contract to invest in E._". Ziffer 2 dieses Vertrags lautet:
"[B._] will grant a loan to E._ AG of 105,000 CHF which will partly replace [A._'s] obligation as described in Annex-A 2.1.1, [B._'s] loan will be returned similar to the loans described in Annex A, 2.1.2[.]"
"Annex A" stellt eine mit "Kauf- und Investitionsvertrag" betitelte Vereinbarung vom 15. und 22. Juli 2011 dar. Darin heisst es:
"2.1.1 A._ wird E._ umgehend ein unverzinsliches und rangrücktrittsbelastetes Darlehen von 264'000 CHF gewähren. Die Rückzahlung dieses Darlehens ist der Rückzahlung des Darlehens aus 2.1.2 zu bevorzugen.
2.1.2 D._ AG tritt von ihrer rangrücktrittsbelasteten Darlehensforderung gegenüber der E._ AG in Höhe von CHF 809'273.-- einen Teilforderungsbetrag in Höhe von CHF 476.273.-- zum symbolischen Kaufpreis [...] von CHF 1.-- an A._ und einen Teilforderungsbetrag von CHF 83.000.-- zum symbolischen Kaufpreis[...] von CHF 1.-- an C._ ab.
Die restliche Darlehensforderung (CHF 250.000.--) verbleibt der D._ AG als rangrücktrittsbelastetes Darlehen."
Am 25. Mai 2012 überwies B._ den Darlehensbetrag von Fr. 105'000.-- (neben weiteren Fr. 45'000.-- für einen Aktienkauf) an A._.
Die E._ AG zahlte A._ das ihr von ihm gewährte Darlehen von Fr. 264'000.-- zu einem späteren Zeitpunkt zurück.
Mit Schreiben vom 4. Oktober 2016 forderte B._ von A._ die Rückzahlung von Fr. 105'000.--.
B.
Mit Eingabe vom 14. Februar 2017 klagte B._ beim Bezirksgericht Horgen mit dem Begehren, A._ sei zu verurteilen, ihm Fr. 106'189.70 nebst Zins zu 5 % seit dem 14. Oktober 2016 zu bezahlen. Mit Urteil vom 6. Juni 2018 hiess das Bezirksgericht die Klage gut.
A._ focht dieses Urteil mit Berufung beim Obergericht des Kantons Zürich an. Dieses wies die Berufung mit Urteil vom 25. März 2019 ab.
C.
A._ verlangt mit Beschwerde in Zivilsachen, das Urteil des Obergerichts vom 25. März 2019 sei aufzuheben und die Klage von B._ sei abzuweisen. Ausserdem sei der Beschwerde aufschiebende Wirkung zu erteilen.
Das Obergericht verzichtete auf Vernehmlassung. B._ begehrt, die Beschwerde sei abzuweisen, das Urteil des Obergerichts vom 25. März 2019 sei zu bestätigen und die Klage sei gutzuheissen. A._ replizierte, worauf B._ eine Duplik eingereicht hat.
Mit Präsidialverfügung vom 3. Juli 2019 wurde das Gesuch um Erteilung der aufschiebenden Wirkung abgewiesen und B._ auf seiner Zusicherung behaftet, dass er bis zum Entscheid des Bundesgerichts über die Beschwerde auf Vollstreckungsmassnahmen verzichtet.

Erwägungen:
1.
Das angefochtene Urteil des Obergerichts ist ein Endentscheid (<ref-law>) einer Vorinstanz im Sinne von <ref-law>. Weiter erreicht der Streitwert den nach <ref-law> geltenden Mindestbetrag von Fr. 30'000.--. Die Beschwerde in Zivilsachen ist damit grundsätzlich zulässig.
2.
2.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, ansonsten darauf nicht eingetreten werden kann (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 2.1). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist dabei, dass auf die Begründung des angefochtenen Entscheids eingegangen und im Einzelnen aufgezeigt wird, worin eine vom Bundesgericht überprüfbare Rechtsverletzung liegt. Die beschwerdeführende Partei soll in der Beschwerde an das Bundesgericht nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 116, 86 E. 2 S. 89).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90).
2.3. Soweit die Parteien die vorinstanzliche Beweiswürdigung kritisieren, ist zu beachten, dass das Bundesgericht in diese nur eingreift, wenn sie willkürlich ist. Willkür liegt nach der Rechtsprechung nicht schon dann vor, wenn eine andere Lösung ebenfalls in Betracht zu ziehen oder gar vorzuziehen wäre, sondern bloss, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 4.1; <ref-ruling> E. 2.1; je mit Hinweisen). Die Beweiswürdigung ist mithin nicht schon dann willkürlich, wenn sie nicht mit der Darstellung der beschwerdeführenden Partei übereinstimmt, sondern bloss, wenn sie offensichtlich unhaltbar ist (<ref-ruling> E. 4.1; <ref-ruling> E. 4.2.1). Dies ist dann der Fall, wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat (<ref-ruling> E. 2.3 S. 266; <ref-ruling> E. 4.2 S. 234; <ref-ruling> E. 4.2). Inwiefern die Beweiswürdigung willkürlich sein soll, ist in der Beschwerde klar und detailliert aufzuzeigen (BGE <ref-ruling> E. 2.2). Namentlich genügt es nicht, einzelne Beweise anzuführen, die anders als im angefochtenen Entscheid gewichtet werden sollen, und dem Bundesgericht in appellatorischer Kritik die eigene Auffassung zu unterbreiten, als ob diesem freie Sachverhaltsprüfung zukäme (vgl. <ref-ruling> E. 2.3 S. 266 f.; <ref-ruling> E. 2b).
3.
3.1. Das Bezirksgericht hiess die Klage mit der Begründung gut, das in Ziffer 2 des Vertrags vom 26. April 2011 vereinbarte Darlehen des Beschwerdegegners zugunsten der E._ AG in Höhe von Fr. 105'000.-- ersetze das im Betrag von Fr. 264'000.-- gewährte Darlehen des Beschwerdeführers zugunsten der E._ AG teilweise. Der Beschwerdeführer habe den ihm vom Beschwerdegegner bezahlten Betrag von Fr. 105'000.-- indes nicht an die E._ AG weitergeleitet. Insofern liege eine "stille Beteiligung" des Beschwerdegegners am Darlehen des Beschwerdeführers vor. Nachdem die E._ AG dem Beschwerdeführer das gesamte Darlehen in Höhe von Fr. 264'000.-- zurückbezahlt habe, sei auch die interne Beteiligung dahingefallen und der vom Beschwerdegegner geleistete Betrag von Fr. 105'000.-- zur Rückzahlung fällig.
3.2. Das Obergericht schloss sich diesen Erwägungen an und führte ergänzend aus, der Beschwerdeführer sei gestützt auf den Vertrag vom 26. April 2011 verpflichtet gewesen, dem Beschwerdegegner seine gegen die E._ AG bestehende Darlehensforderung von gesamthaft Fr. 264'000.-- teilweise - im Umfang von Fr. 105'000.-- - abzutreten. Dieser Verpflichtung sei er nicht nachgekommen. Der Beschwerdegegner seinerseits habe dem Beschwerdeführer den Darlehensbetrag von Fr. 105'000.-- bezahlt. Nachdem die E._ AG das gesamte Darlehen von Fr. 264'000.-- zurückbezahlt habe, könne der Beschwerdeführer den "Forderungsanteil" des Beschwerdegegners von Fr. 105'000.-- nicht mehr abtreten. Die Erfüllung des Vertrags sei damit unmöglich geworden. Entsprechend verlange der Beschwerdegegner zu Recht "die Rückerstattung der von ihm getätigten Leistung".
4.
4.1. Fest steht, dass sich der Beschwerdeführer mit Vertrag vom 26. April 2011 verpflichtete, einen Teil (Fr. 105'000.--) seiner Darlehensforderung von Fr. 264'000.-- an den Beschwerdegegner abzutreten, was grundsätzlich zulässig ist (vgl. Urteile 4A_59/2017 vom 28. Juni 2017 E. 3.5.1; 4A_125/2010 vom 12. August 2010 E. 2.2 mit Hinweisen). Fest steht weiter, dass der Beschwerdegegner dem Beschwerdeführer den Darlehensbetrag von Fr. 105'000.-- bezahlte und die E._ AG dem Beschwerdeführer das Darlehen von Fr. 264'000.-- zurückbezahlte. Diese Sachverhaltsfeststellungen ficht der Beschwerdeführer nicht - jedenfalls nicht hinreichend begründet (vgl. Erwägung 2.2) - an.
4.2. Der Beschwerdeführer wendet sich sinngemäss mit drei Rügen gegen das vorinstanzliche Urteil: In erster Linie macht er geltend, bei richtiger Vertragsauslegung handle es sich bei den beiden Darlehen - jenem des Beschwerdeführers von Fr. 264'000.-- und jenem des Beschwerdegegners von Fr. 105'000.-- - um verschiedene, nicht miteinander verknüpfte Forderungen, sodass mit der Rückzahlung des Darlehens des Beschwerdeführers nicht auch das Darlehen des Beschwerdegegners zurückbezahlt worden sei (dazu Erwägung 5). Sodann bringt er vor, die Darlehensforderung bereits abgetreten zu haben (dazu Erwägung 6). Schliesslich kritisiert er, es sei unklar, auf welcher Basis dem Beschwerdegegner ein Zahlungsanspruch gewährt werde, und jedenfalls seien die Voraussetzungen für einen Vertragsrücktritt nicht erfüllt gewesen (dazu Erwägung 7).
5.
Umstritten ist die Auslegung von Ziffer 2 des Vertrags vom 26. April 2011 und die Bedeutung der darin statuierten Verweisung auf Ziffer 2.1.1 und 2.1.2 von "Annex A".
5.1. Im schweizerischen Vertragsrecht gilt bei Fragen des Konsenses und der Auslegung der Grundsatz des Primats des subjektiv übereinstimmend Gewollten vor dem objektiv Erklärten, subjektiv aber unterschiedlich Verstandenen. Im Konsens- wie im Auslegungsstreit hat das Sachgericht vorab zu prüfen, ob sich die Parteien tatsächlich übereinstimmend geäussert, verstanden und in diesem Verständnis geeinigt haben (subjektive Auslegung). Ist dies zu bejahen, liegt ein tatsächlicher Konsens vor (<ref-ruling> E. 3.1; <ref-ruling> E. 2b S. 39). Diese subjektive Vertragsauslegung beruht auf Beweiswürdigung (<ref-ruling> E. 5.2.1 mit Hinweisen).
5.2. Während das Bezirksgericht gestützt auf den Wortlaut von Ziffer 2 des Vertrags vom 26. April 2011 auf eine "stille Beteiligung" des Beschwerdegegners am Darlehen das Beschwerdeführers schloss, erwog das Obergericht, auf eine solche Qualifikation komme es nicht an. Entscheidend sei, dass der Beschwerdeführer dem Beschwerdegegner den "Forderungsanteil" in Höhe von Fr. 105'000.-- nicht abgetreten habe, obwohl ihm der Beschwerdegegner hierfür Fr. 105'000.-- bezahlt habe. Vielmehr habe er das ganze ihm von der E._ AG zurückbezahlte Darlehen in Höhe von Fr. 264'000.-- (darin der Anteil des Beschwerdegegners) für sich behalten. Der in Ziffer 2 des Vertrags vom 26. April 2011 genannte Zweck - die Beteiligung des Beschwerdegegners am Darlehen des Beschwerdeführers zugunsten der E._ AG - sei damit dahingefallen. Diese Ziffer schreibe auch vor, dass das Darlehen des Beschwerdegegners von Fr. 105'000.-- die gegen die E._ AG bestehende Forderung des Beschwerdeführers in Höhe von Fr. 264'000.-- gemäss Ziffer 2.1.1 von "Annex A" ersetze und damit deren Schicksal teile.
5.3. Der Beschwerdeführer rügt in diesem Zusammenhang sowohl eine unrichtige Feststellung des Sachverhalts als auch eine Verletzung von <ref-law>.
5.3.1. Die Vorinstanzen stützten ihre Überlegungen auf eine subjektive Vertragsauslegung. Sie kamen zum Beweisergebnis, die Parteien hätten mit Ziffer 2 des Vertrags vom 26. April 2011 eine Beteiligung des Beschwerdegegners am Darlehen des Beschwerdeführers vereinbart.
5.3.2. Das vorinstanzliche Vorgehen, den Vertrag subjektiv (und nicht normativ) auszulegen, beanstandet der Beschwerdeführer nicht. Er macht im Gegenteil geltend, der wirkliche Wille der Parteien sei von den Vorinstanzen unrichtig ermittelt worden. Darin sieht er auch die Verletzung von <ref-law>. Damit greift der Beschwerdeführer die Beweiswürdigung an, welche vom Bundesgericht nach dem Gesagten nur auf Willkür überprüft werden kann (Erwägungen 2.3 und 5.1).
5.3.3. Der Beschwerdeführer trägt vor, den Parteien sei "klar" gewesen, dass der Beschwerdegegner nicht eine Beteiligung erwerben, sondern eine "direkte Investition" in die E._ AG eingehen solle. Dem Beschwerdegegner sei "egal" gewesen, an welchem Darlehen er eine "Beteiligung" erwerbe. Es sei ihm "einzig" wichtig gewesen, dass er am Ende über eine Darlehensforderung gegen die E._ AG verfüge. Letztlich habe der Beschwerdegegner angestrebt, steuerbefreite Darlehensrückzahlungen vornehmen zu können. Folglich führe die Rückzahlung des Darlehens von Fr. 264'000.-- an den Beschwerdeführer nicht zur Fälligkeit des Darlehens des Beschwerdegegners im Betrag von Fr. 105'000.--; diese beiden Darlehen seien unabhängig voneinander zu beurteilen.
Mit dieser Kritik zeigt der Beschwerdeführer keine willkürliche Sachverhaltsfeststellung auf. Vielmehr stellt er in appellatorischer Weise seine eigene Interpretation der massgeblichen Vertragsklausel dar, ohne damit das vorinstanzliche Beweisergebnis umstossen zu können.
5.3.4. Der Beschwerdeführer bringt wiederholt vor, Ziffer 2 des Vertrags vom 26. April 2011 verweise betreffend die Rückzahlung des Darlehens des Beschwerdegegners auf Ziffer 2.1.2 von "Annex A", was die Vorinstanz unterschlage. Ziffer 2.1.2 von "Annex A" verweise wiederum auf eine Rangrücktrittsvereinbarung vom 20. Januar 2011, derzufolge die entsprechenden Darlehen erst unter gewissen Bedingungen zur Rückzahlung fällig würden, unabhängig von der Rückzahlung des Darlehens des Beschwerdeführers. Die Vorinstanz habe zu Unrecht nur auf Ziffer 2.1.1 von "Annex A" abgestellt.
Auch damit belegt der Beschwerdeführer keine Willkür. Aus seinen Ausführungen wird nicht deutlich, weshalb die erwähnte Rangrücktrittsvereinbarung überhaupt anwendbar sein soll: Ziffer 2.1.2 von "Annex A" spricht einzig von "rangrücktrittsbelasteten" Darlehen. Gleich ist auch in Ziffer 2.1.1 von "Annex A" vom "rangrücktrittsbelastete[n] Darlehen" von Fr. 264'000.-- die Rede, ohne dass der Beschwerdeführer der Auffassung wäre, die Rangrücktrittsvereinbarung vom 20. Januar 2011 habe auch auf dieses - bereits zurückbezahlte - Darlehen Anwendung finden müssen. Sodann betrifft die Rangrücktrittsvereinbarung vom 20. Januar 2011 das Verhältnis der E._ AG zu ihren Gläubigern und nicht die Zahlungsmodalitäten zwischen den verschiedenen Gläubigern (mithin zwischen dem Beschwerdeführer und dem Beschwerdegegner), worauf bereits das Bezirksgericht hinwies. Unter Willkürgesichtspunkten sind die vorinstanzlichen Feststellungen jedenfalls nicht zu beanstanden.
5.4. Damit bleibt es beim Ergebnis der Vorinstanz, wonach mit der Rückzahlung des Darlehens in Höhe von Fr. 264'000.-- auch der dem Beschwerdegegner zuzuordnende Teil von Fr. 105'000.-- dem Beschwerdeführer zurückbezahlt worden ist.
6.
6.1. Der Beschwerdeführer macht sodann geltend, er habe dem Beschwerdegegner eine ihm gegen die E._ AG zustehende Darlehensforderung (im Umfang von Fr. 105'000.--) abgetreten und sei seinen Verpflichtungen aus dem Vertrag vom 26. April 2011 damit bereits nachgekommen.
6.2. Diesen Einwand erhob der Beschwerdeführer bereits in den vorinstanzlichen Verfahren. Das Obergericht hielt fest, der Beschwerdeführer begründe diese Abtretung mit Hinweis auf eine Jahresrechnung der E._ AG, welche den Beschwerdegegner als Gläubiger einer Darlehensforderung von Fr. 105'000.-- ausweise (dazu E. 6.2.1). Vorsorglich habe er (auch) in der Duplik die Abtretung der Darlehensforderung an den Beschwerdegegner erklärt (dazu E. 6.2.2).
6.2.1. Die Vorinstanzen erwogen hinsichtlich der Jahresrechnung,es liege kein gültiges Verfügungsgeschäft vor. Ein solches bedürfe nach <ref-law> der Schriftform. Die vom Beschwerdeführer ins Recht gelegte Jahresrechnung erfülle diese Voraussetzung nicht.
Gemäss <ref-law> bedarf die Abtretung zu ihrer Gültigkeit der schriftlichen Form. Ein Vertrag, für den die schriftliche Form gesetzlich vorgeschrieben ist, muss die Unterschriften aller Personen tragen, die durch ihn verpflichtet werden sollen (<ref-law>). Die Unterschrift ist eigenhändig zu schreiben (<ref-law>; vgl. Urteil 4A_186/2009 vom 3. März 2010 E. 4.3.1). Die Formvorschrift des <ref-law> dient der Rechts- und Verkehrssicherheit beziehungsweise der Klarstellung (vgl. Urteil 4A_172/2018 vom 13. September 2018 E. 4.4.1 mit Hinweisen).
Die vom Beschwerdeführer ins Recht gelegte Jahresrechnung der E._ AG ("balance sheet as at 31.12.2016") weist unter der Rubrik "Liabilities" bei den "long-term committed assets" eine Darlehensforderung in Höhe von Fr. 105'000.-- zugunsten des Beschwerdegegners aus. Nach den verbindlichen Feststellungen der Vorinstanz, welche der Beschwerdeführer nicht angreift, ist diese Jahresrechnung nicht unterzeichnet und ist weder ersichtlich, von wem sie stammt, noch ob sie von der Generalversammlung genehmigt wurde.
Der Beschwerdeführer wirft ein, dass der "fragliche Jahresabschluss" vom Beschwerdegegner "mit keinem Wort bestritten" worden sei. Überdies sei der Beschwerdegegner selbst Aktionär der E._ AG und habe daher "von seinem Guthaben gegenüber der E._ AG unstreitig Kenntnis genommen". Inwiefern die Vorinstanz Recht verletzte, weil sie in der Jahresrechnung die von <ref-law> geforderte schriftliche Form nicht erblickte, ergibt sich daraus nicht. Daran ändern auch die Hinweise des Beschwerdeführers auf die Rechtsprechung nichts: Weder aus <ref-ruling> noch aus <ref-ruling> - beide die Globalzession künftiger Forderungen betreffend - ergibt sich, dass das Verfügungsgeschäft im vorliegenden Fall formfrei hätte vorgenommen werden können. Im Urteil 4A_248/2015 vom 15. Januar 2016 E. 4.3 entschied das Bundesgericht zwar in Bezug auf die Abtretung von Aktien, die Protokolle einer Generalversammlung könnten unter gewissen Voraussetzungen der Formvorschrift von <ref-law> genügen. Der Vergleich scheitert indes bereits am Umstand, dass jene Generalversammlungsprotokolle unterzeichnet waren.
6.2.2. Weiter führten die Vorinstanzen aus, dass auch die in der Duplik erfolgte Abtretungserklärung das Formerfordernis nach <ref-law> nicht erfülle. Ohnehin aber habe die E._ AG das Darlehen dem Beschwerdeführer zu diesem Zeitpunkt bereits zurückerstattet, sodass eine Abtretung der Darlehensforderung nicht mehr möglich gewesen sei.
Jedenfalls diese letzte Begründung trägt und der Beschwerdeführer weist sie nicht als bundesrechtswidrig aus, wenn er einzig vorbringt, er habe über (weitere) Darlehensforderungen gegen die E._ AG in der Höhe von Fr. 450'000.-- verfügt und sei daher "jederzeit in der Lage" gewesen, dem Beschwerdegegner "den entsprechenden Betrag" von Fr. 105'000.-- abzutreten. Bestand die Forderung, zu deren Abtretung sich der Beschwerdeführer verpflichtete, im Zeitpunkt der Abtretung nicht mehr, stellt sich vielmehr die Frage der Haftung (vgl. etwa Urteil 4C.20/2005 vom 21. Februar 2006 E. 2.4; dazu Erwägung 7).
6.3. Wenn der Beschwerdeführer schliesslich ohne weitere Erklärung in den Raum stellt, bereits der Vertrag vom 26. April 2011 impliziere "durchaus eine Abtretung", genügt er den Begründungsanforderungen im bundesgerichtlichen Verfahren nicht (siehe Erwägung 2.1).
6.4. Der vorinstanzliche Schluss, die im Streit stehende Darlehensforderung sei nicht abgetreten worden, ist vor diesem Hintergrund nicht zu beanstanden.
7.
Schliesslich steht die Rechtsgrundlage der Klage zur Diskussion.
7.1. Der Beschwerdegegner führte in seinem Schreiben vom 4. Oktober 2016 aus, dass sich die Einforderung "der vertraglichen Hauptleistung (Abtretung) " erübrige, nachdem der Beschwerdeführer die Abtretung "unmöglich gemacht" habe. Er verzichte daher darauf, trete von Ziffer 2 des Vertrags vom 26. April 2011 zurück und mache die "Rückforderung" des Betrags von Fr. 105'000.-- geltend.
7.2. Auf welche Grundlage der vom Beschwerdegegner geltend gemachte Anspruch zu stützen ist (vgl. etwa <ref-law>, Art. 107 Abs. 2 in Verbindung mit <ref-law> und <ref-law>) wurde von den Vorinstanzen nicht thematisiert. Auch das Bundesgericht braucht sich zum Verhältnis der in Betracht kommenden Anspruchsgrundlagen nicht zu äussern:
Der Beschwerdeführer wendet sich einzig gegen die vorinstanzliche Anwendung der "Vorschriften über den Vertragsrücktritt" (Art. 107 Abs. 2 in Verbindung mit <ref-law>). Er meint, dass einerseits die Leistung noch immer möglich sei (da er noch andere Darlehensforderungen gegen die E._ AG habe, die er an den Beschwerdegegner abtreten könne) und es andererseits an einer Mahnung durch den Beschwerdegegner fehle. Nachdem aber feststeht, dass die Abtretung der Darlehensforderung unmöglich geworden ist (Erwägung 6.2.2), ist der damit begründeten Rüge, dem Beschwerdegegner habe kein Rücktrittsrecht zugestanden, der Boden entzogen (zum Rücktrittsrecht bei vom Schuldner zu vertretender Unmöglichkeit: Urteil 4A_101/2015 vom 21. Juli 2015 E. 4.5), soweit nicht von vornherein die abtretungsspezifischen Gewährleistungsregeln greifen. Da bei Unmöglichkeit die Leistung ohnehin nicht erbracht werden kann, erübrigt sich entgegen der Auffassung des Beschwerdeführers eine Mahnung beziehungsweise eine Nachfristansetzung (vgl. auch <ref-law> sowie PASCAL PICHONNAZ, Le droit de résoudre le contrat en cas d'application de l'art 97 CO: vers un régime de l'inexécution toujours plus unifié, BR 2015, S. 334; JÖRG SCHMID, Die privatrechtliche Rechtsprechung des Bundesgerichts im Jahr 2015, Obligationenrecht, ZBJV 2017, S. 563).
Dass die Rückforderung des vom Beschwerdegegner geleisteten Betrags von Fr. 105'000.-- aus anderen Gründen scheitere, behauptet der Beschwerdeführer nicht und ist auch nicht ersichtlich.
8.
Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kosten- und entschädigungspflichtig (siehe Art. 66 Abs. 1 und Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 5'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 6'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 12. August 2019
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Stähle