Sachverhalt: A. B._ (Kläger, Beschwerdegegner) einerseits und A._ (Beklagter, Beschwerdeführer) sowie C._ andererseits schlossen einen auf den 26. April 2011 datierten Vertrag mit dem Titel "Contract to invest in E._". Ziffer 2 dieses Vertrags lautet: "[B._] will grant a loan to E._ AG of 105,000 CHF which will partly replace [A._'s] obligation as described in Annex-A 2.1.1, [B._'s] loan will be returned similar to the loans described in Annex A, 2.1.2[.]" "Annex A" stellt eine mit "Kauf- und Investitionsvertrag" betitelte Vereinbarung vom 15. und 22. Juli 2011 dar. Darin heisst es: "2.1.1 A._ wird E._ umgehend ein unverzinsliches und rangrücktrittsbelastetes Darlehen von 264'000 CHF gewähren. Die Rückzahlung dieses Darlehens ist der Rückzahlung des Darlehens aus 2.1.2 zu bevorzugen. 2.1.2 D._ AG tritt von ihrer rangrücktrittsbelasteten Darlehensforderung gegenüber der E._ AG in Höhe von CHF 809'273.-- einen Teilforderungsbetrag in Höhe von CHF 476.273.-- zum symbolischen Kaufpreis [...] von CHF 1.-- an A._ und einen Teilforderungsbetrag von CHF 83.000.-- zum symbolischen Kaufpreis[...] von CHF 1.-- an C._ ab. Die restliche Darlehensforderung (CHF 250.000.--) verbleibt der D._ AG als rangrücktrittsbelastetes Darlehen." Am 25. Mai 2012 überwies B._ den Darlehensbetrag von Fr. 105'000.-- (neben weiteren Fr. 45'000.-- für einen Aktienkauf) an A._. Die E._ AG zahlte A._ das ihr von ihm gewährte Darlehen von Fr. 264'000.-- zu einem späteren Zeitpunkt zurück. Mit Schreiben vom 4. Oktober 2016 forderte B._ von A._ die Rückzahlung von Fr. 105'000.--. B. Mit Eingabe vom 14. Februar 2017 klagte B._ beim Bezirksgericht Horgen mit dem Begehren, A._ sei zu verurteilen, ihm Fr. 106'189.70 nebst Zins zu 5 % seit dem 14. Oktober 2016 zu bezahlen. Mit Urteil vom 6. Juni 2018 hiess das Bezirksgericht die Klage gut. A._ focht dieses Urteil mit Berufung beim Obergericht des Kantons Zürich an. Dieses wies die Berufung mit Urteil vom 25. März 2019 ab. C. A._ verlangt mit Beschwerde in Zivilsachen, das Urteil des Obergerichts vom 25. März 2019 sei aufzuheben und die Klage von B._ sei abzuweisen. Ausserdem sei der Beschwerde aufschiebende Wirkung zu erteilen. Das Obergericht verzichtete auf Vernehmlassung. B._ begehrt, die Beschwerde sei abzuweisen, das Urteil des Obergerichts vom 25. März 2019 sei zu bestätigen und die Klage sei gutzuheissen. A._ replizierte, worauf B._ eine Duplik eingereicht hat. Mit Präsidialverfügung vom 3. Juli 2019 wurde das Gesuch um Erteilung der aufschiebenden Wirkung abgewiesen und B._ auf seiner Zusicherung behaftet, dass er bis zum Entscheid des Bundesgerichts über die Beschwerde auf Vollstreckungsmassnahmen verzichtet.