Sachverhalt:
A.
A.a. Mit Darlehensvertrag vom 26. März 1994 gewährte B._ (Kläger, Beschwerdegegner) A._ (Beklagter, Beschwerdeführer) ein Darlehen in der Höhe von DM 300'000.-- (entsprechend EUR 153'387.56), verzinslich zu 12 % pro Jahr, Zinsen zahlbar vierteljährlich, erstmals am 5. Juli 1994.
A.b. In Form eines notariellen Schuldanerkenntnisses bestätigte A._ am 28. Januar 1998, C._, der Ehefrau von B._, den Betrag von DM 300'000.--, verzinslich zu 12 % pro Jahr ab dem 12. April 1994, zu schulden.
Am 19. März 2007 einigten sich A._ und C._ vergleichsweise, dass A._ zwecks Tilgung der Forderung gemäss dem notariellen Schuldanerkenntnis C._ EUR 10'000.-- bezahlt und ihr 12'000 Aktien der D._ AG überträgt; dieser Vergleich wurde von A._ erfüllt.
A.c. Umstritten ist, ob ein einziges Darlehen von B._ vorliegt, das an die Ehefrau abgetreten und vergleichsweise vollumfänglich getilgt wurde, oder ob A._ zwei Beträge à DM 300'000.-- übergeben wurden, wobei die Rückzahlungsforderung und Zinsen aus dem Darlehen vom 26. März 1994 noch offen sind.
B.
B.a. Mit Klage vom 7. April 2014 beim Bezirksgericht Horgen forderte der Kläger vom Beklagten die Zahlung von EUR 153'387.56 nebst 12 % Zins seit dem 26. März 1994.
Das Bezirksgericht Horgen verpflichtete den Beklagten mit Urteil vom 22. Dezember 2015, dem Kläger den Betrag von EUR 153'387.56 nebst Zins zu 12 % seit dem 1. Januar 2010 zu bezahlen. Im Mehrbetrag wies es die Klage ab.
B.b. Gegen dieses Urteil erhob der Beklagte Berufung beim Obergericht des Kantons Zürich. Dieses wies die Berufung mit Urteil vom 4. Juli 2016 ab.
C.
Mit Beschwerde in Zivilsachen beantragt der Beklagte dem Bundesgericht, das Urteil des Obergerichts des Kantons Zürich vom 4. Juli 2016 sei aufzuheben und die Klage abzuweisen. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Der Beschwerdegegner beantragt die Abweisung der Beschwerde. Die Vorinstanz hat auf eine Vernehmlassung verzichtet.
Der Beschwerdeführer hat unaufgefordert eine Replik, der Beschwerdegegner eine Duplik eingereicht.
D.
Mit Präsidialverfügung vom 7. November 2016 wurde das Gesuch des Beschwerdeführers um Gewährung der aufschiebenden Wirkung abgewiesen.

Erwägungen:
1.
Das angefochtene Urteil ist ein verfahrensabschliessender Endentscheid (<ref-law>) einer letzten kantonalen Instanz im Sinne von Art. 75 Abs. 1 und 2 BGG. Der Streitwert übersteigt die Grenze nach <ref-law>. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist - unter Vorbehalt einer hinlänglichen Begründung (Art. 42 Abs. 2 und <ref-law>) - auf die Beschwerde einzutreten.
2.
2.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Mit Blick auf die Begründungspflicht des Beschwerdeführers (Art. 42 Abs. 1 und 2 BGG) behandelt es aber grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind; es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 1.4 S. 400; <ref-ruling> E. 1.1 S. 104).
Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (<ref-law>).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
2.3. Soweit der Beschwerdeführer diesen Begründungsanforderungen nicht genügt und sich seine Vorbringen in blosser appellatorischer Kritik am angefochtenen Entscheid erschöpfen, ohne dass er sich in rechtsgenüglicher Hinsicht mit dem angefochtenen Entscheid auseinandersetzt, haben seine Vorbringen unbeachtet zu bleiben.
3.
3.1. Die Vorinstanzen hielten fest, der Beschwerdeführer trage die Beweislast dafür, dass er angesichts der Abtretung der Darlehensforderung und durch Abschluss und Vollzug des Vergleichs mit C._ die Darlehensschuld vom 26. März 1994 vollumfänglich getilgt habe. Diesen Beweis habe der Beschwerdeführer jedoch nicht erbringen können, weshalb er die Folgen der Beweislosigkeit zu tragen habe.
Die Vorinstanz kam nach Würdigung der diversen Beweismittel, insbesondere der Zeugenaussagen von C._ zum Ergebnis, dass dem Beschwerdeführer zwei Mal ein Betrag von DM 300'000.-- hingegeben wurde. Das erste Mal im Jahre 1991 als Kaufpreis für einen geplanten Wohnungskauf in U._; die Rückforderung habe Gegenstand des notariellen Schuldanerkenntnisses des Beschwerdeführers gegenüber C._ vom 28. Januar 1998 gebildet. Diese Forderung sei durch den Vergleich vom 19. März 2007 getilgt worden. Die zweite Geldhingabe sei am 26. März 1994 durch den Beschwerdegegner als Darlehen erfolgt. Dieses sei nicht an C._ abgetreten worden und habe nichts mit dem notariellen Schuldanerkenntnis und der vergleichsweisen Tilgung zu tun gehabt.
3.2. Der Beschwerdeführer rügt eine falsche Sachverhaltsfeststellung sowie eine willkürliche Beweiswürdigung. Er stellt sich nach wie vor auf den Standpunkt, dass ihm nur eine Zahlung in der Höhe von DM 300'000.-- gewährt worden sei und zwar das Darlehen gemäss Darlehensvertrag vom 26. März 1994, welches er zurückbezahlt habe. Dabei macht er wie bereits im vorinstanzlichen Verfahren geltend, es habe einerseits nicht auf die Zeugenaussagen von C._ abgestellt werden dürfen, da diese nicht der Wahrheit entsprechen würden (vgl. E. 3.3 hiernach), und andererseits habe die Weigerung zur Schweigepflichtsentbindung des Notars E._ durch den Beschwerdegegner und seine Ehefrau bei der Würdigung zu Ungunsten des Beschwerdegegners berücksichtigt werden müssen, da der Beschwerdeführer über keine weiteren Beweismittel verfügt habe, um seinen Hauptbeweis zu erbringen (vgl. E. 3.4 hiernach).
3.3. Bezüglich der Zeugenaussage von C._ bringt der Beschwerdeführer vor, diese habe entgegen der Auffassung der Vorinstanzen nicht als widerspruchsfreie, in sich stimmige und damit glaubhafte Beweisgrundlage gelten können.
3.3.1. Dabei macht der Beschwerdeführer zunächst geltend, es sei erstellt, dass der Beschwerdegegner die Aussagen der Zeugin beeinflusst und die Zeugin aufgrund ihrem finanziellen Interesse am Prozessausgang nicht wahrheitsgemäss ausgesagt habe. Das unglaubhafte Aussageverhalten der Zeugin habe sich auf sämtliche Aussagen abgefärbt, wobei selbstredend sei, dass somit der Kerngehalt ihrer Aussagen betroffen sei. Dabei decken sich seine Vorbringen weitgehend mit denjenigen im Berufungsverfahren, wobei eine Auseinandersetzung mit dem angefochtenen Entscheid nur spärlich ausfällt.
Die Vorinstanz hielt fest, dass bereits das Bezirksgericht die Interessenbindung der Zeugin und eine gewisse Befangenheit in der konkreten Einvernahmesituation erkannt habe, aber trotzdem keine Hinweise auf die Unwahrheit der Aussage gefunden habe. Aus dem Protokoll der Zeugenbefragung würden sich bezüglich einer allfälligen Beeinflussung der Zeugin durch den Beschwerdegegner bei der Beantwortung der an sie gerichteten Fragen einzig zwei korrigierende Einwürfe des Beschwerdegegners hinsichtlich der massgeblichen Währung der dem Beschwerdeführer übergebenen Geldsumme (DM und nicht Euro) und bezüglich der letzten Kontakte mit dem Beschwerdeführer (2006 und nicht 1994) ergeben. Diese Korrekturen würden aber keinesfalls den Kerngehalt der Aussagen der Zeugin über den Grund der dem Beschwerdeführer übergebenen Gelder, zu einer allfälligen Abtretung der Darlehensforderung an sie und zur Grundlage des Schuldanerkenntnisses vom 28. Januar 1998 betreffen. In seiner Beschwerde anerkennt der Beschwerdeführer, dass der Beschwerdegegner seine Ehefrau lediglich zweimal in ihrer Aussage korrigiert hat; zum einen hinsichtlich der Währung der Geldhingabe und zum anderen hinsichtlich dem letzten Kontakt zwischen dem Beschwerdegegner bzw. seiner Ehefrau und dem Beschwerdeführer. Eine weitere Korrektur fand somit auch nach den Vorbringen des Beschwerdeführers nicht statt. Entsprechend kann ihm in seiner Ansicht nicht gefolgt werden, dass der Beschwerdegegner sämtliche Aussagen der Zeugin beeinflusst bzw. inwiefern sich die zweimalige Korrektur auf das allgemeine Aussageverhalten der Zeugin "abgefärbt" habe. Dass eine gewisse Befangenheit der Zeugin bestanden hat, haben auch beide Vorinstanzen anerkannt. Dies deutet aber - wie dies die Vorinstanz festgehalten hat - nicht zwingend darauf hin, dass die Aussagen der Zeugin unwahr wären.
3.3.2. Weiter bringt der Beschwerdeführer abermals vor, die Zeugin habe stets nur von einem Darlehen über DM 300'000.-- gesprochen, was seinen Standpunkt bekräftigen würde, dass ihm nur ein Geldbetrag überreicht worden sei. Dabei bezieht er sich insbesondere auf die Aussage, wonach die Zeugin nicht mehr wisse, woher "der" Geldbetrag von DM 300'000.-- gekommen sei, den sie dem Beschwerdeführer übergeben hätten. Entsprechend sei es willkürlich, wenn die Vorinstanz gestützt auf diese Aussage dennoch angenommen habe, dem Beschwerdeführer sei zweimal ein Betrag von DM 300'000.-- überreicht worden.
Wie dies bereits die Vorinstanz festgehalten hat, zieht der Beschwerdeführer diese Aussage völlig aus ihrem Kontext: Diese Aussage der Zeugin erfolgte im Zusammenhang mit der Auszahlung von DM 300'000.-- für den Wohnungskauf. Entsprechend ist es naheliegend, dass die Zeugin dabei nur von einem einzigen Geldbetrag gesprochen hat, da nie die Rede davon war, dass für den Wohnungskauf mehrere Beträge überwiesen worden wären. Gestützt darauf kann folglich nicht geschlossen werden, dass insgesamt nur ein einziger Betrag von DM 300'000.-- überwiesen worden wäre, wie sich dies der Beschwerdeführer wünscht. Die Vorinstanz hielt vielmehr fest, dass die Zeugin stets klar zwischen dem Darlehen bzw. dem "Schuldschein" und der Zahlung für den Wohnungskauf in U._ unterschieden habe; sie habe diese beiden Zahlungen als zwei völlig verschiedene Dinge bezeichnet. Dagegen bringt der Beschwerdeführer nichts Sachdienliches vor.
3.3.3. Der Beschwerdeführer sieht die Unglaubwürdigkeit der Aussagen der Zeugin schliesslich darin, dass sie sich bezüglich der Frage über die Herkunft der Gelder widersprüchlich verhalten habe. Sie habe nämlich einerseits ausgeführt, über die Konten ihres Ehemannes Bescheid zu wissen, andererseits aber keine Auskunft darüber geben zu können, woher das Geld stamme, welches sie dem Beschwerdeführer übergeben hätten. Daraus folge, dass die Zeugin konkludent ausgesagt habe, sie gehe davon aus, dass das Geld für das streitgegenständliche Darlehen vom gemeinsamen Konto stammen sollte. Entsprechende Feststellungen liegen jedoch nicht vor. Aus dem angefochtenen Entscheid geht vielmehr hervor, dass die Zeugin stets gesagt hat, sie könne sich weder über die Herkunft der Mittel für den Wohnungskauf noch über die Herkunft der Mittel für das unbestrittenermassen im Herbst 1994 dem Beschwerdeführer gewährte Darlehen konkret äussern. Ein widersprüchliches Verhalten liegt somit nicht vor, womit die Rüge auch in diesem Punkt unbegründet ist.
3.4. Der Beschwerdeführer bringt weiter vor, die Vorinstanz habe die Weigerung zur Entbindung des Notars E._ von dessen Schweigepflicht sowohl durch den Beschwerdegegner als auch durch die Zeugin willkürlich gewürdigt. Die Verletzung der Mitwirkungspflicht des Beschwerdegegners als auch seiner Ehefrau habe bei der Beweiswürdigung zu seinem Vorteil berücksichtigt werden müssen.
3.4.1. Die Vorinstanz hielt fest, der Zeuge E._ habe seine Aussage deshalb verweigert, weil der Beschwerdegegner ihn nicht von der Schweigepflicht befreit habe. Das entscheidrelevante notarielle Schuldanerkenntnis sei indessen vom Beschwerdeführer zugunsten der Ehefrau des Beschwerdegegners erstellt worden. Entsprechend sei der Beschwerdegegner formell nicht als Partei beteiligt gewesen und habe insofern den Notar auch nicht von seiner Schweigepflicht zu entbinden gehabt. Indem der Beschwerdeführer jedoch vor der ersten Instanz verzichtet habe, das Gericht oder den Zeugen darauf hinzuweisen, dass Gegenstand der Zeugenbefragung nicht eine Beurkundungshandlung für den Beschwerdegegner sein würde und er nicht auf die Zeugenbefragung bestanden habe, so könne er im Berufungsverfahren nicht mehr auf diesen Verzicht zurückkommen und aus der Unterlassung der Zeugenbefragung für sich keinen Beweisvorteil ableiten. Alternativ hielt die Vorinstanz fest, hätte der Beschwerdegegner entgegen dem Gesagten doch zufolge irgendeiner formellen Parteistellung bei der Beurkundung den Notar von seiner Schweigepflicht entbinden müssen, was er unbegründetermassen verweigert habe, könne sich dies auf die Beweiswürdigung auswirken. Die unbegründete Mitwirkungsverweigerung führe jedoch nicht automatisch zur Wahrunterstellung der mit dem betreffenden Beweismittel zu beweisenden Tatsachen, sondern sei im Rahmen der weiteren Umstände zu würdigen:
Dazu hielt die Vorinstanz fest, es sei mit dem erstinstanzlichen Gericht davon auszugehen, dass höchst fraglich sei, ob sich der Notar nach mehr als 17 Jahren überhaupt noch an dieses Beurkundungsgeschäft hätte erinnern können. Denn der Notar habe für den Beschwerdegegner eine Vielzahl von Immobilien- und Unternehmenstransaktionen beurkundet. Hinzu komme, dass der Notar auch nicht an der Errichtung der schriftlichen Darlehensurkunde beteiligt gewesen sei und dass das Schuldanerkenntnis nur einen Teilaspekt der behaupteten Vorgänge rund um das streitige Darlehen und den Wohnungskaufpreis betroffen habe. Für die weiteren Aspekte - die zweimalige Hingabe von DM 300'000.--, die Abtretung des Darlehens an die Ehefrau, die Funktion des Anteilscheins der "F._ GmbH" als Sicherheit für die Übergabe des Wohnungsgeldes - würden sodann weitere Beweismittel vorliegen, insbesondere die Zeugenaussage von C._. Diese Beweislage verbiete eine fiktive Wahrunterstellung der mit dem Zeugen E._ zu beweisenden und im Widerspruch zur Zeugenaussage C._ stehenden Behauptungen des Beschwerdeführers. Sodann würden die in dem notariellen Schuldanerkenntnis festgehaltenen Zinsbetreffnisse nicht mit dem Darlehen vom 26. März 1994 übereinstimmen, was auch gegen eine Schuldanerkennung für das Darlehen spreche.
In Bezug auf die Weigerung von C._, den Zeugen E._ von seiner Schweigepflicht zu entbinden, hielt die Vorinstanz sodann fest, dass dies gemäss <ref-law> zulässig gewesen sei und ohne Einfluss auf das Beweisergebnis zu bleiben habe.
3.4.2. Der Beschwerdeführer bringt richtig vor, wie dies im Übrigen auch von der Vorinstanz festgehalten wurde, dass nicht nachvollziehbar ist, weshalb die Eheleute B._ und C._ den Notar E._ nicht von seiner Schweigepflicht entbunden haben. Die Weigerung ist unbegründet. Dennoch kann der Beschwerdeführer nichts zu seinen Gunsten ableiten.
Der Beschwerdeführer macht hauptsächlich geltend, die antizipierte Beweiswürdigung der Vorinstanz, wonach sich der Notar wohl ohnehin nach 17 Jahren nicht mehr an das Beurkundungsgeschäft habe erinnern können, sei willkürlich. Er ist der Ansicht, dass der Notar sofort Klarheit darüber hätte schaffen können, dass es sich bei der beurkundeten Forderung genau um jene Forderung gehandelt habe, welche der Beschwerdegegner zuvor an seine Ehefrau abgetreten habe. Dabei scheint er jedoch zu übergehen, dass die Vorinstanz aus der Würdigung der weiteren Beweismittel, insbesondere der Zeugenaussage von C._, zu einem anderen Beweisergebnis gekommen ist. Wie gesagt, durfte die Vorinstanz ohne in Willkür zu verfallen auf diese Aussagen abstellen. Die Rüge ist unbegründet.
4.
Die Beschwerde ist abzuweisen, soweit überhaupt darauf eingetreten werden kann. Dem Verfahrensausgang entsprechend wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 sowie Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 5'500.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 6'500.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 5. Dezember 2016
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Die Gerichtsschreiberin: Reitze-Page