Sachverhalt: A. A.a. Mit Darlehensvertrag vom 26. März 1994 gewährte B._ (Kläger, Beschwerdegegner) A._ (Beklagter, Beschwerdeführer) ein Darlehen in der Höhe von DM 300'000.-- (entsprechend EUR 153'387.56), verzinslich zu 12 % pro Jahr, Zinsen zahlbar vierteljährlich, erstmals am 5. Juli 1994. A.b. In Form eines notariellen Schuldanerkenntnisses bestätigte A._ am 28. Januar 1998, C._, der Ehefrau von B._, den Betrag von DM 300'000.--, verzinslich zu 12 % pro Jahr ab dem 12. April 1994, zu schulden. Am 19. März 2007 einigten sich A._ und C._ vergleichsweise, dass A._ zwecks Tilgung der Forderung gemäss dem notariellen Schuldanerkenntnis C._ EUR 10'000.-- bezahlt und ihr 12'000 Aktien der D._ AG überträgt; dieser Vergleich wurde von A._ erfüllt. A.c. Umstritten ist, ob ein einziges Darlehen von B._ vorliegt, das an die Ehefrau abgetreten und vergleichsweise vollumfänglich getilgt wurde, oder ob A._ zwei Beträge à DM 300'000.-- übergeben wurden, wobei die Rückzahlungsforderung und Zinsen aus dem Darlehen vom 26. März 1994 noch offen sind. B. B.a. Mit Klage vom 7. April 2014 beim Bezirksgericht Horgen forderte der Kläger vom Beklagten die Zahlung von EUR 153'387.56 nebst 12 % Zins seit dem 26. März 1994. Das Bezirksgericht Horgen verpflichtete den Beklagten mit Urteil vom 22. Dezember 2015, dem Kläger den Betrag von EUR 153'387.56 nebst Zins zu 12 % seit dem 1. Januar 2010 zu bezahlen. Im Mehrbetrag wies es die Klage ab. B.b. Gegen dieses Urteil erhob der Beklagte Berufung beim Obergericht des Kantons Zürich. Dieses wies die Berufung mit Urteil vom 4. Juli 2016 ab. C. Mit Beschwerde in Zivilsachen beantragt der Beklagte dem Bundesgericht, das Urteil des Obergerichts des Kantons Zürich vom 4. Juli 2016 sei aufzuheben und die Klage abzuweisen. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Der Beschwerdegegner beantragt die Abweisung der Beschwerde. Die Vorinstanz hat auf eine Vernehmlassung verzichtet. Der Beschwerdeführer hat unaufgefordert eine Replik, der Beschwerdegegner eine Duplik eingereicht. D. Mit Präsidialverfügung vom 7. November 2016 wurde das Gesuch des Beschwerdeführers um Gewährung der aufschiebenden Wirkung abgewiesen.