Sachverhalt:
A.
A.a. Dr. med. A._ (Kläger und Beschwerdeführer) und Dr. med. B._ (Beklagter und Beschwerdegegner) sind auf dem Gebiet der medizinischen Dienstleistungen und Abklärungen zugunsten von Sozial- und Privatversicherungen tätig. Sie arbeiteten zusammen im C._, das Dr. A._ mit einem anderen Arzt gegründet hatte. Die beiden Gründer hatten als einfache Gesellschaft und unter Zuzug verschiedener Spezialärzte in eigenen Räumlichkeiten eine Medizinische Abklärungsstelle (D._) betrieben, die dem Bundesamt für Sozialversicherung regelmässig Gutachten erstattete. Mitte 2005 trat Dr. B._ als Nachfolger des altershalber ausgeschiedenen Mitgründers in das C._ ein.
A.b. Ab Frühjahr 2008 wickelten die Parteien die administrativen Angelegenheiten des C._ (Anstellung des Hilfspersonals, Aufwendungen für die Praxisräumlichkeiten und Verbrauchsmaterial) über die von ihnen gegründete E._ AG ab. Diese bezweckt ausweislich des Handelsregistereintrags "die Erbringung von Dienstleistungen im Bereich der ärztlichen Versorgung, der Gesundheitspflege, der medizinischen Dokumentation und der wissenschaftlichen Forschung sowie der Erstellung von Programmen der Datenverarbeitung in diesem Bereich".
Über ihre Zusammenarbeit schlossen die Parteien am 4. April 2008 zwei Verträge ab:
Mit der "Vereinbarung betreffend den Betrieb der einfachen Gesellschaft im medizinischen Bereich " regelten sie den gemeinsamen Betrieb der D._ als einfache Gesellschaft. Danach verpflichteten sich die beiden Partner, ihre Tätigkeiten für die D._ - "Aerztliche Leistungen ausgeschlossen " - über die E._ AG abzuwickeln. Der Geschäftsaufwand, insbesondere die Saläre der Angestellten und die Honorare der Konsiliarärzte, war gemäss der Vereinbarung über ein Geschäftskonto zu bezahlen und an die E._ AG, welche die organisatorischen und alle nicht-ärztlichen Belange der D._ betreute, waren monatliche Pauschalzahlungen auszurichten. An Gewinn und Verlust der einfachen Gesellschaft waren die Partner je hälftig berechtigt.
Weiter schlossen die Parteien hinsichtlich der E._ AG einen Aktionärsbindungsvertrag, in dem sie regelten, dass diese "die administrativen Arbeiten der D._ sowie der Betriebsgesellschaft C._ " übernehme. In Ziff. 6.3 vereinbarten sie ein Konkurrenzverbot wie folgt:
"Die Vertragsparteien verpflichten sich, während der Dauer dieses Vertrages sowie während zwölf Monaten nach Vertragsende dazu, keine die E._ konkurrenzierende Tätigkeit zu betreiben. Ferner verzichten die Vertragsparteien während dieser Zeit darauf, sich direkt oder indirekt an einem Unternehmen in der Schweiz zu beteiligen oder ihre Arbeitskraft oder Expertise einem solchen in einer Weise zur Verfügung zu stellen, die den Interessen der Gesellschaft zuwiderläuft.
Übertritt eine Partei das Konkurrenzverbot, so hat sie den übrigen Parteien den daraus erwachsenden Schaden zu ersetzen und zusätzlich die Vertragsstrafe gemäss Ziffer 7.2 [Fr. 100'000.--] zu bezahlen. Zudem können die übrigen Parteien die Beseitigung des vertragswidrigen Zustandes verlangen."
Ab Juni 2011 reduzierte Dr. B._ sein Pensum beim C._ aus gesundheitlichen Gründen und stellte auf Ende 2011 seine Tätigkeit schliesslich gänzlich ein.
A.c. In der Folge machte Dr. A._ geltend, Dr. B._ übe eine "die E._ AG konkurrenzierende Tätigkeit" i.S. von Ziff. 6.3 des Aktionärsbindungsvertrags aus, indem er noch im Jahr 2011 eine anderweitige Tätigkeit als medizinischer Gutachter aufgenommen und dabei seine Honorare nicht über ein Konto der D._, der E._ AG oder des C._ abgewickelt habe. Damit sei die Konventionalstrafe von Fr. 100'000.-- geschuldet.
Dr. B._ räumt ein, dass er jedenfalls seit Januar 2012 eine Tätigkeit im Kanton Schwyz als medizinischer Gutachter aufgenommen habe, sieht darin aber keine Verletzung vertraglicher Verpflichtungen gegenüber seinem früheren Kollegen.
B.
B.a. Mit Klage vom 27. März 2012 beantragte Dr. A._ dem Bezirksgericht Zürich, Dr. B._ sei zu einer Zahlung von Fr 100'000.-- nebst Zins zu 5 % seit dem 10. November 2011 zu verurteilen.
Mit Urteil vom 10. August 2015 hiess das Bezirksgericht die Klage vollumfänglich gut.
Das Bezirksgericht legte den Begriff der "die E._ AG konkurrenzierenden Tätigkeit " gemäss Ziff. 6.3 des Aktionärsbindungsvertrags zunächst subjektiv aus und hielt dabei fest, dass sich kein übereinstimmender tatsächlicher Parteiwille feststellen lasse, wonach damit jede ärztliche oder gutachterliche Tätigkeit der Partner hätte verboten werden sollen. Nach einer objektivierten Auslegung der Klausel gelangte das Bezirksgericht schliesslich zur Auffassung, dass das Konkurrenzverbot nach Treu und Glauben "das Kerngeschäft der Zusammenarbeit der Parteien, nämlich das Erstellen von medizinischen Gutachten " erfasse. Folglich habe der Beklagte mit seiner Gutachtertätigkeit im Kanton Schwyz gegen das Konkurrenzverbot verstossen, womit die Konventionalstrafe geschuldet sei.
B.b. Dagegen legte der Beklagte Berufung beim Obergericht des Kantons Zürich ein.
Mit Urteil vom 5. Januar 2016 hiess das Obergericht die Berufung gut, hob den bezirksgerichtlichen Entscheid auf und wies die Klage ab.
C.
Mit Beschwerde in Zivilsachen beantragt der Kläger dem Bundesgericht, es sei das Urteil des Obergerichts aufzuheben und der Beklagte sei zur Zahlung von Fr. 100'000.-- nebst Zins zu 5 % seit dem 10. November 2011 zu verurteilen. Eventualiter sei die Sache an die Vorinstanz zu neuer Entscheidung zurückzuweisen.
Der Beklagte beantragt in seiner Beschwerdeantwort die Abweisung der Beschwerde, soweit Eintreten. Die Vorinstanz hat auf Vernehmlassung verzichtet.

Erwägungen:
1.
Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-law>; <ref-ruling> E. 2 S. 59; <ref-ruling> E. 1 S. 133; je mit Hinweisen).
1.1. Die Beschwerde richtet sich gegen einen verfahrensabschliessenden Berufungsentscheid eines oberen kantonalen Gerichts (<ref-law>), ist innert der Beschwerdefrist (<ref-law>) von der mit ihren Rechtsbegehren unterlegenen Partei (<ref-law>) eingereicht worden und bei der Streitsache handelt es sich um eine Zivilsache (<ref-law>) mit einem Streitwert von über Fr. 30'000.-- (<ref-law>). Auf die Beschwerde ist unter Vorbehalt rechtsgenüglicher Begründung (<ref-law> und <ref-law>) einzutreten.
1.2. Gemäss <ref-law> ist in der Begründung in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt. Dies bedeutet, dass die Beschwerde auf die Erwägungen des angefochtenen Entscheids einzugehen und im Einzelnen aufzuzeigen hat, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll dabei in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 89, 115 E. 2 S. 116).
1.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>), was in der Beschwerde näher darzulegen ist (<ref-ruling> E. 3 S. 395). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
1.4. Diese Grundsätze verkennt der Beschwerdeführer, soweit er unter dem Titel "A. Zu Grunde liegender Sachverhalt" die Hintergründe des Rechtsstreits aus eigener Sicht schildert und dabei teilweise von den tatsächlichen Feststellungen der Vorinstanz abweicht oder diese erweitert, ohne substanziiert Ausnahmen von der Sachverhaltsbindung geltend zu machen. Die entsprechenden Ausführungen haben unbeachtet zu bleiben.
2.
Der Beschwerdeführer beanstandet die Auslegung von Ziff. 6.3 des Aktionärsbindungsvertrags durch die Vorinstanz. Er macht geltend, dass die Gutachtertätigkeit des Beschwerdegegners entgegen der Auffassung der Vorinstanz unter das Konkurrenzverbot falle.
2.1. Der Inhalt eines Vertrags bestimmt sich in erster Linie durch subjektive Auslegung, das heisst nach dem übereinstimmenden wirklichen Parteiwillen, während die unrichtige Bezeichnung oder Ausdrucksweise, die von den Parteien aus Irrtum oder in Absicht gebraucht wird, die wahre Beschaffenheit des Vertrages zu verbergen, unbeachtlich ist (<ref-law>). Diese subjektive Vertragsauslegung beruht auf Beweiswürdigung (<ref-ruling> E. 3.1 S. 632 m.H.). Stellt die Vorinstanz einen von einem übereinstimmenden wirklichen Parteiwillen getragenen Vertragsinhalt fest, so handelt es sich dabei um eine Sachverhaltsfeststellung, welche für das Bundesgericht grundsätzlich verbindlich ist (<ref-law>). Hat das Sachgericht einen wirklichen Willen nicht feststellen können, so sind zur Ermittlung des mutmasslichen Parteiwillens die Erklärungen der Parteien im Rahmen der objektivierten Vertragsauslegung aufgrund des Vertrauensprinzips so auszulegen, wie sie nach ihrem Wortlaut und Zusammenhang sowie den gesamten Umständen verstanden werden durften und mussten. Die objektivierte Auslegung von Willenserklärungen ist Rechtsfrage; Tatfrage ist hingegen das Wissen und Wollen der Beteiligten im Rahmen des Vertragsschlusses (<ref-ruling> E. 4.2.1 m.w.H.).
2.2. Die Vorinstanz kam in Übereinstimmung mit dem Bezirksgericht zum Schluss, dass sich kein subjektiv übereinstimmender Parteiwille hinsichtlich des Begriffs der "die E._ AG konkurrenzierenden Tätigkeit" in Ziff. 6.3 des Aktionärsbindungsvertrags erstellen lasse. Folglich unterzog sie die Vertragsklausel einer objektivierten Auslegung.
Dabei prüfte sie zunächst anhand des statutarischen Zwecks der E._ AG, was eine "die E._ AG konkurrenzierende Tätigkeit " bzw. was "die Interessen der Gesellschaft " sein können. Sie erwog dabei, dass die Tätigkeit des Beschwerdegegners als medizinischer Gutachter möglicherweise unter die "Erbringung von Dienstleistungen im Bereich der ärztlichen Versorgung, der Gesundheitspflege, der medizinischen Dokumentation und der wissenschaftlichen Forschung" fallen könnte. Allerdings hätten die Parteien in der Vereinbarung über den Betrieb der D._, die sie zusammen mit dem Aktionärsbindungsvertrag am 4. April 2008 abgeschlossen hatten, ausdrücklich festgehalten, dass sie " (...) ihre Tätigkeit - Aerztliche Leistungen ausgeschlossen - im Zusammenhang mit der D._ über die E._ [abwickeln]" wollten, wobei die E._ "die administrativen Belange sowie alle nicht ärztlichen Belange der D._ (...) " organisiere. Daraus schloss die Vorinstanz, dass die E._ AG im Bereich der medizinischen Begutachtung nach Auffassung der Parteien gerade nicht tätig gewesen sei. Entsprechend habe der Beschwerdeführer in seiner Berufungsantwort denn auch betont, dass die E._ AG keine eigene medizinische Tätigkeit habe ausüben dürfen. Folglich könne die medizinische Tätigkeit des Beschwerdegegners im Kanton Schwyz aber auch keine Konkurrenzierung und damit keine Verletzung des Aktionärsbindungsvertrags bedeuten.
Ergänzend wies die Vorinstanz darauf hin, dass für die Auslegung des Vertrags nicht von wesentlicher Bedeutung sei, welche Tätigkeiten die Parteien vor dem 4. April 2008 ausgeübt und welche finanziellen Hintergründe die gewählten Vertragskonstruktionen beeinflusst hatten. Denn Fakt sei, dass die Parteien in zwei separaten, umfangreichen und sehr detaillierten Verträgen einerseits die Organisation und Tätigkeit der D._ und andererseits ihr Verhältnis als Aktionäre der E._ AG geregelt hätten. Vor diesem Hintergrund lasse sich das Konkurrenzverbot des Aktionärsbindungsvertrages nicht auf den Vertrag über den Betrieb der D._ übertragen. Zwar möge es vielleicht Gründe gegeben haben und wäre es vielleicht sinnvoll gewesen, auch in den Vertrag betreffend den Betrieb der D._ eine analoge Klausel aufzunehmen; dies hätten die Parteien nun aber gerade nicht getan.
2.3.
2.3.1. Was der Beschwerdeführer gegen diese Erwägungen vorbringt, ist über weite Strecken nicht nachvollziehbar. So wirft er der Vorinstanz unter dem Titel "B.1.a) Willkürliche und offensichtlich unhaltbare wörtliche Auslegung" vor, diese habe "das Beweisergebnis des Bezirksgerichts ignoriert und damit das rechtliche Gehör des Beschwerdeführers verletzt". Soweit er der Vorinstanz damit einen Verstoss gegen verfassungsmässige Rechte vorwerfen will, geht aus seinen Ausführungen nicht bzw. jedenfalls nicht in einer den Begründungsanforderungen nach <ref-law> genügenden Weise hervor, inwiefern dies der Fall sein sollte. Darauf ist nicht weiter einzugehen. Soweit sich der Beschwerdeführer in seiner Argumentation sodann auf Tatsachenfeststellungen der ersten Instanz stützt, verkennt er, dass für das Bundesgericht nur der vorinstanzlich festgestellte Sachverhalt massgeblich ist (<ref-law>).
2.3.2. Im Übrigen erweisen sich seine Einwände gegen die vorinstanzliche Vertragsauslegung als unbegründet: Entgegen der Auffassung des Beschwerdeführers hat die Vorinstanz keineswegs "willkürlich und zusammenhangslos einzelne Passagen aus dem Vertrag zum Betrieb der D._" herausgepickt, sondern die beiden unterschiedlichen Regelungsgegenstände der am 4. April 2009 abgeschlossenen Verträge nachvollziehbar herausgearbeitet und dargestellt, dass die Parteien die ärztlichen Leistungen über die D._ und nur die administrativen Belange über die E._ AG abwickeln wollten. Aus dem Umstand, dass sich das Konkurrenzverbot lediglich im Aktionärsbindungsvertrag bezüglich der E._ AG und gerade nicht im (gleichentags abgeschlossenen) Vertrag betreffend den Betrieb der D._ befand, schloss die Vorinstanz, dass die ärztliche Tätigkeit nach dem mutmasslichen Parteiwillen vom Konkurrenzverbot ausgenommen war. Diese Schlussfolgerung ist bundesrechtlich nicht zu beanstanden. Es trifft denn auch nicht zu, dass die Vorinstanz das Konkurrenzverbot ausgelegt hätte, "ohne den Umständen irgendwelche Bedeutung zu schenken", wie dies der Beschwerdeführer behauptet. Die Vorinstanz hat die entsprechenden Umstände durchaus einbezogen, daraus aber andere Schlüsse gezogen, als sie der Beschwerdeführer ziehen will. Dies macht die vorinstanzliche Auslegung aber nicht unrichtig. Ebensowenig trifft zu, dass die Vorinstanz die "Interessen" der E._ AG ausgeblendet hätte, wie sie in Ziff. 9.3 des Aktionärsbindungsvertrags erwähnt sind: Sie ist in E. 3.3 des angefochtenen Entscheids vielmehr gerade von diesen Interessen ausgegangen, hat diese dann aber im Kontext der Vereinbarung betreffend die D._ ausgelegt, in der die Parteien klargestellt haben, dass die E._ AG nur "die administrativen Belange sowie alle nicht ärztlichen Belange" organisiere. Daraus den Schluss zu ziehen, dass sich eine "die E._ AG konkurrenzierende Tätigkeit" (Ziff. 6.3 des Aktionärsbindungsvertrags) nicht auf ärztliche Gutachtertätigkeit beziehe, erscheint nicht bundesrechtswidrig.
3.
Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist.
Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kosten- und entschädigungspflichtig (<ref-law> und <ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 5'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 6'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 9. August 2016
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Hurni