Sachverhalt: A. A.a. Dr. med. A._ (Kläger und Beschwerdeführer) und Dr. med. B._ (Beklagter und Beschwerdegegner) sind auf dem Gebiet der medizinischen Dienstleistungen und Abklärungen zugunsten von Sozial- und Privatversicherungen tätig. Sie arbeiteten zusammen im C._, das Dr. A._ mit einem anderen Arzt gegründet hatte. Die beiden Gründer hatten als einfache Gesellschaft und unter Zuzug verschiedener Spezialärzte in eigenen Räumlichkeiten eine Medizinische Abklärungsstelle (D._) betrieben, die dem Bundesamt für Sozialversicherung regelmässig Gutachten erstattete. Mitte 2005 trat Dr. B._ als Nachfolger des altershalber ausgeschiedenen Mitgründers in das C._ ein. A.b. Ab Frühjahr 2008 wickelten die Parteien die administrativen Angelegenheiten des C._ (Anstellung des Hilfspersonals, Aufwendungen für die Praxisräumlichkeiten und Verbrauchsmaterial) über die von ihnen gegründete E._ AG ab. Diese bezweckt ausweislich des Handelsregistereintrags "die Erbringung von Dienstleistungen im Bereich der ärztlichen Versorgung, der Gesundheitspflege, der medizinischen Dokumentation und der wissenschaftlichen Forschung sowie der Erstellung von Programmen der Datenverarbeitung in diesem Bereich". Über ihre Zusammenarbeit schlossen die Parteien am 4. April 2008 zwei Verträge ab: Mit der "Vereinbarung betreffend den Betrieb der einfachen Gesellschaft im medizinischen Bereich " regelten sie den gemeinsamen Betrieb der D._ als einfache Gesellschaft. Danach verpflichteten sich die beiden Partner, ihre Tätigkeiten für die D._ - "Aerztliche Leistungen ausgeschlossen " - über die E._ AG abzuwickeln. Der Geschäftsaufwand, insbesondere die Saläre der Angestellten und die Honorare der Konsiliarärzte, war gemäss der Vereinbarung über ein Geschäftskonto zu bezahlen und an die E._ AG, welche die organisatorischen und alle nicht-ärztlichen Belange der D._ betreute, waren monatliche Pauschalzahlungen auszurichten. An Gewinn und Verlust der einfachen Gesellschaft waren die Partner je hälftig berechtigt. Weiter schlossen die Parteien hinsichtlich der E._ AG einen Aktionärsbindungsvertrag, in dem sie regelten, dass diese "die administrativen Arbeiten der D._ sowie der Betriebsgesellschaft C._ " übernehme. In Ziff. 6.3 vereinbarten sie ein Konkurrenzverbot wie folgt: "Die Vertragsparteien verpflichten sich, während der Dauer dieses Vertrages sowie während zwölf Monaten nach Vertragsende dazu, keine die E._ konkurrenzierende Tätigkeit zu betreiben. Ferner verzichten die Vertragsparteien während dieser Zeit darauf, sich direkt oder indirekt an einem Unternehmen in der Schweiz zu beteiligen oder ihre Arbeitskraft oder Expertise einem solchen in einer Weise zur Verfügung zu stellen, die den Interessen der Gesellschaft zuwiderläuft. Übertritt eine Partei das Konkurrenzverbot, so hat sie den übrigen Parteien den daraus erwachsenden Schaden zu ersetzen und zusätzlich die Vertragsstrafe gemäss Ziffer 7.2 [Fr. 100'000.--] zu bezahlen. Zudem können die übrigen Parteien die Beseitigung des vertragswidrigen Zustandes verlangen." Ab Juni 2011 reduzierte Dr. B._ sein Pensum beim C._ aus gesundheitlichen Gründen und stellte auf Ende 2011 seine Tätigkeit schliesslich gänzlich ein. A.c. In der Folge machte Dr. A._ geltend, Dr. B._ übe eine "die E._ AG konkurrenzierende Tätigkeit" i.S. von Ziff. 6.3 des Aktionärsbindungsvertrags aus, indem er noch im Jahr 2011 eine anderweitige Tätigkeit als medizinischer Gutachter aufgenommen und dabei seine Honorare nicht über ein Konto der D._, der E._ AG oder des C._ abgewickelt habe. Damit sei die Konventionalstrafe von Fr. 100'000.-- geschuldet. Dr. B._ räumt ein, dass er jedenfalls seit Januar 2012 eine Tätigkeit im Kanton Schwyz als medizinischer Gutachter aufgenommen habe, sieht darin aber keine Verletzung vertraglicher Verpflichtungen gegenüber seinem früheren Kollegen. B. B.a. Mit Klage vom 27. März 2012 beantragte Dr. A._ dem Bezirksgericht Zürich, Dr. B._ sei zu einer Zahlung von Fr 100'000.-- nebst Zins zu 5 % seit dem 10. November 2011 zu verurteilen. Mit Urteil vom 10. August 2015 hiess das Bezirksgericht die Klage vollumfänglich gut. Das Bezirksgericht legte den Begriff der "die E._ AG konkurrenzierenden Tätigkeit " gemäss Ziff. 6.3 des Aktionärsbindungsvertrags zunächst subjektiv aus und hielt dabei fest, dass sich kein übereinstimmender tatsächlicher Parteiwille feststellen lasse, wonach damit jede ärztliche oder gutachterliche Tätigkeit der Partner hätte verboten werden sollen. Nach einer objektivierten Auslegung der Klausel gelangte das Bezirksgericht schliesslich zur Auffassung, dass das Konkurrenzverbot nach Treu und Glauben "das Kerngeschäft der Zusammenarbeit der Parteien, nämlich das Erstellen von medizinischen Gutachten " erfasse. Folglich habe der Beklagte mit seiner Gutachtertätigkeit im Kanton Schwyz gegen das Konkurrenzverbot verstossen, womit die Konventionalstrafe geschuldet sei. B.b. Dagegen legte der Beklagte Berufung beim Obergericht des Kantons Zürich ein. Mit Urteil vom 5. Januar 2016 hiess das Obergericht die Berufung gut, hob den bezirksgerichtlichen Entscheid auf und wies die Klage ab. C. Mit Beschwerde in Zivilsachen beantragt der Kläger dem Bundesgericht, es sei das Urteil des Obergerichts aufzuheben und der Beklagte sei zur Zahlung von Fr. 100'000.-- nebst Zins zu 5 % seit dem 10. November 2011 zu verurteilen. Eventualiter sei die Sache an die Vorinstanz zu neuer Entscheidung zurückzuweisen. Der Beklagte beantragt in seiner Beschwerdeantwort die Abweisung der Beschwerde, soweit Eintreten. Die Vorinstanz hat auf Vernehmlassung verzichtet.