Sachverhalt:
A.
A._ (Kläger, Beschwerdeführer) führte seit 1969 eine Automobilgarage. Diese hatte er im Jahr 2000 in eine sogenannte "Do-it-yourself-Garage" umgewandelt. Mit Vermögensübertragungsvertrag vom 29. Dezember 2011 veräusserte er den Betrieb zum Preis von Fr. 275'000.-- an die B._ AG (Beklagte, Beschwerdegegnerin). Da der Kläger weiterhin für die Garage tätig sein wollte, wurde im Laufe der Vertragsverhandlungen zwischen den Parteien ein auf acht Jahre befristeter Arbeitsvertrag geschlossen. Mit Schreiben vom 30. Oktober 2012 kündigte die Beklagte diesen Arbeitsvertrag wegen reduzierter Leistungsfähigkeit des Klägers per 30. November 2012.
B.
B.a. Mit Klage beim Arbeitsgericht Zürich beantragte der Kläger im Wesentlichen, die Beklagte sei zu verpflichten, ihm als Teilklage Fr. 300'000.-- Schadenersatz nebst Zins zu 5 % seit 30. November 2012 zu bezahlen. Es sei Vormerk zu nehmen, dass er sich die Nachklage über den Betrag von Fr. 210'000.-- vorbehalte (Ziff. 1). Die Beklagte sei weiter zu verpflichten, ihm Fr. 6'000.-- nebst Zins zu 5 % seit 30. November 2012 zu bezahlen (Ziff. 2) sowie Fr. 3'254.65 nebst Zins seit 25. Oktober 2012 und Fr. 6'000.-- nebst Zins seit 25. November 2012 und entsprechende Beiträge an die Sozialversicherungen zu entrichten (Ziff. 3). Ausserdem stellte er Ansprüche für Lohn im Krankheitsfall (Ziff. 4) und nicht bezogene Ferien (Ziff. 5).
Das Arbeitsgericht schützte das Rechtsbegehren Ziffer 1 teilweise und verpflichtete die Beklagte, dem Kläger Fr. 83'203.-- netto zuzüglich Zins zu 5 % seit 30. November 2012 zu bezahlen. Im Mehrbetrag wies es dieses Rechtsbegehren ab (Disp.ArbG Ziff. 1). Es bejahte grundsätzlich einen Entschädigungsanspruch in analoger Anwendung von Art. 337b Abs. 2 OR. Der vom Kläger für die Zeit bis zum Ablauf des befristeten Arbeitsvertrags errechnete Verdienstausfall von Fr. 510'000.-- könne aber nicht tel quel zugesprochen werden. Der Kläger sei im Zeitpunkt der Vertragsauflösung am 30. November 2012 bereits 73,5 Jahre alt und in allgemein schlechter gesundheitlicher Verfassung gewesen. Die durchschnittliche Aktivitätsdauer von 8,935 Jahren kürzte es wegen des schlechten Gesundheitszustands des Klägers um die Hälfte und ging zudem von einer um angenommene 60 % eingeschränkten Leistungsfähigkeit aus. Unter Berücksichtigung, dass es nicht um die Zusprechung von Schadenersatz gehe, sondern um die ermessensweise Festlegung der Folgen der Vertragsauflösung (Art. 337b Abs. 2 OR), errechnete es einen Betrag von Fr. 85'776.--. Diesen kürzte es noch um 3 % wegen entsprechender Auslagenminderungen.
Das Rechtsbegehren Ziffer 3 hiess das Arbeitsgericht teilweise gut und verpflichtete die Beklagte, dem Kläger Fr. 3'254.65 netto zuzüglich Zins von 5 % seit 25. Oktober 2012 sowie Fr. 6'000.-- netto zuzüglich Zins von 5 % seit 25. November 2012 zu bezahlen (Disp.ArbG Ziff. 3 Abs. 1). Bei diesen Beträgen handelt es sich um die restlichen Lohnansprüche für Oktober bzw. November 2012.
Sodann wies das Arbeitsgericht das Rechtsbegehren Ziffer 2 ab (Disp.ArbG Ziff. 2) und nahm schliesslich Vormerk, dass auf die Rechtsbegehren Ziffern 4 und 5 mit Beschluss vom 11. Dezember 2013 nicht eingetreten wurde (Disp.ArbG Ziff. 4); alles unter entsprechender Kosten- und Entschädigungsfolge (Disp.ArbG Ziff. 5-7).
B.b. Gegen dieses Urteil reichte die Beklagte beim Obergericht des Kantons Zürich Berufung ein im Wesentlichen mit dem Antrag, das angefochtene Urteil sei kostenfällig aufzuheben und die Klage abzuweisen.
Das Obergericht verpflichtete die Beklagte unter entsprechender Kosten- und Entschädigungsfolge, dem Kläger Fr. 3'254.65 netto zuzüglich Zins von 5 % seit 25. Oktober 2012 und Fr. 6'000.-- netto zuzüglich Zins von 5 % seit 25. November 2012 zu bezahlen (Disp.OG Ziff. 1 Abs. 1). Im Mehrbetrag wies es die Klage ab (Disp.OG Ziff. 1 Abs. 2).
Mit Urteil vom 12. Juli 2016 berichtigte das Obergericht auf Antrag der Beklagten Ziffer 5 des Urteilsspruchs (Abrechnung betreffend geleisteten Kostenvorschuss für die Entscheidgebühr des Berufungsverfahrens).
C.
Mit Beschwerde in Zivilsachen beantragt der Kläger dem Bundesgericht im Wesentlichen, das angefochtene Urteil sei mit Ausnahme von Ziff. 1 Abs. 1 des Dispositivs kostenfällig aufzuheben und die Beklagte zu verpflichten, ihm Fr. 83'203.-- Schadenersatz nebst Zins zu 5 % seit 30. November 2012 zu bezahlen; eventualiter sei die Sache zur Neubeurteilung an das Obergericht zurückzuweisen.
Die Beklagte trägt auf Abweisung der Beschwerde an, soweit auf sie einzutreten ist. Der Kläger hat unaufgefordert eine Replik eingereicht. Das Obergericht hat auf Vernehmlassung verzichtet.
Mit Präsidialverfügung vom 26. September 2016 wurde dem Antrag des Beschwerdeführers auf Erteilung der aufschiebenden Wirkung stattgegeben.
Erwägungen:
1.
1.1. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Mit Blick auf die allgemeinen Begründungsanforderungen an eine Beschwerde (Art. 42 Abs. 1 und 2 BGG) behandelt es aber grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (BGE 140 III 86 E. 2 S. 88 f. mit Hinweisen). Unerlässlich ist im Hinblick auf Art. 42 Abs. 2 BGG, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegen soll. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (BGE 140 III 86 E. 2 S. 89, 115 E. 2 S. 116). Erfüllt eine Beschwerde diese Anforderungen nicht, ist darauf nicht einzutreten.
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (BGE 140 III 16 E. 1.3.1 S. 17 f. mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (BGE 140 III 115 E. 2 S. 117; 135 III 397 E. 1.5 S. 401). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (Art. 97 Abs. 1 BGG).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von Art. 106 Abs. 2 BGG (BGE 140 III 264 E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (BGE 140 III 16 E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (BGE 140 III 86 E. 2 S. 90 mit Hinweisen). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (BGE 140 III 16 E. 1.3.1 S. 18). Der Beschwerdeführer erweitert verschiedentlich den von der Vorinstanz festgestellten Sachverhalt, ohne dass diese Voraussetzungen gegeben wären; darauf ist nicht einzutreten.
2.
Umstritten ist noch der Betrag von Fr. 83'203.--, welchen das Arbeitsgericht als Entschädigung für die am 30. Oktober 2012 auf den 30. November 2012 ausgesprochene Kündigung dem Beschwerdeführer zugesprochen hatte; ein Anspruch, den die Vorinstanz in der Folge aber abgelehnt hat. Massgebliche Grundlage sind folgende Bestimmungen des Arbeitsvertrages vom 9. Dezember 2011:
" Präambel
Der nachfolgende Arbeitsvertrag steht unter der Prämisse, dass A._ in seiner Do-it-yourself-Garage, die gemäss separatem Vertrag per 1.1.2012 an die Arbeitgeberin übergeht, seiner bisherigen Arbeit weiter nachgehen kann, solange er dazu in der Lage ist. Nur unter dieser Voraussetzung findet der Verkauf der Do-it-yourself-Garage statt."
"10. Das Arbeitsverhältnis wird grundsätzlich für die Dauer von acht Jahren abgeschlossen. Während dieser Zeit kann das Arbeitsverhältnis nur ordentlich gekündigt werden, wenn eine Partei begründeten Anlass dazu gibt (d.h. wesentliche Störung der gegenseitigen Verpflichtungen).
11. Die Vorschriften über die fristlose Kündigung nach Art. 337 ff. OR bleiben vorbehalten."
2.1. Gemäss den Feststellungen der Vorinstanz blieb unbestritten, dass die Parteien keinen gegenseitigen übereinstimmenden Willen bezüglich Ziffer 10 des Vertrages behauptet haben und der Vertrag daher nach Vertrauensprinzip auszulegen ist. Die Vorinstanz erwog, aufgrund des Wortlauts der Präambel sei davon auszugehen, dass das Arbeitsverhältnis nur solange dauern sollte, als der Beschwerdeführer in der Lage sein würde, seiner bisherigen Arbeit weiter nachzugehen. Aufgrund des Alters des Beschwerdeführers von damals schon 72 Jahren sowie seiner bestehenden gesundheitlichen Probleme hätten die Parteien in der Folge den Vertrag auf acht Jahre befristet, also bis zum 80. Altersjahr des Beschwerdeführers. Dass die Parteien neben der in Ziffer 11 erwähnten fristlosen Kündigung in Ziffer 10 auch eine ordentliche Kündigungsmöglichkeit bei "wesentliche[r] Störung der gegenseitigen Verpflichtungen" vorgesehen hätten, deute darauf hin, dass darunter Umstände zu verstehen seien, die möglicherweise den Schweregrad eines zur fristlosen Kündigung berechtigenden Verhaltens nicht erreichen, es aber als unzumutbar erscheinen liessen, die achtjährige Vertragsdauer einzuhalten. Dabei könne davon ausgegangen werden, dass hier insbesondere das Alter und die Gesundheit des Beschwerdeführers im Vordergrund gestanden hätten. Es erscheine plausibel, dass angesichts der voraussehbaren möglichen Einschränkungen der Arbeits- und Leistungsfähigkeit des Klägers aufgrund seines Alters und seiner Gesundheit die hohe Kündigungsschwelle einer fristlosen Kündigung herabgesetzt werden sollte, was auch der Beschwerdeführer habe erkennen können.
Die Vorinstanz verwarf dementsprechend die Auslegung des Arbeitsgerichts. Dieses war der Auffassung, zwar habe die Beschwerdegegnerin den Arbeitsvertrag gemäss Ziffer 10 bei wesentlicher Störung der gegenseitigen Verpflichtungen kündigen können. Dies habe jedoch in analoger Anwendung von Art. 337b Abs. 2 OR eine Entschädigung zur Folge. Denn der rechtsunkundige Beschwerdeführer habe nicht damit rechnen müssen, dass die Beschwerdegegnerin bereits aufgrund bestehender bzw. voraussehbarer Einschränkung seiner Arbeits- und Leistungsfähigkeit berechtigt sein würde, den Arbeitsvertrag vorzeitig aufzulösen, ohne dass sie dafür einzustehen hätte. Infolgedessen sei wie bei einer gerechtfertigten, aber von keiner Partei verschuldeten fristlosen Auflösung des Vertrages (Art. 337b Abs. 2 OR) eine entsprechende Entschädigung zuzusprechen. Diese Auslegung der Erstinstanz widerspricht nach Auffassung der Vorinstanz ferner den vom Beschwerdeführer selber erstinstanzlich gemachten Behauptungen. Er habe nie behauptet, dass eine ordentliche Kündigung gemäss Ziffer 10 andere finanzielle Folgen bewirken sollte als jene, die bei einer ordentlichen Kündigung grundsätzlich Platz greifen. Dem Beschwerdeführer habe auch als juristischer Laie der Unterschied zwischen einer ordentlichen Kündigung und einer fristlosen bekannt sein müssen. Insgesamt bestünden keine Anhaltspunkte, dass die Parteien bei Ziffer 10 des Vertrages Elemente der ordentlichen mit solchen der ausserordentlichen Kündigung verbunden hätten. Art. 337b Abs. 2 OR sei deshalb für die Folgen einer ordentlichen Kündigung gemäss Ziffer 10 des Arbeitsvertrages nicht anwendbar.
2.2. Beide kantonalen Instanzen gingen somit davon aus, der Gesundheitszustand des Beschwerdeführers habe einen "begründeten Anlass" im Sinn von Ziffer 10 des Arbeitsvertrages dargestellt.
2.2.1. Der Beschwerdeführer bestreitet, dass der in Ziffer 10 geforderte Kündigungsgrund vorgelegen habe. Vielmehr habe ihm die Beschwerdegegnerin nach seiner Herzoperation andere (schwerere) Arbeiten zugewiesen, als arbeitsvertraglich vereinbart worden sei. Für die im Arbeitsvertrag vereinbarten kaufmännischen Arbeiten habe er eine 100 %ige Arbeitsfähigkeit besessen.
Die Auffassung der Vorinstanz, er habe sich im Berufungsverfahren nicht mehr auf den Standpunkt gestellt, dass kein Kündigungsgrund vorgelegen habe, weshalb dessen Vorliegen als gegeben zu erachten sei, verletze Art. 312 ZPO. Er macht geltend, eine Partei sei nicht gezwungen, eine Berufungsantwort einzureichen. Diesfalls habe die Berufungsinstanz den angefochtenen Entscheid aufgrund der vorhandenen Akten, d.h. insbesondere des vorinstanzlichen Entscheids sowie der Berufungsbegründung, zu fällen. Daraus folge, dass die von ihm vor Arbeitsgericht vorgebrachten Argumente selbst bei Säumnis im Rechtsmittelverfahren hätten beachtet werden müssen. Es sei daher unbeachtlich, dass er sich in der Berufungsantwort nicht erneut zu diesem Thema geäussert habe.
2.2.2. Es trifft zu, dass der Berufungsbeklagte nicht verpflichtet ist, eine Berufungsantwort einzureichen (Urteil 5A_438/2012 vom 27. August 2012 E. 2.4, in: SZZP 2013 S. 30 f.). Daraus lassen sich indessen nicht die vom Beschwerdeführer vertretenen Rechtsfolgen ableiten. Reicht er eine Berufungsantwort ein, hat diese die gleichen Begründungsanforderungen zu erfüllen wie die Berufung (Urteile 4A_258/2015 vom 21. Oktober 2015 E. 2.4.2; 5A_660/2014 vom 17. Juni 2015 E. 4.2; zit. Urteil 5A_438/2012 E. 2.4). Der Berufungsbeklagte, der in erster Instanz (teilweise) obsiegt hat und eine Gutheissung der Berufung befürchten muss, ist gehalten, allfällige vor erster Instanz gestellte Eventualbegehren zu erneuern, Anträge im Beweispunkt zu stellen, nach Massgabe von Art. 317 ZPO neue Tatsachen und neue Beweismittel vorzutragen, ihm nachteilige Sachverhaltsfeststellungen zu rügen und auf eigene Eventualstandpunkte hinzuweisen (zit. Urteile 4A_258/2015 E. 2.4.2 und 5A_660/2014 E. 4.2; je mit Hinweisen). Wie erwähnt hat der Beschwerdeführer gemäss den für das Bundesgericht verbindlichen Feststellungen der Vorinstanz zum Prozesssachverhalt (vgl. E. 1.2 hiervor), die er im Übrigen nicht bestreitet, in seiner Berufungsantwort nicht gerügt, sein Gesundheitszustand habe entgegen dem Arbeitsgericht keinen " begründeten Anlass " zur Kündigung dargestellt. Ohne entsprechende Rügen war die Vorinstanz nicht gehalten, den Sachverhalt von sich aus diesbezüglich neu zu würdigen (zit. Urteil 4A_258/2015 E. 2.5). Die Vorinstanz hat daher kein Recht verletzt, wenn sie diesen Punkt als gegeben erachtete.
Entsprechend erübrigt es sich, auf die Ausführungen des Beschwerdeführers zu Art. 337c Abs. 1 OR einzugehen, da diese Bestimmung eine nicht gerechtfertigte Kündigung voraussetzt.
2.3. Es bleibt zu prüfen, welches die Rechtsfolgen einer gemäss Ziffer 10 des Vertrages begründeten Kündigung sind.
2.3.1. Dass die Parteien neben der in Ziffer 11 erwähnten fristlosen Kündigung in Ziffer 10 eine ordentliche Kündigungsmöglichkeit bei " wesentliche[r] Störung der gegenseitigen Verpflichtungen " vorsahen, ist so zu verstehen, dass damit die hohe Schwelle für eine fristlose Kündigung herabgesetzt werden sollte. Davon geht letztlich auch der Beschwerdeführer selber aus, wenn er ausführt, die Parteien hätten eine Art Mischform zwischen der ordentlichen und der fristlosen Kündigung schaffen wollen: "eine zusätzliche Kündigungsmöglichkeit (...), welche nicht ganz so hohen Anforderungen wie bei der fristlosen Kündigung genügen muss, jedoch auch nicht so tiefe wie bei der ordentlichen Kündigung." Unbehelflich ist daher sein Einwand, wäre die von der Vorinstanz vertretene Vertragsauslegung zutreffend, hätten die Parteien auch die ursprüngliche Formulierung von alt Ziffer 10"Für die Kündigung gelten die gesetzlichen Bestimmungen" beibehalten können. Hätte die gesetzliche Regelung gegolten, wäre es nämlich nicht so gewesen, dass nur bei " wesentliche[r] Störung der gegenseitigen Verpflichtungen " hätte ordentlich gekündigt werden können.
Ziffer 10 bedeutet somit eine Verschärfung der Kündigungs voraussetzungen im Vergleich zu einer ordentlichen Kündigung.
2.3.2. Der Beschwerdeführer will daraus aber überdies im Sinn der erstinstanzlichen Begründung eine Verschärfung der Kündigungs folgen ableiten, indem in einem solchen Fall die Folgen wie bei einer gerechtfertigten fristlosen Entlassung eintreten sollen. Dem ist aus einer doppelten Überlegung nicht zu folgen:
Die Vorinstanz stellte wie erwähnt fest, der Beschwerdeführer habe im erstinstanzlichen Verfahren nie behauptet, dass eine ordentliche Kündigung gemäss Ziffer 10 des Vertrages andere finanzielle Folgen bewirken sollte - gemeint nach der eigenen Vorstellung des Beschwerdeführers - als jene, die bei einer ordentlichen Kündigung grundsätzlich Platz greifen. Damit stellte sie aber fest, dass die Erstinstanz eine vertrauenstheoretische Auslegung des Vertrages vertreten hatte, die vom Beschwerdeführer selber nicht als sein tatsächlicher Wille behauptet worden war. Der Beschwerdeführer äussert sich dazu nicht; diese prozessuale Feststellung ist für das Bundesgericht verbindlich (vgl. E. 1.2 hiervor). Darauf, dass der Vertragspartner eine Vereinbarung nach Treu und Glauben in einem gewissen Sinne hätte verstehen müssen, darf sich die Gegenpartei aber nur berufen, soweit sie selbst die Bestimmung tatsächlich so verstanden hat. Die Auslegung nach dem Vertrauensprinzip kann nicht zu einem normativen Konsens führen, der so von keiner der Parteien gewollt ist (Urteile 4A_187/2015 vom 29. September 2015 E. 4.1, nicht publ. in: BGE 141 III 489; 4A_388/2012 vom 18. März 2013 E. 3.4.3; 4A_219/2010 vom 28. September 2010 E. 1, nicht publ. in: BGE 136 III 528; je mit Hinweisen).
Die vertrauenstheoretische Auslegung der Vorinstanz ist aber auch inhaltlich nicht zu beanstanden. Die Auslegung der Erstinstanz widerspricht der Systematik des Vertrages. Indem Ziffer 11 des Vertrages die Vorschriften über die fristlose Kündigung nach Art. 337 ff. OR vorbehält - damit u.a. Art. 337b Abs. 2 OR - erscheint es nicht logisch, dass auch im Fall einer (ordentlichen) Kündigung nach Ziffer 10 des Vertrages die Folgen gemäss Art. 337b Abs. 2 OR hätten eintreten sollen. Der Wortlaut spricht ebenfalls dagegen, dass eine solche Zwischenform bestehen soll, indem unmissverständlich gesagt wird, es könne "ordentlich gekündigt" werden. Mit der Vorinstanz ist nicht anzunehmen, dass dem Beschwerdeführer als jahrelang tätigem Kleinunternehmer der Begriff der "ordentlichen Kündigung " - als Gegenstück zur ausserordentlichen oder fristlosen Kündigung - nicht geläufig gewesen wäre, auch wenn er keine vertieften Rechtskenntnisse besitzen mag. Sein wiederholter Einwand, es handle sich beim Begriff der " ordentlichen Kündigung " um eine unklare Regelung, weshalb die weiteren Umstände des Vertragsschlusses miteinzubeziehen seien, die gegen eine entschädigungslose Vertragsauflösung sprächen, trifft offensichtlich nicht zu. Der Vertragszweck lässt keine derartig klaren Schlüsse zu, dass er den eindeutigen Begriff der " ordentlichen Kündigung " zu verdrängen vermöchte. Zutreffend ist in diesem Zusammenhang sodann der Hinweis der Vorinstanz, die Parteien hätten es in der Hand gehabt, den Beschwerdeführer bei einer ordentlichen Kündigung aus begründetem Anlass gemäss Ziffer 10 des Vertrages finanziell abzusichern, wenn dies denn von beiden Parteien bezweckt gewesen wäre. Dies beispielsweise indem sie je nach zeitlicher Fortdauer des Arbeitsverhältnisses abgestufte, zum voraus festgelegte fixe (Abgangs-) Entschädigungen vereinbart hätten.
3.
Die Beschwerde ist somit abzuweisen, soweit darauf einzutreten ist. Dem Ausgang des Verfahrens entsprechend wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 5'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 8. Dezember 2016
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Lüthi