Sachverhalt:
A.
A.a. Die B._ AG (Klägerin, Beschwerdegegnerin) ist unter anderem im Bereich der Instandhaltung von thermischen Anlagen tätig. A._ (Beklagter, Beschwerdeführer) war bis Ende 2015 mit 50 % des Aktienkapitals an der Klägerin beteiligt und verkaufte mit Aktienkaufvertrag vom 24. Dezember 2015 seine Beteiligung an der Klägerin dem bis dahin zweiten Teilhaber von 50 % des Aktienkapitals, C._.
A.b. Im Aktienkaufvertrag wurde vereinbart, dass der Beklagte auch nach dem Verkauf seiner Beteiligung an der Klägerin vorerst weiterhin mit einem Pensum von 60 % als Berater für diese tätig bleibt, um an im Einzelnen genannten Projekten und Offertstellungen mitzuarbeiten. Sodann vereinbarten C._ und der Beklagte ein dreijähriges Konkurrenzverbot, wobei dem Beklagten aber zugestanden wurde, eine eigene Gesellschaft zu gründen, mit welcher er bestimmte Tätigkeiten in derselben Branche ausführen dürfe, nämlich:
- Dienstleistungen auf den Gebieten Arbeitssicherheit, Gesundheitsschutz, Umweltschutz, Qualitätsmanagement- und Überwachung;
- Projektmanagement, Beratung und Engineering (ausgenommen den X._, geistiges Eigentum der Fa. B._ AG) in Form von Dienstleistungen, ausgenommen bisherige Interessenten/ Kunden der Gesellschaft [Klägerin] oder der Tochterunternehmung (Stand Ende 2015)."
Bei bisherigen Interessenten/Kunden brauche es eine vorherige Absprache mit der Klägerin oder der Tochterunternehmung. Für den Fall einer Verletzung des Konkurrenzverbots wurde eine Konventionalstrafe von Fr. 125'004.-- (6 x Fr. 20'834.--) vereinbart.
Der Beklagte kündigte den Beratervertrag per 30. Juni 2016, doch wurde vereinbart, dass er über den 30. Juni 2016 hinaus im Namen der Klägerin gewisse Arbeiten gegenüber den Gesellschaften D._ AG sowie E._ AG weiterhin ausführen soll. Beim Projekt der E._ AG handelte es sich um ein grosses Neubau- und Ingenieurprojekt zum Bau einer Wärmegewinnungsanlage aus Altholz. Das Projekt war in mehrere Lose aufgeteilt. Ein Grossteil der Arbeiten für die E._ AG wurde durch die D._ AG aus geführt, aber auch die Klägerin führte gewisse Arbeiten für die E._ AG aus. Der Beklagte war im Rahmen dieses Projekts ab Frühling 2017 bis Ende 2017 für die D._ AG tätig, konkret im Rahmen von Garantie- und Gewährleistungsfällen in Los 2.
A.c. In der Folge stritten sich die Vertragspartner darüber, ob die Tätigkeit des Beklagten ab Frühling 2017 bis Ende 2017 für die D._ AG das Konkurrenzverbot verletzte oder nicht. C._ trat seine Ansprüche aus einer Verletzung des Konkurrenzverbots mit Vereinbarung vom 6. Oktober 2017 an die Klägerin ab.
B.
Mit Klage vom 29. Januar 2018 beim Bezirksgericht Dietikon beantragte die Klägerin, der Beklagte sei zu verpflichten, ihr den Betrag von Fr. 125'004.-- zuzüglich Zins von 5 % seit dem 9. Juni 2017 zu bezahlen (Ziff. 1) und es sei ihm, unter Androhung der Bestrafung gemäss <ref-law>, mit sofortiger Wirkung zu verbieten, die konkurrenzverbotsverletzende Tätigkeit weiterzuführen (Ziff. 2). Das Bezirksgericht schützte mit Urteil vom 19. September 2019 den Anspruch auf Zahlung (Rechtsbegehren Ziffer 1).
Das Obergericht des Kantons Zürich wies mit Urteil vom 26. November 2019 die vom Beklagten erhobene Berufung ab.
C.
Mit Beschwerde in Zivilsachen vom 14. Januar 2020 beantragt der Beklagte dem Bundesgericht, das Urteil des Obergerichts vom 26. November 2019 sei kostenfällig aufzuheben und die Klage abzuweisen; eventualiter sei das Verfahren zur Neubeurteilung an das Obergericht zurückzuweisen. Die Beschwerdegegnerin trägt auf kostenfällige Abweisung der Beschwerde an, soweit darauf einzutreten ist. Die Vorinstanz hat auf Vernehmlassung verzichtet.

Erwägungen:
1.
Die Streitigkeit ergibt sich im Hinblick auf die Anwendung einer Vereinbarung vom 27. Juni 2016 zwischen dem Beschwerdeführer und C._ (nachfolgend: die Vereinbarung vom 27. Juni 2016), welche die beiden im Zusammenhang mit der Kündigung der Beratertätigkeit per 30. Juni 2016 abschlossen und wo sie betreffend E._ AG, was folgt, vereinbarten:
"Projekt E._ AG:
"1. A._ erfüllt für B._ AG ggü. dem AG "D._ AG" den Hauptauftrag mit Nachträgen gemäss Vereinbarung "Nachtrag Projektverzögerung ab 19.04.2016" vollumfänglich [...], sodass keine weiteren Aufgaben bestehen, welche B._ AG in der Pflicht ist (Abschlussdokumentation inkl. CAD Zeichnungen, Koordination Mängelbehebung Stand 30.06.2016 und Ersatzvornahmen)
2. A._ organisiert schriftlich bis zum Freitag, den 24.06.2016 zwei weitere Nachträge für:
- "Vertretung F._" (bereits erfolgt, ca. 3 Tage)
- "Aufwand für Ersatzvornahme Y._" (bereits in Arbeit, ca. 3 Tage)
beim AG "D._ AG" und wickelt diese ebenfalls vollumfänglich ab.
3. Fa. B._ AG bestätigt, dass allfällige weitere Nachträge und Zusatzarbeiten von "D._ AG" im Neubauprojekt E._ AG direkt mit A._ abgerechnet werden dürfen, mit Ausnahme von Folgeaufträgen wie Servicevertrag und Instandhaltungsdienstleistungen".
2.
Umstritten ist, ob vom Beschwerdeführer im Jahr 2017 unbestritten ausgeführte Arbeiten zur Überwachung von Garantie- und Gewährleistungsarbeiten in Los 2 das Konkurrenzverbot verletzen. Die Vorinstanz wirft dem Beschwerdeführer unter zwei Punkten prozessual mangelhafte Vorbringen vor, die sich einerseits darauf beziehen, woer tätig wurde und andererseits darauf, ob die beanstandeten Arbeiten aufgrund ihres Inhalts unter Ziffer 3 der Vereinbarung vom 27. Juni 2016 fallen.
2.1. Die Vorinstanz erwog, die Beschwerdegegnerin habe vor Bezirksgericht geltend gemacht, gemäss Ziffer 3 der Vereinbarung vom 27. Juni 2016 nicht das Konkurrenzverbot verletzende Tätigkeiten könnten nur solche sein, die sich auf Los 3 bezogen hätten, da sie selber grundsätzlich nur in Los 3 tätig gewesen sei und "Nachträge und Zusatzarbeiten" gemäss Ziffer 3 voraussetzen würden, dass sie vorgängig dort schon Arbeiten vorgenommen habe. Entsprechend habe auch das Bezirksgericht Ziffer 3 verstanden.
Das Bezirksgericht habe dann - so die Vorinstanz weiter - die Vorbringen des Beschwerdeführers in der Duplik zur Frage, woer tätig gewesen sei, als unklar bezeichnet. Denn er habe ausgeführt, nicht alle in der Vereinbarung vom 27. Juni 2016 aufgeführten (zulässigen Arbeiten) hätten Los 3 betroffen; die Arbeiten gemäss Ziffer 1 und 2 hätten auch Arbeiten in Los 2 betroffen. Andererseits habe der Beschwerdeführer selber ausgeführt, für die D._ AG nur in Bereichen tätig gewesen zu sein, in welchen die Beschwerdegegnerin gerade nicht tätig gewesen sei. Seine Tätigkeiten hätten mit andern Worten - so das Bezirksgericht - gerade nicht Nachträge und Zusatzarbeiten von Arbeiten betroffen, welche von ihm für die Beschwerdegegnerin oder von der Beschwerdegegnerin selber erbracht worden seien. Da der Beschwerdeführer nach seiner eigenen Darstellung ab Frühling 2017 bis Ende 2017 Garantie- und Gewährleistungsarbeiten in Los 2 erbracht habe, schulde er die vereinbarte Konventionalstrafe, da ihm solche Arbeiten nach dem Konkurrenzverbot gerade verboten gewesen seien.
Die Vorinstanz erwog, das Bezirksgericht sei zu Recht von unklaren Tatsachenbehauptungen des Beschwerdeführers ausgegangen. Dieser habe in der Klageantwort selber vorgetragen, die Beschwerdegegnerin sei ausschliesslich in Los 3 tätig gewesen; dann habe er aber in der Duplik ausgeführt, die Arbeiten gemäss Ziffer 1 und 2 der Vereinbarung vom 27. Juni 2016 hätten keineswegs nur Los 3 betroffen, wobei er im Einzelnen aufgeführt habe, welche der gemäss Ziffer 1 und 2 der Vereinbarung vom 27. Juni 2016 auszuführenden Arbeiten welches Los - vor allem Los 2 und 4 - betroffen hätten. Er habe somit einerseits (Klageantwort) behauptet, die Beschwerdegegnerin sei nur in Los 3 tätig gewesen, und andererseits (Duplik), die Beschwerdegegnerin - bzw. er als ihr Vertreter gemäss Ziffer 1 und 2 der Vereinbarung vom 27. Juni 2016 - hätte auch Arbeiten in den Losen 2 und 4 erledigt. Erst in der Berufungsschrift habe er diesen Widerspruch aufgelöst und präzisiert, die Beschwerdegegnerin sei in der Bauphase noch nicht in den Losen 2 und 4 tätig gewesen; erst nach Abschluss der Bauphase - erstmals im Juli und August 2016 - habe sie durch ihn in Los 2 Arbeiten ausgeführt. Für das Bezirksgericht sei dies aufgrund der erstinstanzlichen Rechtsschriften nicht klar gewesen und der Vorwurf einer aktenwidrigen und damit willkürlichen Feststellung des Sachverhalts sei deshalb unbegründet.
2.2. Selbst wenn - so die Vorinstanz weiter - mit dem Beschwerdeführer davon auszugehen wäre, es sei von ihm im erstinstanzlichen Verfahren unwidersprochen klargemacht worden, dass die Beschwerdegegnerin in einer ersten Phase, der Bauphase, ausschliesslich in Los 3 und dann in einer zweiten Phase im Juli und August 2016 (nach der Bauphase), vertreten durch ihn, mehrheitlich in den Losen 2 und 4 tätig gewesen sei, vermöchte er mit seiner Berufung nicht durchzudringen. Es sei unbestritten, dass es sich bei der streitgegenständlichen Tätigkeit im Jahr 2017 um die Überwachung von Garantie- und Gewährleistungsfällen in Los 2 gehandelt habe. Damit sei aber keineswegs gesagt, dass die vom Beschwerdeführer im Jahr 2017 ausgeführten Arbeiten etwas mit den im Juli und August 2016 gemäss Ziffer 1 und 2 der Vereinbarung vom 27. Juni 2016 ausgeführten Arbeiten zu tun gehabt hätten, ja dass sich die Arbeit im Jahr 2017 sogar ganz direkt auf diejenigen gemäss Ziffer 1 und 2 dieser Vereinbarung bezogen hätten. Die gemäss Ziffer 3 zulässigen Nachträge und Zusatzarbeiten hätten sich nur auf Nachträge und Zusatzarbeiten zu den gemäss Ziffer 1 und 2 ausgeführten Arbeiten beziehen können, sicherlich aber nicht auf Nachträge und Zusatzarbeiten zu sämtlichen Arbeiten, die D._ AG in Los 2 ausgeführt habe. Bei den Nachträgen und Zusatzarbeiten gemäss Ziffer 1 und 2 der Vereinbarung vom 27. Juni 2016 habe es sich um die Begleitung der Inbetriebnahme und des Probebetriebs in Los 2 sowie um die Begleitung der Abnahme in Los 2 gehandelt. Der Beschwerdeführer hätte somit darlegen müssen, dass es sich bei der von ihm im Jahr 2017 ausgeführten Überwachung von Garantie- und Gewährleistungsfällen um Nachträge und Zusatzarbeiten zur Begleitung der Inbetriebnahme, des Probebetriebs und der Abnahme von Los 2 gehandelt habe. Dies habe er aber vor Bezirksgericht nicht geltend gemacht. Zwar bringe er in der Berufung vor, es habe sich bei den im Jahr 2017 ausgeführten Arbeiten um die logische Fortsetzung der Begleitung von Inbetriebnahme, Probebetrieb und Abnahme gehandelt und die Nachträge und Zusatzarbeiten im Jahr 2017 hätten sich auf Arbeiten bezogen, die er im Juli und August 2016 namens der Beschwerdegegnerin ausgeführt habe. Diese Tatsachenbehauptung sei indessen neu und damit gemäss <ref-law> unzulässig.
Das Bezirksgericht sei somit zu Recht davon ausgegangen, der Beschwerdeführer habe mit seinen ab Frühling 2017 bis Ende 2017 für die D._ AG ausgeführten Arbeiten das Konkurrenzverbot verletzt.
3.
Der Beschwerdeführer ficht zu Recht beide Begründungen der Vorinstanz an. Erweist sich auch nur eine davon als rechtsbeständig, ist die Beschwerde abzuweisen (vgl. <ref-ruling> E. 3.2 S. 560 mit Hinweisen).
3.1. Hinsichtlich der zweiten Begründung (E. 2.2 hiervor) bestreitet der Beschwerdeführer nicht, dass die massgeblichen Vorbringen gemäss <ref-law> verspätet wären. Er rügt aber eine willkürliche Tatsachenfeststellung durch die Vorinstanz; denn er habe die entsprechenden Behauptungen bereits in Randziffer 15 der erstinstanzlichen Duplik vorgebracht. Dort führte er aus:
"Z usammengefasst hat der Beklagte wie im Vertrag vom 27. Juni 2016 vereinbart auch nach Kündigung seines Beratervertrages für die Klägerin verschiedene Arbeiten im Projekt E._ AG ausgeführt. Diese Arbeiten waren wie oben gezeigt keineswegs auf Los 3 beschränkt. Wenn in der E-Mail vom 23. Juni 2016 unter Projekt E._ AG in Ziff. 3 die Rede von allfälligen weiteren Nachträgen und Zusatzarbeiten im Neubauprojekt E._ AG die Rede ist, kann sich das logischerweise nur auf die Nachträge und Zusatzarbeiten gemäss Ziff. 1 und 2 beziehen, und diese waren nicht auf Los 3 beschränkt. Die neue Behauptung der Klägerin fällt damit in sich zusammen"; (Herv. beigefügt).
Er habe - so der Beschwerdeführer weiter - in Randziffer 11 ff. der Duplik die in Los 2 vorgenommenen Arbeiten - Begleitung der Inbetriebnahme, des Probebetriebs und der Abnahme von Los 2 - sodann detailliert beschrieben. Indem er in Randziffer 15 dann ausgeführt habe, es müsse sich "logischerweise " so verhalten, dass sich die Rede von "weiteren Nachträgen und Zusatzarbeiten im Neubauprojekt E._ AG" nur auf die Nachträge und Zusatzarbeiten gemäss Ziff. 1 und 2 beziehen könne, habe er "diese Tatsache selbstverständlich auch zu seiner Behauptung erhoben".
3.2. Dem Beschwerdeführer kann nicht gefolgt werden. Es ist bezeichnend, dass er in der Beschwerde seine Ausführungen in Randziffer 15 der Duplik nicht wörtlich zitiert, sondern zur näheren Umschreibung der oben hervorgehobenen Stelle in Klammer ergänzt: "[also die Überwachung der Garantie- und Gewährleistungsfälle im Jahr 2017]". Damit bestätigt er gerade, dass seine Behauptungen in der Duplik für sich genommen nicht klar waren und den Substanziierungsanforderungen nicht genügten. Erst die Umschreibung in Randziffer 25 der Berufung schaffte Klarheit, wo er ausführte:
"Damit sind alle von der Vorinstanz genannten Voraussetzungen dafür, dass das vereinbarte Konkurrenzverbot nicht zur Anwendung kommt, erfüllt. Erstens, die Nachträge und Zusatzarbeiten vom Juli und August 2016 wurden vom Berufungskläger [Beschwerdeführer] im Namen der Berufungsbeklagten [Beschwerdegegnerin] in den Losen 2, 3 und 4 geleistet. Zweitens, die Nachträge und Zusatzarbeiten im Jahre 2017 bezogen sich auf Arbeiten, welche der Berufungskläger vorgängig namens der Berufungsbeklagten (im Juli und August 2016) ausgeführt hatte".
Es ist nicht ersichtlich, weshalb er in dieser Weise nicht bereits im erstinstanzlichen Verfahren substanziierte.
3.3. Für den Fall, dass seine Behauptung als nicht genügend explizit qualifiziert würde, beruft sich der Beschwerdeführer schliesslich auf <ref-law>. Dass es sich bei der Überwachung von Garantie- und Gewährleistungsfällen um logische Folgearbeiten zur Inbetriebnahme, zum Probebetrieb und zur Abnahme eines Bauprojekts handle, sei eine offenkundige Tatsache im Sinn von <ref-law>, die folglich nicht behauptet und bewiesen werden müsse.
Damit überspannt er den Begriff der Notorietät eindeutig. <ref-law> unterscheidet zwischen offenkundigen (oder allgemeinnotorischen) und gerichtsnotorischen Tatsachen. Offenkundig sind Tatsachen, die allgemein, jedenfalls aber am Ort des Gerichts verbreitet bekannt sind. Nicht erforderlich ist, dass die Allgemeinheit die notorische Tatsache unmittelbar kennt; es genügt, wenn sie sich aus allgemein zugänglichen Quellen erschliessen lässt (<ref-ruling> E. 4.1 S. 89 f. mit Hinweis; Urteil 5A_774/2017 vom 12. Februar 2018 E. 4.1.1). Tatsachen, die ein konkretes Bauprojekt betreffen und dessen Kenntnis voraussetzen, sind nicht notorisch.
3.4. Die Beschwerde ist abzuweisen, ohne dass die erste Begründung der Vorinstanz (vgl. hiervor E. 2.1) noch geprüft werden müsste.
4.
Dementsprechend wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 5'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 6'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 26. Mai 2020
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Gross