Sachverhalt:
A.
A.a. Die B._ AG (Beschwerdegegnerin, Beklagte und Widerklägerin) ist eines der grössten deutschen Energieunternehmen mit Sitz in U._. Ihre Hauptbetätigungen liegen in der Erzeugung von Energie, dem Handel und Vertrieb von Strom und Gas sowie in Umweltdienstleistungen.
A._ (Beschwerdeführer, Kläger und Widerbeklagter), von Beruf X._, widmete sich als Unternehmer seit Ende der 80er-Jahre des letzten Jahrhunderts der C._-Technologie, die der Energiegewinnung aus Müll sowie der Müllverwertung dient. Er ist Hauptaktionär der C._ AG und technischer Berater der C._-Gruppe.
Die C._ AG hat ihren Sitz in V._ und wurde im Jahre 1990 als Aktiengesellschaft liechtensteinischen Rechts gegründet. Gesellschaftszweck ist die Forschung und Entwicklung auf dem Gebiete der Umwelttechnologie, die Verwertung von Patenten und Lizenzen auf diesem Gebiete, einschliesslich der thermischen Müllverwertung. Namentlich hält die C._ AG die Patente für das sogenannte C._-Verfahren. Sie verwertet dieses Verfahren über ihre Tochtergesellschaften.
A.b. Am 7. Dezember 1995 schlossen der Kläger als Verkäufer und eine Rechtsvorgängerin der Beklagten, die D._ AG,als Käuferin einen "Vertrag über Verkauf und Übertragung von Aktien der C._ AG, V._" (nachfolgend: Aktienkaufvertrag). Der Vertrag wurde dem Schweizerischen Recht unterstellt. Der Kläger verkaufte der Beklagten 1'506 Inhaberaktien der C._ AG im Nennwert von Fr. 1'506'000.--, was einer Beteiligung von 25.1 % an der C._ AG entsprach (§ 2 Abs. 1 des Aktienkaufvertrags).
Als Unternehmenswert wurde im Aktienkaufvertrag der Ertragswert ausgehend von einem Betrachtungszeitraum von zehn Jahren ab dem Bewertungsstichtag und bei einem Kapitalisierungszinsfuss von 11 % festgelegt. Bereits im Vorfeld des Vertragsschlusses hatte die Käuferin dem Kläger eine Anzahlung von DEM 50 Mio. an den Kaufpreis geleistet.
Am Bewertungsstichtag vom 1. Januar 1999 war eine erste kommerzielle C._-Anlage in U._ weitgehend fertiggestellt.
B.
Von 2005 bis 2011 führten die Parteien (mit umgekehrten Parteirollen) vor den Gerichten des Kantons Zürich einen ersten Prozess über Ansprüche aus dem Aktienkaufvertrag. Die heutige Beklagte (und damalige Klägerin) machte geltend, sie sei zum Rücktritt vom Aktienkaufvertrag berechtigt und die Anzahlung von DEM 50 Mio. sei ihr zurückzuerstatten. Der heutige Kläger (und damalige Beklagte) erhob Widerklage. Mit Rückweisungsbeschluss vom 12. April 2011 hob das Obergericht des Kantons Zürich das erstinstanzliche Urteil auf, soweit es (in Bezug auf die Widerklage) noch nicht in Rechtskraft erwachsen war, und wies die Sache zur Ergänzung des Verfahrens und zu neuem Entscheid an das Bezirksgericht Zürich zurück.
Mit Urteil vom 16. Dezember 2011 (4A_307/2011) stellte das Bundesgericht fest, das Obergericht sei zu Recht davon ausgegangen, dass der damaligen Klägerin kein Rücktrittsrecht vom Aktienkaufvertrag zustand, womit auch der Anspruch auf Rückzahlung der Anzahlung von DEM 50 Mio. entfalle (E. 3). Sodann wurde die vom Obergericht angeordnete Rückweisung zur gutachterlichen Abklärung des Unternehmenswerts wegen Verletzung der Dispositionsmaxime aufgehoben, da die damalige Klägerin einzig eine Rückabwicklung des Aktienkaufvertrages Zug-um-Zug beantragt habe, jedoch nicht einen (noch zu prüfenden) Anspruch auf Rückforderung einer Differenz zwischen der Anzahlung und dem effektiven Kaufpreis (E. 2).
C.
C.a. Mit Klage vom 6. Juli 2012 beim Bezirksgericht Zürich, welche im Laufe des Verfahrens ergänzt wurde, beantragte der Kläger, die Beklagte sei kostenfällig zu verpflichten, ihm einen nach Durchführung des Beweisverfahrens zu beziffernden Betrag zuzüglich Zins zu 5 % seit 5. November 2003 zu bezahlen; eventualiter einen Betrag von EUR 71'580'863.-- unter Vorbehalt des Nachklagerechts. Das Bezirksgericht holte ein Gutachten zum Unternehmenswert (nachfolgend: Gutachten) ein. In der Folge bezifferte der Kläger seinen Anspruch und beantragte, die Beklagte sei kostenfällig zu verpflichten, ihm EUR 110'212'145.--, eventualiter CHF 132'372'706.-- zuzüglich Zins zu 5 % seit 5. November 2003 zu bezahlen.
Mit Widerklage beantragte die Beklagte, der Kläger sei kostenfällig zu verpflichten, ihr EUR 25'564'500.-- zuzüglich 5 % Zins seit 2. August 2004 zu bezahlen.
Das Bezirksgericht Zürich wies mit Urteil vom 12. September 2016 die Widerklage ab und verpflichtete die Beklagte in teilweiser Gutheissung der Klage, dem Kläger EUR 8'951'793.-- zuzüglich Zins von 5 % seit 29. Februar 2016 zu bezahlen. Es errechnete gestützt auf das gerichtliche Gutachten einen massgeblichen Unternehmenswert der C._ AG von rund Fr. 220 Mio. und einen Kaufpreis - entsprechend 25,1 % des Unternehmenswerts - von rund Fr. 55,3 Mio. Nach Abzug der Anzahlung von DEM 50 Mio. und der Umrechnung der Differenz in Euro ergab sich der zugesprochene Betrag.
C.b. Mit Beschluss vom 22. September 2017 schützte das Obergericht des Kantons Zürich die Berufung der Beklagten. Es hob das Urteil des Bezirksgerichts vom 12. September 2016 auf und wies die Sache zur Ergänzung des Verfahrens und neuer Entscheidung an die Erstinstanz zurück.
Es erwog, das Gutachten gehe davon aus, dass im 10jährigen Bewertungszeitraum 20,55 neue Anlagen in Europa und 5,18 neue Anlagen in der übrigen Welt mit einer durchschnittlichen Kapazität von 150'000 t/a (Jahrestonnen) installiert würden. Pro Anlage gehe das Gutachten von einem Anlagepreis von rund Fr. 160 Mio. für eine Anlage mit zwei Bedienungslinien und einer Kapazität von 200'000 t/a aus, was bei 25,74 verkauften Anlagen zu einem Umsatz von Fr. 4,1 Mrd. führe. Darin, dass für die Berechnung der Anzahl Anlagen - d.h. des Marktpotentials der C._ AG - auf eine Kapazität von 150'000 t/a abgestellt wurde, bei der Höhe des Anlagepreises aber auf eine höhere Kapazität von 200'000 t/a, erkannte das Obergericht einen Widerspruch, weshalb dem Gutachten nicht ohne weiteres gefolgt werden könne. Aufgrund des Gutachtens sei davon auszugehen, dass das Marktbedürfnis bei Anlagen mit einer Kapazität von 200'000 t/a liege. Das führe aufgrund der übrigen Angaben des Gutachtens zu 19,3 (statt 25,74) Anlagen weltweit. Das Obergericht bestätigte sodann den vom Gutachten angenommenen Preis von Fr. 160 Mio. pro Anlage, woraus ein Umsatz aus Anlageverkauf von Fr. 3,088 Mrd. resultiere.
Das Obergericht erachtete sodann auch die im Gutachten angenommene Bruttogewinnmarge von 20 % nicht als schlüssig. Vielmehr sei für die Ermittlung der Herstellungskosten - und damit der Bruttogewinnmarge - von den Herstellungskosten der C._-Anlage in U._ auszugehen, die im Bewertungszeitpunkt am 1. Januar 1999 (zumindest) beinahe fertiggestellt gewesen sei. Der Gutachter habe nicht auf die Kosten der U._ Anlage abgestellt, weil er diese aufgrund fehlender Unterlagen nicht (vollumfänglich) habe bestimmen können. Mit den von der Beklagten beantragten Beweismitteln seien diese Kosten aber (allenfalls) bestimmbar. Das betreffe insbesondere erst im Jahr 1999 verbuchte, aber im Jahr 1998 angefallene Kosten und die Frage, ob diese Kosten zu den Herstellungskosten der Anlage als solcher gehörten oder ob es sich um Zusatzaufträge handle. Weiter zu berücksichtigen seien später verrechnete, aber am Stichtag nach der Behauptung der Beklagten bekannte Leistungen.
Entsprechend wies es die Sache zur Ergänzung des Beweisverfahrens an die Erstinstanz zurück.
Mit der Erstinstanz ging das Obergericht schliesslich davon aus, der Aktienkaufvertrag sei so auszulegen, dass nach Ablauf der 10jährigen Bewertungsperiode kein Residualwert zu berücksichtigen sei.
D.
Mit Beschwerde in Zivilsachen beantragt der Kläger dem Bundesgericht, der Beschluss des Obergerichts des Kantons Zürich vom 22. September 2017 sei kostenfällig aufzuheben und es sei in teilweiser Gutheissung der Klage die Beschwerdegegnerin zu verpflichten, ihm EUR 8'951'793.-- zuzüglich Zins zu 5 % seit 29. Februar 2016 zu bezahlen, und es sei die Widerklage abzuweisen.
Die Beschwerdegegnerin trägt auf kostenfällige Abweisung der Beschwerde an, soweit darauf einzutreten ist. Der Beschwerdeführer hat eine Replik eingereicht, während die Vorinstanz auf eine Vernehmlassung verzichtet hat.
Mit Präsidialverfügung vom 23. November 2017 wurde der Beschwerde die aufschiebende Wirkung erteilt.
Erwägungen:
1.
Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (Art. 29 Abs. 1 BGG; BGE 141 III 395 E. 2.1 S. 397).
2.
Der angefochtene Rückweisungsbeschluss schliesst das Verfahren weder ganz noch teilweise ab, sondern ist als Vor- oder Zwischenentscheid zu qualifizieren. Da er weder die Zuständigkeit noch den Ausstand zum Gegenstand hat, ist die Beschwerde dagegen nach Art. 93 BGG nur zulässig, wenn er entwedereinen nicht wieder gutzumachenden Nachteil bewirken kann (Abs. 1 lit. a) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (Abs. 1 lit. b). Es obliegt dem Beschwerdeführer, darzutun, dass die Voraussetzungen von Art. 93 BGG erfüllt sind, soweit deren Vorliegen nicht offensichtlich in die Augen springt (BGE 138 III 46 E. 1.2 S. 47 mit Hinweisen).
3.
Der Beschwerdeführer beruft sich in erster Linie darauf, Art. 93 BGG käme bei Rückweisungsentscheiden gemäss Rechtsprechung nicht zur Anwendung, wenn der unteren Instanz, an welche die Sache zurückgewiesen wird, kein erheblicher Entscheidungsspielraum mehr verbleibt, die Rückweisung mithin nur noch der Umsetzung des oberinstanzlich Angeordneten dient. Ein solcher Fall liege hier vor.
Es trifft zwar zu, dass in der bisherigen bundesgerichtlichen Rechtsprechung jeweils die Möglichkeit erwähnt wurde, dass Rückweisungsentscheide ausnahmsweise unter dem Titel von Art. 90 BGG anfechtbar sind, wenn der Erstinstanz kein Entscheidungsspielraum mehr verbleibt. In einem Grundsatzurteil hat die I. zivilrechtliche Abteilung jüngst allerdings klargestellt, dass in einem der ZPO unterstehenden Zivilprozess kein Raum für diese Ausnahme besteht, weshalb Rückweisungsentscheide der oberen kantonalen Gerichte generell als Vor- oder Zwischenentscheide zu qualifizieren sind, die nur unter den Voraussetzungen von Art. 92 f. BGG direkt beim Bundesgericht angefochten werden können (Urteil 4A_461/2017 vom 26. März 2018 E. 1.4, zur Publikation vorgesehen). Dass die dortigen Erwägungen zutreffen, bestätigt sich auch in vorliegendem Fall, verbleibt doch der Erstinstanz jedenfalls ein beschränkter Entscheidungsspielraum. Der beanstandete Rückweisungsentscheid ist also als Vor- oder Zwischenentscheid zu qualifizieren, der nur unter den entsprechenden Voraussetzungen sogleich beim Bundesgericht angefochten werden kann.
4.
In zweiter Linie macht der Beschwerdeführer geltend, dass die Voraussetzungen von Art. 93 Abs. 1 lit. b BGG erfüllt sind.
4.1. Zutreffend ist, dass mit der Gutheissung der Beschwerde ein Endentscheid herbeigeführt werden könnte. Zu prüfen bleibt die zweite Voraussetzung von Art. 93 Abs. 1 lit. b BGG. Der Beschwerdeführer macht geltend, das im Rahmen der Rückweisung durchzuführende Beweisverfahren hätte sehr grossen Aufwand an Zeit und Kosten zur Folge. Die Beweismassnahmen würden die Ermittlung der Herstellungskosten einer komplexen verfahrenstechnischen Grossanlage betreffen, die vor rund 20 Jahren in Deutschland errichtet worden sei. Da es sich bei den in U._ angefallenen Kosten auch um Weiterentwicklungskosten der neuartigen Technologie und Kosten aus vermeidbaren Fehlern der Beschwerdegegnerin gehandelt habe, sei zudem bereits heute absehbar, dass die zur Berechnung relevanten, reinen Herstellungskosten gar nicht mehr zuverlässig ermittelt werden könnten. Er verweist zudem auf eine Stelle in seiner Beschwerde, an der er ausführt, es müsste - wenn schon - entweder eine Ergänzung des bestehenden Gutachtens angeordnet oder ein neues Gutachten eingeholt anstatt diese Herstellungskosten ermittelt werden.
Zusätzlich erschwert werde die von der Vorinstanz angeordnete Beweismassnahme dadurch, dass über die C._ SA (d.h. über jene Tochtergesellschaft, welche diese Anlage damals gestützt auf einen mit der Beschwerdegegnerin abgeschlossenen Werkvertrag errichtet hatte), im Jahr 2009 der Konkurs eröffnet worden sei. Auch deshalb könnten die Herstellungskosten heute gar nicht mehr ermittelt werden.
4.2. Im Grundsatz gilt, dass sich das Bundesgericht nur einmal mit der Streitsache befassen soll und die Beschwerde erst im Anschluss an den Endentscheid zulässig ist (Art. 90 BGG). Die Ausnahme von Art. 93 Abs. 1 lit. b BGG wird daher einschränkend verstanden. So wird berücksichtigt, dass jede Instruktion einer Streitsache mit Aufwand verbunden ist und ein Beweisverfahren, das den üblichen Rahmen nicht sprengt, die gesonderte Anrufung des Bundesgerichtes nicht rechtfertigt. Die Voraussetzung von Art. 93 Abs. 1 lit. b BGG ist etwa dann nicht erfüllt, wenn sich das Beweisverfahren auf die Befragung der Parteien, die Würdigung der eingereichten Unterlagen und die Befragung von wenigen Zeugen beschränkt oder auch eine nicht übermässig aufwendige Expertise umfasst (BGE 138 III 46 E. 1.2 S. 48 in fine; Urteil 2C_814/2012 vom 7. Mai 2013 E. 3.3 mit Hinweisen). Dagegen ist die zweite Voraussetzung von Art. 93 Abs. 1 lit. b BGG etwa bejaht worden, wenn Zeugen im entfernten Ausland hätten befragt werden müssen (Urteil 4A_103/2013 vom 11. September 2013 E. 1.1.3, nicht publ. in: BGE 139 III 411) oder wenn eine oder mehrere Expertisen zu komplexen Sachverhaltsfragen, namentlich mit weiteren Zeugenbefragungen im Ausland, erforderlich waren (Urteile 4A_484/2014 vom 3. Februar 2015 E. 1.2 und 1.4; 4A_210/2010 vom 1. Oktober 2010 E. 3.3.2.1, nicht publ. in: BGE 136 III 502).
4.3. Mit seinen Vorbringen legt der Beschwerdeführer nicht dar, inwiefern das Beweisverfahren einen besonders grossen Aufwand an Zeit oder Kosten im Sinn der zitierten Rechtsprechung verursachen soll. Es ist zu berücksichtigen, dass sich der gerichtliche Gutachter bereits mit der Materie befasste. Die Vorinstanz ging denn auch davon aus, diesem könnten allenfalls Ergänzungsfragen gestellt werden. Der Beschwerdeführer begründet nicht, weshalb ein neues Gutachten nötig sein könnte. Vielmehr spricht er selber auch von einem Ergänzungsgutachten. Insofern unterscheidet sich die heute zu beurteilende Situation auch von derjenigen im Verfahren 4A_307/2011, wo noch die gesamte Begutachtung des Unternehmenswerts zur Diskussion stand.
Dass sich die Edition der Unterlagen schwierig gestalten kann bzw. allenfalls unmöglich sein wird, nimmt die Vorinstanz selber an. Es ist aber nicht ersichtlich und auch der Beschwerdeführer legt nicht weiter dar, dass die Beschaffung der Unterlagen zeitlich oder kostenmässig besonders aufwendig sein soll. Sollten die Unterlagen nicht beschafft und gestützt darauf die tatsächlichen Herstellungskosten bestimmt werden können, hat die Vorinstanz wie bereits erwähnt in Erwägung gezogen, dass der Gutachter die von ihm ermittelte Bruttogewinnmarge von 20 % im Hinblick auf deren Branchenüblichkeit diskutiert. Auch diesbezüglich ist weder ersichtlich noch begründet der Beschwerdeführer, dass diese allfällige Gutachtensergänzung besonders aufwendig sein sollte.
Die Kritik des Beschwerdeführers an den angeordneten Beweismassnahmen geht im Kern dahin, dass - auch wenn die tatsächlichen Kosten für das Werk in U._ ermittelt werden könnten - diese nicht aussagekräftig wären im Hinblick auf die Bestimmung der Herstellungskosten künftiger Werke, weil beim ersten Werk immer ein "Lehrgeld" zu bezahlen ist. Damit kritisiert er die inhaltliche Richtigkeit der angeordneten Beweismassnahmen; er begründet damit aber nicht deren besondere Aufwändigkeit.
5.
Auf die Beschwerde ist nicht einzutreten. Dem Ausgang des Verfahrens gemäss wird der Beschwerdeführer kosten- und entschädigungspflichtig (A rt. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 10'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 12'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 12. April 2018
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Lüthi