Sachverhalt:
A.
A.a. A._ (Anwalt, Beklagter, Widerkläger, Beschwerdeführer) reichte am 8. Juni 2007 im Namen von B._ (Klägerin, Widerbeklagte, Beschwerdegegnerin) beim Bezirksgericht Zürich gegen C._ Klage auf Zahlung von EUR 790'630.74 abzüglich USD 269'488.65 zuzüglich Zins ein. In diesem Rechtsstreit ging es um den Pfandausfall, den die Klägerin aus der Sicherstellung eines Bankkredites für C._ erlitten hatte.
A.b. Am 24. August 2009 legte der Anwalt sein Mandat nieder. Für seine anwaltliche Tätigkeit hatte er zwischen dem 5. Mai 2006 und dem 27. August 2009 13 Rechnungen gestellt im Gesamtbetrag von Fr. 207'867.40, welche die Klägerin bezahlt hatte. Am 18. Dezember 2009 gelangte die Klägerin an die Honorarkommission des Zürcher Anwaltsverbands mit dem Ersuchen, die Honorarrechnungen zu überprüfen. Die Kommission gelangte am 9. Dezember 2011 zum Ergebnis, dass sich eine Reduktion in Höhe von Fr. 65'629.60 rechtfertigte, wobei sie jede einzelne Rechnung kommentierte. Sie empfahl den Parteien den Abschluss eines Vergleichs auf dieser Basis, der nicht zustande kam.
A.c. Am 15. Oktober 2012 gelangte die Klägerin gestützt auf eine Klagebewilligung vom 14. Juni 2012 an das Bezirksgericht Zürich mit dem Rechtsbegehren, der Beklagte sei im Sinne einer Teilklage und unter Vorbehalt der Nachklage zu verpflichten, ihr Fr. 65'629.60 zuzüglich 5 % Zins seit 31. Januar 2012 zu bezahlen.
Der Beklagte erhob Widerklage auf Feststellung, dass er der Klägerin nichts schulde.
A.c.a. Mit Urteil vom 12. Dezember 2014 verpflichtete das Bezirksgericht Zürich den Beklagten, der Klägerin Fr. 65'629.60 zuzüglich Zins von 5 % seit 31. Januar 2012 zu bezahlen. Die Widerklage wies es ab. Der Beklagte gelangte mit Berufung an das Obergericht des Kantons Zürich.
A.c.b. Das Obergericht des Kantons Zürich bestätigte mit Urteil vom 23. Oktober 2015 die Verpflichtung des Beklagten, der Klägerin Fr. 65'629.60 nebst Zins zu bezahlen. Die Abweisung der Widerklage hob das Gericht auf und wies die Sache an das Bezirksgericht Zürich zur weiteren Prüfung und zum Entscheid über die Widerklage zurück.
A.c.c. Das Bundesgericht wies mit Urteil vom 30. März 2016 die Beschwerde des Beklagten gegen das Obergerichtsurteil vom 23. Oktober 2015 ab, soweit es darauf eintrat. Das Bundesgericht bestätigte in Erwägung 4 dieses Urteils insbesondere die Verpflichtung des Beklagten zur Zahlung von Fr. 65'629.60 nebst Zins.
A.c.d. Ein Revisionsgesuch des Beklagten gegen das Urteil des Bundesgerichts wurde am 20. Juni 2016 abgewiesen.
A.d. Mit der Widerklage verlangt der Beklagte die Feststellung, dass er der Klägerin aus Honorar-Rückforderung nichts schulde. Mit Urteil vom 1. November 2016 hiess das Bezirksgericht des Kantons Zürich die Widerklage des Beklagten teilweise gut und stellte fest, dass der Beklagte der Klägerin vom gesamthaft noch strittigen Betrag aus dem Mandatsverhältnis von Fr. 90'015.15 den Betrag von Fr. 32'253.75 nicht schulde. Im Übrigen wurde die Widerklage abgewiesen.
A.e. Der Beklagte gelangte an das Obergericht des Kantons Zürich mit den Anträgen, (1) die Klage sei abzuweisen und (2) es sei widerklageweise festzustellen, dass er der Klägerin nichts schulde.
B.
B.a. Mit Beschluss und Urteil vom 9. Oktober 2017 entschied das Obergericht des Kantons Zürich wie folgt:
Es beschloss:
"1. Die Eingabe des Beklagten vom 18. September 2017 (Urk. 166) wird zusammen mit ihren Beilagen (Urk. 167 und 168/1-11) aus dem Recht gewiesen.
2. Auf den Berufungsantrag Ziffer 1 des Beklagten wird nicht eingetreten.
3. Auf den Antrag des Beklagten, es sei das Urteil des Bezirksgerichts Z ürich vom 12. Dezember 2014 aufzuheben, wird nicht eingetreten.
4. Bezüglich der negativen Feststellungsklage (Fr. 98'921.75) wird
a) das Verfahren bezüglich eines Betrages von Fr. 8'906.60 abgeschrieben;
b) vorgemerkt, dass die teilweise Gutheissung der Widerklage durch das Urteil der Vorinstanz vom 1. November 2016 (Dispositiv-Ziff. 1, Satz 1; Fr. 32'253.75) am 30. März 2017 in Rechtskraft erwachsen ist."
Es erkannte:
"1. In weiterer teilweiser Gutheissung der negativen Feststellungswiderklage wird festgestellt, dass der Beklagte der Klägerin einen weiteren Betrag von Fr. 50'001.00 nicht schuldet. Bezüglich eines Betrages von Fr. 7'760.40 wird die negative Feststellungswiderklage abgewiesen."
Das Obergericht verteilte sodann die Gerichtskosten beider erstinstanzlicher und beider Berufungsverfahren auf der Grundlage des Obsiegens bzw. Unterliegens der Parteien sowohl in Bezug auf die Hauptklage wie in Bezug auf die Widerklage.
B.b. Mit Beschwerde in Zivilsachen vom 20. November 2017 stellt der Beklagte / Widerkläger die Rechtsbegehren, (1) die Klage sei abzuweisen und (2) es sei widerklageweise festzustellen, dass er der Beschwerdegegnerin nichts schulde. Er rügt, die Vorinstanz habe seinen Anspruch auf rechtliches Gehör verletzt, weil sie wegen Verspätung auf seine Argumente nicht eingetreten sei, dass der Anwaltsvertrag und das erste Bezirksgerichtsurteil vom 12. Dezember 2014 nichtig seien. Er bringt vor, der Spruchkörper des Bezirksgerichts Zürich sei verfassungswidrig zusammengesetzt gewesen und der Anwaltsvertrag sei nichtig, weil ihn die Beschwerdegegnerin belogen und ihm erklärt habe, sie sei vom damaligen Beklagten C._ nicht informiert worden. Ausserdem rügt er eine Verletzung der Dispositionsmaxime.
B.c. Vernehmlassungen wurden keine eingeholt.
B.d. Das Obergericht des Kantons Zürich reichte die Akten ein.
Erwägungen:
1.
Das Bundesgericht prüft von Amtes wegen, ob auf ein Rechtsmittel eingetreten werden kann.
1.1. Die Beschwerde betrifft eine Zivilrechtsstreitigkeit (Art. 72 BGG) und richtet sich gegen einen Endentscheid (Art. 90 BGG) eines oberen kantonalen Gerichts, das als Rechtsmittelinstanz entschieden hat (Art. 75 BGG).
1.2. Rechtsschriften haben insbesondere die Begehren und deren Begründung zu enthalten (Art. 42 Abs. 1 BGG).
1.2.1. Der Beschwerdeführer beantragt die Abweisung der Klage und die Gutheissung seiner Widerklage auf Feststellung, dass er der Beschwerdegegnerin (aus dem Anwaltsmandat) nichts schulde. Er begründet dies mit der Behauptung, sowohl der Anwaltsvertrag wie sämtliche bisher ergangene Urteile seien nichtig.
1.2.2. Die Begründung muss aus rechtlicher Sicht schlüssig sein, d.h. wenn der Rechtsstandpunkt des Beschwerdeführers zutrifft, müssen seine Rechtsbegehren gutgeheissen werden können. Trifft indes der Rechtsstandpunkt des Beschwerdeführers zu, dass sowohl der Vertrag wie alle bisher ergangenen Urteile nichtig sind, so kann dies weder zum Ergebnis führen, dass die Klage abzuweisen, noch dass die Widerklage gutzuheissen ist. Vielmehr ergäbe sich aus diesem Rechtsstandpunkt die Feststellung, dass weder die Klage noch die Widerklage gerichtlich beurteilt ist.
1.2.3. Ein gehörig begründetes Rechtsbegehren liegt nicht vor. Sinngemäss verlangt der Beschwerdeführer in der Begründung die Feststellung, dass kein Gerichtsurteil über die Forderungen der Klägerin gegen ihn vorliegt. Das formell gestellte Rechtsbegehren kann von vornherein nicht gutgeheissen werden, da dafür jede einschlägige Begründung fehlt. Auf dieses formelle Rechtsbegehren ist daher nicht einzutreten.
1.3. Ob der Beschwerdeführer mit seiner Rechtsschrift tatsächlich im Sinne der Begründung erreichen will, dass sämtliche bisher ergangenen Urteile für nichtig erklärt werden, erscheint fraglich. Denn daran ist ein schutzwürdiges Interesse kaum ersichtlich.
1.3.1. Ein Rechtsschutzinteresse an der vollständigen Beseitigung des angefochtenen Entscheides besteht von vornherein insoweit nicht, als in Ziffer 4 des angefochtenen Beschlusses festgestellt wird, dass der Beschwerdeführer mit seiner Widerklage vor erster Instanz teilweise obsiegt hat und insoweit, als die Vorinstanz in Ziffer 1 des angefochtenen Urteils die Widerklage teilweise gutheisst.
1.3.2. Kaum nachvollziehbar ist sodann, welchen Nutzen der Beschwerdeführer davon haben könnte, dass der Anwaltsvertrag nichtig erklärt werde. Denn der Beschwerdeführer führt aus, er habe vor Vorinstanz dargelegt, dass "die Rückabwicklung nach den Grundsätzen eines nichtigen Vertrages zu erfolgen hat, nämlich Vindikation bzw. Kondiktion". Nachdem die Beschwerdegegnerin in der vorliegenden Streitsache einen Teil des Betrags von Fr. 207'867.40 zurückfordert, den sie dem Beschwerdeführer im Rahmen des Anwaltsmandats bezahlt hat, ist nicht erkennbar, welches Rechtsschutzinteresse der Beschwerdeführer daran haben könnte, ihr im Rahmen einer Kondiktion den gesamten aufgrund des Vertrages bezahlten Betrag zurückzuerstatten. Auf die Begründung, der Anwaltsvertrag sei nichtig, ist daher nicht einzugehen.
1.4. Ob auf die Beschwerde mit dem sinngemässen Antrag einzutreten ist, die Nichtigkeit sämtlicher bisheriger Entscheide sei festzustellen, erscheint zweifelhaft, kann jedoch offen bleiben, da die Beschwerde jedenfalls unbegründet wäre.
2.
Die Vorinstanz hat festgestellt, dass die Hauptklage mit Teilurteil rechtskräftig entschieden und der Beschwerdeführer somit verpflichtet worden ist, der Beschwerdegegnerin Fr. 65'629.60 nebst Zins zu bezahlen. Sie hat die Aufhebung dieses rechtskräftigen Teilurteils ebenso wie sämtlicher Urteile in Bezug auf die Widerklage des Beschwerdeführers wegen angeblicher Nichtigkeit abgelehnt.
2.1. Nichtig ist ein behördlicher Entscheid nur ausnahmsweise dann, wenn der ihm anhaftende Mangel besonders schwer und offensichtlich oder zumindest leicht erkennbar ist und die Rechtssicherheit durch die Annahme der Nichtigkeit nicht ernsthaft gefährdet wird. Als Nichtigkeitsgrund fallen hauptsächlich funktionelle und sachliche Unzuständigkeit einer Behörde sowie schwerwiegende Verfahrensfehler in Betracht (BGE 139 II 243 E. 11.2 S. 260, 132 II 21 E. 3.1 S. 27 mit Hinweisen). Ein schwerwiegender Verfahrensfehler ist entgegen der Ansicht des Beschwerdeführers nicht schon darin zu sehen, dass das zuständige Gericht den Parteien nicht von sich aus mitteilt, dass und aus welchen Gründen ein Wechsel im Spruchkörper vorgenommen wurde, wie er unter Verweis auf BGE 142 I 93 vorbringt. Dieser Verfahrensmangel ist vielmehr innert der Rechtsmittelfrist mit Rechtsmittel geltend zu machen, woran die formelle Natur des Anspruch auf gehörige Besetzung des Gerichts nichts ändert. Entgegen der Ansicht des Beschwerdeführers kann zudem ein Ausstandsgrund nur gegen einzelne Gerichtsmitglieder vorgebracht werden, wobei nach dem Grundsatz von Treu und Glauben und dem Verbot des Rechtsmissbrauchs nicht zulässig ist, formelle Rügen, die in einem früheren Prozessstadium hätten geltend gemacht werden können, bei ungünstigem Ausgang noch später vorzubringen (BGE 135 III 334 E. 2.2 S. 336; 134 I 20 E. 4.3.1 S. 21; 132 II 485 E. 4.3 S. 496; 130 III 66 E. 4.3 S. 75).
2.2. Nach dem angefochtenen Entscheid hat der Beschwerdeführer Gelegenheit erhalten, zum Wechsel des Spruchkörpers in der ersten Instanz Stellung zu nehmen. Es wird im angefochtenen Urteil nicht festgestellt, dass er konkrete Ausstandsgründe gegen eine bestimmte Richterin oder einen bestimmten Richter vorgebracht hätte, welche an der Entscheidung mitgewirkt haben. Dass der Beschwerdeführer im Übrigen das Thema der Befangenheit nach dem ersten Rückweisungsbeschluss des Obergerichts vom 23. Oktober 2015 nicht weiterverfolgt habe, bemerkt er selbst. Das hätte er aber entgegen seiner Ansicht nach Treu und Glauben bei Verwirkungsfolge tun müssen; ob die von ihm für die Ablehnung angeführten Gründe tatsächlich objektiv den Ausstand begründen, ist entgegen seiner sinngemässen Ansicht vom zuständigen Gericht zu prüfen. Es kann daher nicht ohne weiteres geschlossen werden, dass eine Gerichtsperson wegen der vom Beschwerdeführer allenfalls vorgebrachten Gründe auch von sich aus in den Ausstand zu treten hat. Die vom Beschwerdeführer in der Beschwerde angeführten, rein formellen organisatorischen Gründe vermögen jedenfalls klarerweise keine Nichtigkeit zu begründen.
3.
Soweit der Beschwerdeführer eine Verletzung der Dispositionsmaxime geltend macht mit der Begründung, seine Widerklage auf Feststellung, dass er der Beschwerdegegnerin nichts schulde, könne sich nur auf förmlich eingeklagte Forderungen beziehen, verkennt er wiederum die Rechtsfolge seines Standpunkts: Hätte sich seine Widerklage tatsächlich nur auf die von der Gegenpartei förmlich anhängig gemachte Leistungsklage bezogen, hätte ihm das Rechtsschutzinteresse gefehlt. Denn er hätte mit der negativen Feststellungswiderklage nicht mehr erreichen können, als mit der Abweisung der Hauptklage. Es wäre daher - würde sein Rechtsstandpunkt zutreffen - auf seine Widerklage nicht einzutreten gewesen.
4.
Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Die Gerichtskosten sind bei diesem Verfahrensausgang dem Beschwerdeführer zu auferlegen (Art. 66 Abs. 1 BGG). Da keine Vernehmlassung eingeholt wurde, sind der Gegenpartei keine Parteikosten entstanden (Art. 68 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Es wird keine Parteientschädigung zugesp rochen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 3. Januar 2018
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Die Gerichtsschreiberin: Marti-Schreier