Sachverhalt:
A.
Die A._ AG (Klägerin, Beschwerdegegnerin) mit Sitz in Zürich ist im Bereich der Softwareherstellung und EDV-Beratung tätig. Sie ist aus Fusionen hervorgegangen. B._ (Beklagter, Beschwerdeführer) und C._ (Mitbeklagter) waren Hauptaktionäre und Verwaltungsräte der Klägerin respektive ihrer Rechtsvorgängerinnen. Die Klägerin wirft den beiden im Wesentlichen vor, sie hätten in den Jahren 2000 bis Anfang 2004 als Verwaltungsräte auf Geschäftskosten ungerechtfertigte, d.h. nicht geschäftsbezogene und nicht im Interesse der Klägerin stehende Auslagen getätigt, veranlasst oder geduldet.
B.
B.a. Am 24. November 2008 reichte die A._ AG beim Bezirksgericht Zürich gegen B._ und C._ Klage ein. Sie beantragte deren solidarische Verurteilung zur Zahlung von Fr. 2'049'224.70 nebst Zins zu 5 % seit 25. Juni 2004, unter dem Vorbehalt der Nachklage. Mit ihrer Klage machte sie primär Schadenersatzansprüche aus aktienrechtlicher Verantwortlichkeit geltend. Darüber hinaus forderte sie einen "Kontokorrentsaldo" über Fr. 77'085.--. Mit Beschluss vom 9. Februar 2011 wurde der Prozess in Bezug auf C._ als durch Vergleich erledigt abgeschrieben. Der im Prozess verbliebene Beklagte bestritt eine Haftung und erhob verschiedene Einreden und Einwendungen (Verjährung, Genehmigung, Décharge, Verrechnung). Auch die Forderung aus "Kontokorrentsaldo" bestritt er. Mit Entscheid vom 31. Januar 2013 wies das Bezirksgericht die Klage ab.
Die dagegen erhobene Berufung der Klägerin wies das Obergericht des Kantons Zürich am 5. Februar 2014 in Bestätigung des Urteils des Bezirksgerichts ab.
B.b. Die Klägerin focht das Urteil des Obergerichts mit Beschwerde in Zivilsachen beim Bundesgericht an. Dieses befand die Beschwerde für unbegründet, soweit sie sich gegen die Abweisung der auf aktienrechtliche Verantwortlichkeit gestützten Klage richtete, hingegen für begründet, soweit sie die eingeklagte Forderung von Fr. 77'085.-- betraf. Mit Urteil vom 5. August 2014 hiess das Bundesgericht demnach die Beschwerde teilweise gut, hob das Urteil des Obergerichts vom 5. Februar 2014 auf und wies die Sache zur Neubeurteilung im Sinne der bundesgerichtlichen Erwägungen (Forderung von Fr. 77'085.--) an die Vorinstanz zurück. Im Übrigen wies es die Beschwerde ab (Verfahren 4A_155/2014).
B.c. Daraufhin fällte das Obergericht am 29. September 2014 sein neues Urteil: In teilweiser Gutheissung der Berufung der Klägerin hob es das Urteil des Bezirksgerichts Zürich vom 31. Januar 2013 auf und verpflichtete den Beklagten, der Klägerin Fr. 77'085.-- zu bezahlen (Dispositiv-Ziffer 1 Absatz 1). Im Übrigen wies es Klage und Berufung ab (Dispositiv-Ziffer 1 Absatz 2). Die Gerichtskosten beider Instanzen auferlegte es zu 96 % der Klägerin und zu 4 % dem Beklagten (Dispositiv-Ziffer 4).
C.
Der Beklagte beantragt dem Bundesgericht mit Beschwerde in Zivilsachen, Dispositiv-Ziffer 1 Absatz 1 und Dispositiv-Ziffer 4 des Urteils des Obergerichts vom 29. September 2014 seien aufzuheben. Die Forderung der Klägerin über Fr. 77'085.-- sei abzuweisen, und die Gerichtskosten beider Instanzen seien zu 100 % der Klägerin aufzuerlegen. Eventualiter sei die Angelegenheit zur Neubeurteilung an das Obergericht zurückzuweisen.
Die Klägerin beantragt unter Verzicht auf eine Vernehmlassung sowie Verweis auf das angefochtene Urteil, die Beschwerde abzuweisen, soweit darauf eingetreten werden könne. Die Vorinstanz verzichtete auf eine Vernehmlassung.

Erwägungen:
1.
Im Streit steht einzig noch die Forderung aus "Kontokorrent" über Fr. 77'085.--.
1.1. Hierzu befand das Bundesgericht in seinem Rückweisungsurteil vom 5. August 2014 (E. 7.4), dass die Klägerin ihrer Substanziierungspflicht genügend nachgekommen sei, indem sie in Ziffer 713 ihrer erstinstanzlichen Replik Folgendes ausgeführt habe:
"Per 31. Dezember 2002 war das KK des Beklagten 1 ausgeglichen. Der geltend gemachte Saldo resultiert aus einem Barbezug im Betrag von Fr. 14'999.40 am 4. September 2003 und einer Rechnung der Bar D._ vom 20. November 2003 im Betrag von Fr. 1'659.00. Der Anstieg im Jahr 2004 ist auf die folgenden Transaktionen zurückzuführen, welche allesamt privater Natur waren und deshalb dem Kontokorrent des Beklagten 1 belastet wurden:
Datum Betrag Text/Beleg
21.1.04 4'852.05 Cash Bezug Spielbank Konstanz/500004
21.1.04 1'000.00 Cash Bezug Spielbank Konstanz/500004
31.1.04 6'488.40 Belastung Privatgebrauch/900046
10.2.04 310.00 Kassenbezug/
11.2.04 10'000.00 E._ Nachwuchs/310001
17.2.04 28'500.00 F._/310002
17.2.04 4'469.20 Privatauslagen Visa-Karte/500006
21.2.04 4'766.40 Privatauslagen Eurocard/500008"
Zum Beleg dieser Angaben hatte die Klägerin den Auszug aus ihrer Buchhaltung zum Konto "B.1._" eingereicht und ihre Buchhaltungsunterlagen und den Zeugenbeweis ihrer Buchhalterin offeriert.
Das Bundesgericht befand diese von der Klägerin zur Begründung der eingeklagten Saldo-Forderung aufgestellten Behauptungen als genügend bestimmt, so dass eine substanziierte Bestreitung möglich sei und darüber Beweis abgenommen werden könne. Da von hinreichend substanziierten Sachvorbringen auszugehen sei, müsse über diese Beweis abgenommen werden, sofern sie denn vom Beklagten überhaupt substanziiert bestritten worden seien. Das Bundesgericht wies die Sache daher im Sinne dieser Erwägungen an die Vorinstanz zurück, damit diese zunächst darüber befinde, ob die Behauptungen der Klägerin hinreichend substanziiert bestritten wurden, so dass darüber ein Beweisverfahren durchzuführen sei.
1.2. Entsprechend diesen bundesgerichtlichen Erwägungen ging die Vorinstanz in ihrem Urteil vom 29. September 2014 davon aus, dass die Beschwerdegegnerin die Saldo-Forderung über Fr. 77'085.-- hinreichend substanziiert habe, und prüfte, ob eine rechtsgenügende Bestreitung vorliege. Dies verneinte sie mit der Begründung, dass sich der Beschwerdeführer in der Duplik mit einer allgemeinen Bestreitung begnügt habe. Diese generelle Bestreitung erfülle die prozessualen Anforderungen, die an eine substanziierte Bestreitung gestellt würden, nicht, weshalb die Sachdarstellung der Beschwerdegegnerin insoweit als unbestritten zu gelten habe. Ein Beweisverfahren sei daher unnötig. Entsprechend sprach sie der Beschwerdegegnerin die Forderung über Fr. 77'085.-- zu.
2.
2.1. Der Beschwerdeführer stellt in seiner Beschwerde in Abrede, dass die Beschwerdegegnerin bezüglich der Saldo-Forderung über Fr. 77'085.-- ihrer Substanziierungspflicht hinreichend nachgekommen ist. Er wirft der Vorinstanz vor, zu Unrecht von einer genügenden Substanziierung der Saldo-Forderung ausgegangen zu sein.
2.2. Die Erwägungen eines bundesgerichtlichen Rückweisungsurteils im Sinne von <ref-law> sind sowohl für das Gericht verbindlich, an das die Sache zurückgeht, als auch für das Bundesgericht selber, wenn dieses erneut über die Sache zu entscheiden hat (Urteile 5A_488/2013 vom 4. April 2014 E. 3.1; 5A_11/2013 vom 28. März 2013 E. 3.1; <ref-ruling> E. 2.1; zu Art. 66 Abs. 1 OG: <ref-ruling> E. 5.2).
Der genannte Vorwurf des Beschwerdeführers übergeht die Bindung der Vorinstanz an die bundesgerichtlichen Erwägungen im Rückweisungsurteil vom 5. August 2014. Dort bejahte das Bundesgericht, dass die Beschwerdegegnerin ihrer Substanziierungspflicht mit den zitierten Ausführungen in der Replik hinreichend nachgekommen ist. Die Vorinstanz hat sich zutreffend an diese bundesgerichtliche Beurteilung gehalten. Die diesen Punkt betreffende Kritik des Beschwerdeführers ist nicht zulässig, und es ist nicht darauf einzugehen.
3.
3.1. Der Beschwerdeführer stellt sich auf den Standpunkt, es treffe nicht zu, dass er die Forderung der Beschwerdegegnerin lediglich generell bzw. gar nicht bestritten habe. Die Beschwerdegegnerin habe es ihm durch die ausgebliebene Substanziierung verunmöglicht, die einzelnen Positionen zu kommentieren bzw. zu bestreiten. Trotzdem habe er sich mit dem behaupteten Saldo auf dem Kontokorrent-Konto in seiner erstinstanzlichen Duplik vom 11. Januar 2010 bestmöglichst auseinandergesetzt bzw. die Forderung ausreichend bestritten.
3.2. Gemäss den verbindlichen Feststellungen der Vorinstanz hielt der Beschwerdeführer in seiner Duplik vom 11. Januar 2010 den Ausführungen der Beschwerdegegnerin in den Randziffern 677-770 ihrer Replik lediglich entgegen, es werde auf die vorstehenden Ausführungen verwiesen und es würden sämtliche Ausführungen der Klägerin als unzutreffend zurückgewiesen. Die vorstehenden Ausführungen - so die Vorinstanz - würden sich indes nirgends auf den geltend gemachten Saldo beziehen.
3.3. Der Beschwerdeführer scheint die zuletzt erwähnte Feststellung der Vorinstanz anfechten zu wollen, zitiert er doch mehrere Randziffern seiner Duplik vom 11. Januar 2010, die angeblich eine rechtsgenügende Bestreitung der Saldo-Forderung aufzeigen sollen. Ohne Erfolg: In den angeführten Randziffern 203, 209, 239, 259 und 285 der Duplik stellte der Beschwerdeführer lediglich in Abrede, dass die Beschwerdegegnerin die Kontokorrentforderung (genügend) substanziiert habe (dazu bereits Erwägung 2). Eine hinreichende Bestreitung der Kontokorrentforderung seinerseits ist in diesen Randziffern nicht enthalten. In den Randziffern 239 und 311 der Duplik wird die Forderung wiederum nur generell bestritten. Schliesslich wird aus der zitierten Randziffer 312 der Duplik nicht ersichtlich, inwiefern sich die dortigen Ausführungen auf die fragliche Kontokorrentforderung beziehen sollen.
Somit bleibt es bei der Feststellung, dass nur eine ganz allgemeine Bestreitung dieser Forderung vorliegt. Dass die Vorinstanz die Ausführungen des Beschwerdeführers nicht als genügend substanziierte Bestreitung durchgehen liess, ist nicht zu beanstanden. Wie im Rückweisungsurteil verbindlich festgestellt, hat die Beschwerdegegnerin die Forderung in der Replik hinreichend substanziiert, so dass es dem Beschwerdeführer möglich gewesen wäre, die einzelnen Positionen substanziiert zu bestreiten. Eine solche Bestreitung unterblieb indessen. Unter diesen Umständen durfte die Vorinstanz die Forderung ohne Durchführung eines Beweisverfahrens zusprechen.
4.
Der Beschwerdeführer verweist auf das Rückweisungsurteil des Bundesgerichts, mit dem dieses die Décharge-Erteilung mit Wirkung für die Geschäftsjahre 2000-2004 bejaht habe. Er macht geltend, mit dem Déchargebeschluss und der jeweiligen Abnahme der Jahresrechnung habe die Beschwerdegegnerin auch auf die Rückforderung des Saldos aus dem Kontokorrentkonto verzichtet.
Dem kann nicht gefolgt werden. Wie das Bundesgericht in seinem Rückweisungsurteil festhielt, liess die Décharge-Erteilung die geltend gemachten Verantwortlichkeitsansprüche der Beschwerdegegnerin gegenüber ihren Organen untergehen. Der Saldo aus dem "Konto B.1._" wurde aber separat eingeklagt und im Verfahren von den Verantwortlichkeitsansprüchen auseinander gehalten. Der Beschwerdeführer zeigt nicht auf, im vorangegangenen Verfahren behauptet geschweige denn dargetan zu haben, dass der separat eingeklagte Rückforderungsanspruch aus dem "Konto B.1._" von der Décharge-Erteilung erfasst gewesen sein soll. Er verweist auf mehrere Randziffern seiner Duplik vom 11. Januar 2010, wo er geltend gemacht habe, dass einzelne Bezüge vermutlich seinem Kontokorrentkonto belastet worden seien. Gerade dieses Vorbringen zeigt, dass er offenbar selbst davon ausging, dass über das betreffende Kontokorrentkonto separat abzurechnen sein würde. Jedenfalls trifft seine weitere Behauptung nicht zu, das Bundesgericht habe angenommen, dass die (auf diesem Konto verbuchten) Privatbezüge von der Décharge-Erteilung erfasst gewesen seien.
5.
5.1. Der Beschwerdeführer macht geltend, die Vorinstanz habe völlig unberücksichtigt gelassen, dass er für den Fall, dass die Kontokorrentforderung als berechtigt beurteilt werden sollte, ausstehende Lohnforderungen zur Verrechnung gebracht habe. Die Vorinstanz verletze "die Rechte des Beschwerdeführers", indem sie die Verrechnungsforderung, welche die Beschwerdegegnerin nicht substanziiert bestritten habe, ignoriere.
5.2. Das Bundesgericht ist auch an die tatsächlichen Feststellungen der Vorinstanz zum Prozesssachverhalt gebunden, zu denen namentlich die Anträge der Parteien, ihre Tatsachenbehauptungen, rechtlichen Erörterungen, Prozesserklärungen und Beweisvorbringen zählen (<ref-ruling> E. 1.3.1).
5.3. Im angefochtenen Urteil ist zur Position des Beschwerdeführers allgemein festgehalten, dass er eine Haftung verneine. Im Weiteren erhebe er "verschiedene Einreden und Einwendungen (Verjährung, Genehmigung, Décharge, Verrechnung) ". Auch die Forderung aus Kontokorrentsaldo bestreite er.
Der Beschwerdeführer bringt konkret vor, er habe in der Klageantwort vom 20. Februar 2009 und in der erstinstanzlichen Duplik vom 11. Januar 2010 vorgebracht, dass er Lohnausstände von Fr. 550'000.-- zur Verrechnung bringen wolle. Indessen legt er nicht dar, dass er auch im Berufungsverfahren in seiner Berufungsantwort für den Eventualfall, dass die Vorinstanz die gegen ihn erhobenen Klageforderungen (teilweise) gutheissen sollte, an der Verrechnung festgehalten habe. Entsprechend findet sich nichts hierzu im angefochtenen Urteil. Auch in seiner Beschwerdeantwort im ersten bundesgerichtlichen Verfahren (4A_155/2014) sind keine Hinweise auf die Verrechnung vermerkt für den Eventualfall einer (teilweisen) Gutheissung der Klage. Mangels anders lautenden Nachweises ist davon auszugehen, dass er im Berufungsverfahren nicht an der Verrechnung festgehalten hat, weshalb er der Vorinstanz auch nicht vorwerfen kann, darauf nicht eingegangen zu sein. Unter diesen Umständen ist weder dargetan noch ersichtlich, dass "Rechte" des Beschwerdeführers verletzt worden wären, wie er - ohnehin zu unbestimmt (siehe <ref-law>) - moniert.
6.
Schliesslich rügt der Beschwerdeführer eine Verletzung seines Gehörsanspruchs (<ref-law>), weil die Vorinstanz zur Saldo-Forderung gänzlich auf die Abnahme von Beweisen verzichtet habe.
Die Rüge stützt sich auf die Annahme, dass der Beschwerdeführer die Forderung rechtsgenügend bestritten habe. Dieser Standpunkt des Beschwerdeführers hat sich jedoch nicht als zutreffend herausgestellt (vgl. Erwägung 3). Die Vorinstanz verzichtete demnach zu Recht auf die Durchführung eines Beweisverfahrens zu dieser Forderung, und die Rüge des Beschwerdeführers geht ins Leere.
7.
Die Beschwerde erweist sich als unbegründet und ist abzuweisen. Dem Ausgang des Verfahrens entsprechend wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG). Da die Beschwerdegegnerin jedoch auf eine Vernehmlassung verzichtet hat, erwuchs ihr aus dem Beschwerdeverfahren kein erheblicher Aufwand, der zu entschädigen wäre.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3.
Es wird keine Parteientschädigung zugesprochen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 4. Februar 2015
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Kölz