Sachverhalt:
A.
A.a. Am 20. Februar 2003 schlossen X._ (Kläger, Beschwerdeführer) als Verkäufer und Z._ als Käufer einen Kaufvertrag über die Aktien der damaligen X._ AG ab. Als Kaufpreis für sämtliche Aktien vereinbarten die Parteien aufgrund der Überschuldung der X._ AG den symbolischen Betrag von Fr. 20.--. Im Kaufvertrag wurde festgehalten, dass der Kläger gegenüber der X._ AG eine Kontokorrentforderung im Betrag von Fr. 1'502'764.-- habe, die per 31. Dezember 2002 aufgrund eines entsprechenden Forderungsverzichts des Klägers auf Fr. 648'241.-- reduziert wurde. Eine weitere Anpassung dieser Forderung wurde für den Fall vorbehalten, dass sich der Saldo der Debitoren, Kreditoren und angefangenen Arbeiten bis zum Vorliegen der revidierten Jahresrechnung 2002 verändern sollte. Insbesondere blieb die Verrechnung der Kontokorrentforderung mit einem den (provisorischen) Betrag von Fr. 2,15 Mio. übersteigenden Bilanzverlust gemäss revidiertem Jahresabschluss 2002 vorbehalten. Die Vertragsparteien einigten sich weiter darauf, dass das im Zusammenhang mit der Realisierung der Überbauung L._ von der M._ AG der X._ AG geschuldete Reuegeld im Betrag von Fr. 2,8 Mio. für die Rückzahlung des sogenannten Pool-Darlehens verwendet werden soll, das der X._ AG von verschiedenen Personen gewährt worden war. Schliesslich verpflichtete sich der Käufer, den Betriebskredit der X._ AG bei der Bank S._ dergestalt umzufinanzieren, dass diese die vom Kläger dafür geleisteten Sicherheiten freigibt.
A.b. Im Mai 2003 erhielt die X._ AG den Revisionsbericht ihrer damaligen Revisionsstelle P._ AG für das Geschäftsjahr 2002, worin der Generalversammlung die Genehmigung der Jahresrechnung 2002 mit einem Bilanzverlust von Fr. 3'002'126.10 empfohlen wurde. Die X._ AG bemängelte mit Schreiben vom 22. Mai 2003 den Revisionsbericht und forderte bei der Revisionsstelle eine Neubeurteilung. Diese legte mit Schreiben vom 21. August 2003 ihr Mandat nieder. Ihre Nachfolgerin, die O._ AG, erstattete am 7. Januar 2004 einen weiteren Revisionsbericht für das Geschäftsjahr 2002, aus welchem sich ein Bilanzverlust von Fr. 4'940'146.-- ergab.
A.c. Die X._ AG wurde am 14. November 2003 in Y._ AG (Beklagte, Beschwerdegegnerin) umfirmiert.
A.d. Mit Schreiben vom 16. Februar 2004 an den Kläger genehmigte Z._ zwar den Kaufvertrag, machte jedoch unter Verweis auf die aus seiner Sicht unrichtig dargestellte Vermögenslage geltend, er werde weder eine neue Sicherheit für den Betriebskredit der Beklagten leisten noch irgendwelche Auszahlungen an den Kläger vornehmen. Dessen Kontokorrentforderung sei im Übrigen durch die Ausgleichung der Saldoänderungen bei den Debitoren, den Kreditoren und den angefangenen Arbeiten untergegangen und an deren Stelle sei eine Kontokorrentforderung der Beklagten in Höhe von Fr. 1'426'346.10 entstanden.
B.
B.a. Mit Klage vom 13. April 2007 beim Kantonsgericht Zug forderte der Kläger von der Beklagten Fr. 2 Mio. nebst Zins.
Das Kantonsgericht holte bei H._, dipl. Wirtschaftsprüfer und Mitglied der Geschäftsleitung der W._, eine Buchhaltungsexpertise zum Bilanzfehlbetrag und zum Stand des Kontokorrentkredits des Klägers per 31. Dezember 2002 ein. Das Gutachten wurde am 14. Juli 2009 und ein Ergänzungsgutachten am 23. März 2010 erstattet.
Mit Urteil vom 23. Januar 2012 wies das Kantonsgericht Zug die Klage ab, unter Kosten- und Entschädigungsfolge zu Lasten des Klägers.
B.b. Gegen dieses Urteil erhob der Kläger Berufung beim Obergericht des Kantons Zug. Dieses wies die Berufung mit Urteil vom 3. September 2013 ab, soweit darauf eingetreten wurde, unter Kosten- und Entschädigungsfolge zu Lasten des Klägers.
C.
Mit Beschwerde in Zivilsachen beantragt der Kläger dem Bundesgericht, das Urteil des Obergerichts des Kantons Zug vom 3. September 2013 aufzuheben und seine Klage gutzuheissen. Eventualiter sei die Beschwerdegegnerin zu verpflichten, ihm die Kontokorrentforderung in der Höhe von Fr. 648'241.-- nebst Zins zu 5 % seit 24. Februar 2005 zu bezahlen. Subeventualiter sei das Verfahren an die Vorinstanz zurückzuweisen, damit diese neu entscheide; alles unter Kosten- und Entschädigungsfolgen für alle Instanzen zu Lasten der Beschwerdegegnerin.
Die Beschwerdegegnerin und die Vorinstanz beantragen die Abweisung der Beschwerde.
Der Beschwerdeführer hat unaufgefordert eine Replik, die Beschwerdegegnerin eine Duplik eingereicht.
D.
Mit Präsidialverfügung vom 18. November 2013 wurde der Beschwerde die aufschiebende Wirkung erteilt.

Erwägungen:
1.
1.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht kann das Bundesgericht nur insofern prüfen, als eine solche Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (<ref-law>; <ref-ruling> E. 1.4 S. 176; <ref-ruling> E. 1.3.1 S. 68).
Unerlässlich ist im Hinblick auf <ref-law>, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. <ref-ruling> E. 2.1 S. 245 f.). Die Begründung der Beschwerde hat in der Beschwerdeschrift selbst zu erfolgen. Der blosse Verweis auf Ausführungen in andern Rechtsschriften oder auf die Akten reicht nicht aus (<ref-ruling> E. 3.1 S. 400).
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 1.5 S. 401). Wird dem kantonalen Gericht Willkür in der Ermittlung des Sachverhaltes vorgeworfen, so hat die beschwerdeführende Partei zudem darzutun, dass die willkürlichen Feststellungen erhebliche Tatsachen betreffen und sich auf den Entscheid ausgewirkt haben, rechtfertigt sich dessen Aufhebung doch von vornherein nur, wenn er sich nicht nur in einzelnen Punkten seiner Begründung, sondern auch im Ergebnis als verfassungswidrig erweist (<ref-ruling> E. 2.1 S. 219; <ref-ruling> E. 2.1 S. 9; <ref-ruling> E. 2.1 S. 182; je mit Hinweisen).
Die Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern die gerügten Feststellungen bzw. die Unterlassung von Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (vgl. <ref-ruling> E. 1.2 S. 511; <ref-ruling> E. 1.4.3 S. 254 f.; <ref-ruling> E. 1.3 S. 351, 393 E. 7.1 S. 398). Soweit die Partei den Sachverhalt ergänzen will, hat sie zudem mit Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (Urteile 4A_214/2008 vom 9. Juli 2008 E. 1.2, nicht publ. in: <ref-ruling>; 4A_470/2009 vom 18. Februar 2010 E. 1.2). Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (BGE <ref-ruling> E. 1.4.3 S. 255, 396 E. 3.1 S. 399).
Zu beachten ist, dass das Bundesgericht in die Beweiswürdigung des Sachgerichts nur eingreift, wenn diese willkürlich ist. Willkür liegt nicht schon dann vor, wenn eine andere Lösung ebenfalls in Betracht zu ziehen oder gar vorzuziehen wäre, sondern nur, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 5.1 S. 22; <ref-ruling> E. 4.1 S. 133; <ref-ruling> E. 2.1 S. 211; <ref-ruling> E. 2 S. 61, 467 E. 3.1 S. 473 f.). Die Beweiswürdigung ist mithin nicht schon dann willkürlich, wenn vom Sachrichter gezogene Schlüsse nicht mit der Darstellung des Beschwerdeführers übereinstimmen, sondern bloss, wenn sie offensichtlich unhaltbar ist (<ref-ruling> E. 4.2.1 S. 362; <ref-ruling> E. 2.1 S. 9; <ref-ruling> E. 2b S. 88). Dies ist insbesondere dann der Fall, wenn das Sachgericht offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche grundlos ausser Acht lässt (vgl. BGE <ref-ruling> E. 2.1 S. 9; <ref-ruling> E. 4b S. 40). Inwiefern die Beweiswürdigung willkürlich sein soll, ist in der Beschwerde klar und detailliert aufzuzeigen (<ref-ruling> E. 2.2 S. 246; <ref-ruling> E. 1.3 S. 261).
1.3. Diesen Begründungsanforderungen vermag die Beschwerdeschrift über weite Strecken nicht zu genügen.
2.
Grundlage für die Forderung des Beschwerdeführers ist der Aktienkaufvertrag vom 20. Februar 2003, insbesondere die Ziffern:
"4.4.
Der Verkäufer hat gegenüber der X._ AG eine Kontokorrent-Forderung (Aktionärsdarlehen) im Betrag von Fr. 1'502'764.00. Diese Kontokorrent-Forderung wird entsprechend der Beilage 4 valuta 31.12.2002 angepasst. Nach dieser Anpassung beträgt diese Forderung Fr. 648'241.00. Dieses Guthaben kann sich durch Saldoveränderungen von Debitoren, Kreditoren und angefangenen Arbeiten bis zum Vorliegen der revidierten Jahresrechnung 2002 noch verändern, insbesondere ist eine Verrechnung mit dem Bilanzverlust gemäss Ziff. 4.6. möglich.
Vom Kontokorrentguthaben ist ein Teilbetrag von Fr. 150'000.00 innert 10 Tagen nach Vertragsabschluss zurückzuzahlen. Im Mehrbetrag bleibt dieses Guthaben stehen. Es ist ab 1.1.2003 mit 3 % (drei Prozent) zu verzinsen und in halbjährlichen Raten über drei Jahre zu amortisieren, erstmals per 31. Dezember 2003. Auf eine Sicherstellung wird verzichtet.
4.5.
Unter den Parteien herrscht Einigkeit darüber, dass die Rückzahlung des Pool-Darlehens von der Realisierung der Ueberbauung L._ und der in diesem Zusammenhang geschuldeten Reuegeldzahlung abhängig ist. Die Darlehens-Rückzahlung erfolgt aus diesem Reuegeld.
4.6.
Ergibt der revidierte Jahresabschluss 2002, welcher bis 31.03.03 vorliegen muss, wider Erwarten ein anderes Ergebnis als der provisorische Jahresabschluss in Beilage 4, so wird die Differenz zum Bilanzverlust im Betrag von 2.15 Mio. über das Kontokorrent X._ ausgeglichen. Die Zustimmung zur Abänderung des Forderungsverzichts X._ wird von beiden Seiten gegeben. Das gilt insbesondere für die Forderungen der Herren D._, E._ und F._. Falls diesen Herren mehr bezahlt werden muss, als im Jahresabschluss 2002 berücksichtigt, so geht der Mehrbetrag zulasten des Kontokorrentes.
4.7.
Zeigt sich im Verlaufe des Jahres 2003, dass Kreditoren, die im Jahresabschluss 2002 aufgeführt sind, nicht anfallen (z.B. Darlehenszinsen), so werden diese zunächst mit Debitoren verrechnet, die anfallen, aber in der Jahresrechnung 2002 nicht aufgeführt sind. Was übrig bleibt, wird dem Kontokorrent X._ gutgeschrieben."
Feststellungen der Vorinstanz zum tatsächlichen Willen der Vertragsparteien betreffend den Inhalt des Vertrages fehlen. Aufgrund ihrer Ausführungen, namentlich der Hinweise auf das, was gemäss den Angaben des Gutachters der Regel entspreche, ist davon auszugehen, dass sie den Kaufvertrag normativ auslegte. Der Beschwerdeführer bemängelt zwar, die Vorinstanz habe sich nicht einmal die Mühe genommen, den Parteiwillen zu definieren, ohne aber eine eigentliche Rüge betreffend ungenügend festgestelltem Sachverhalt zu erheben (vgl. E. 1.2). Die objektivierte Auslegung kann das Bundesgericht als Rechtsfrage frei prüfen, wobei es an Feststellungen des kantonalen Gerichts über die äusseren Umstände sowie das Wissen und Wollen der Beteiligten grundsätzlich gebunden ist (<ref-law>; <ref-ruling> E. 4.2.1 S. 666 f. mit Hinweisen).
3.
Der Beschwerdeführer geht wie bereits vor der Vorinstanz davon aus, ihm stehe gegenüber der Beschwerdegegnerin eine Forderung von Fr. 2'368'241.-- zu, welche er zur Verkleinerung des Prozessrisikos auf Fr. 2 Mio. reduziert hat. Der Betrag ergibt sich, indem dem (provisorischen) Bilanzverlust von Fr. 2'150'000.-- gemäss Ziffer 4.6 des Kaufvertrages folgende Positionen zu Gunsten des Beschwerdeführers gegenüber gestellt werden:
Bereinigte Kontokorrentforderung Fr. 648'241.--
Aufrechnung Verzicht Pool-Darlehen (inkl. Zins) Fr. 660'000.--
Aufrechnung andere Kreditorenverzichte Fr. 410'000.--
L._-Reuegeld Fr. 2'800'000.--
Der Beschwerdeführer macht geltend, in Ziffer 4.4 des Aktienkaufvertrages sei festgehalten worden, dass er gegenüber der Beschwerdegegnerin im Sinn eines Aktionärsdarlehens eine offene Kontokorrentforderung in der Höhe von Fr. 1'502'764.-- habe. In Kenntnis der Probleme sei diese Forderung auf Fr. 648'241.-- reduziert worden. Parallel zum Aktienkaufvertrag sei es zu einer Vereinbarung mit der M._ AG betreffend ein Reuegeld für die Überbauung L._ über Fr. 2,8 Mio. gekommen. Dieses Reuegeld sei in der massgebenden Bilanz gemäss Aktienkaufvertrag nicht enthalten gewesen, in der Folge jedoch effektiv bezahlt worden, womit sich die Bilanzsituation bei der Beschwerdegegnerin gegenüber dem provisorischen Abschluss 2002 vom 13. Februar 2003 nachträglich um diesen Betrag verbessert habe. Sodann habe sich die Bilanzsituation im erwähnten Sinne um weitere Fr. 550'000.-- (bzw. inklusive Zinsen um Fr. 660'000.--) verbessert, indem die Beschwerdegegnerin mit den Gebern des sog. Pool-Darlehens eine Reduktion um diesen Betrag hätte vereinbaren können. In Ziffer 4.6 des Aktienkaufvertrages sei vereinbart worden, dass die Differenz zwischen dem provisorischen und dem definitiven Jahresabschluss über das Kontokorrent X._ ausgeglichen werde. Da sich die Bilanzsituation der Beschwerdegegnerin, aufgrund des Reuegeldes und des Forderungsverzichts um Fr. 3,35 Mio. verbessert habe, führe dies gemäss Ziff. 4.6 des Aktienkaufvertrages zu einer Erhöhung der entsprechenden Kontokorrentforderung um den genannten Betrag.
4.
Aus Ziffer 4.4 in Verbindung mit Ziffer. 4.6 des Aktienkaufvertrages ergibt sich, dass die durch den Forderungsverzicht auf Fr. 648'241.-- reduzierte Kontokorrentforderung des Beschwerdeführers weiteren Anpassungen unterliegen sollte, und zwar nach Massgabe davon, inwieweit die revidierte Jahresrechnung bei den Bilanzposten Debitoren, Kreditoren und angefangene Arbeiten vom provisorischen Jahresabschluss 2002 abweichen würde.
4.1. Gestützt auf das Gutachten und das Ergänzungsgutachten der W._ (nachfolgend: Gutachten bzw. Ergänzungsgutachten) nahm das Kantonsgericht und mit ihm die Vorinstanz an, die Korrektur aus diesen drei Bilanzpositionen betrage Fr. 2'030'655.45 (Debitoren: Fr. 414'553.--, Kreditoren: Fr. 258'102.45, angefangene Arbeiten: Fr. 1'358'000.--). Negative Saldoänderungen in diesem Umfang führten somit zum vollständigen Untergang der Kontokorrentforderung über Fr. 648'241.--.
Die Vorinstanz setzte sich einlässlich mit der Kritik des Beschwerdeführers am Gutachten auseinander, namentlich dass dieses der Beurteilung nicht den Bericht der ursprünglichen Revisonsstelle P._ AG zugrunde gelegt habe, sondern den Bericht der anschliessend eingesetzten Revisionsstelle O._ AG, zumal es sich bei letzterer um die (ehemalige) Treuhänderin der Beschwerdegegnerin gehandelt habe und diese daher nicht unabhängig gewesen sei. Sie ging desgleichen auf den Vorwurf ein, dass der Gutachter auch juristische Fragen beantwortet habe. Die Vorinstanz kam sodann zum Schluss, das Gutachten enthalte keine Unklarheiten und sei nachvollziehbar. Bereits das Kantonsgericht habe zutreffend festgehalten, der Gutachter habe der pauschalen Kritik, er stelle bei den nicht verbuchten Kreditoren auf die Behauptungen der O._ AG ab, im Ergänzungsgutachten Rechnung getragen und jeden fehlenden Kreditor einzeln geprüft.
4.2. Die Beurteilung der Differenzen in den genannten Bilanzpositionen betrifft eine Frage der Beweiswürdigung, in welche das Bundesgericht nur eingreift, wenn sie willkürlich ist, was in der Beschwerde klar und detailliert aufzuzeigen ist (E. 1.2). Zudem ist vorliegend massgeblich, dass die Vorinstanz die Akten - namentlich die vorhandenen Revisionsberichte - nicht direkt würdigte, sondern dafür ein Gutachten beizog. Bezüglich der Würdigung von Gutachten durch die kantonalen Instanzen ist dabei zusätzlich zu beachten, dass ein Gericht in Fachfragen nur aus triftigen Gründen von einem Gerichtsgutachten abweichen darf. Es hat zu prüfen, ob sich auf Grund der übrigen Beweismittel und der Vorbringen der Parteien ernsthafte Einwände gegen die Schlüssigkeit der gutachterlichen Darlegungen aufdrängen. Erscheint ihm die Schlüssigkeit eines Gutachtens in wesentlichen Punkten als zweifelhaft, hat das Gericht nötigenfalls ergänzende Beweise zur Klärung dieser Zweifel zu erheben. Das Abstellen auf eine nicht schlüssige Expertise bzw. der Verzicht auf die gebotenen zusätzlichen Beweiserhebungen kann gegen das Verbot willkürlicher Beweiswürdigung verstossen (<ref-ruling> E. 4.3.1 S. 198 f. mit Hinweis).
Der Beschwerdeführer rügt erneut die fehlende Neutralität der O._ AG, deren Revisionsbericht vom Gutachter verwendet wurde und die Tatsache, dass dieser Revisionsbericht nicht wie in Ziffer 4.6 des Aktienkaufvertrags vorgesehen, am 31. März 2003 vorlag. Der Gutachter hätte vielmehr von den im provisorischen Abschluss per 31. Dezember 2002 verwendeten Zahlen ausgehen müssen. Ebenso wiederholt er seine Kritik an der Beurteilung des Kreditorenbestands im Hauptgutachten. Auf die Feststellung der Vorinstanz, der Gutachter habe den Einwänden betreffend Kreditoren im Ergänzungsgutachten Rechnung getragen und jeden fehlenden Kreditor einzeln überprüft, geht er lediglich insofern ein, als er bemängelt, die Vorinstanz habe das tatsächliche Vorhandensein der entsprechenden Belege nicht hinterfragt. Mit diesen grösstenteils blossen Wiederholungen der Vorbringen vor Vorinstanz genügt er den Rügeerfordernissen (E. 1.1) nicht, sodass darauf nicht eingetreten werden kann. Im Übrigen stand der Gutachter unter Wahrheitspflicht und der Beschwerdeführer nennt keine Anhaltspunkte, weshalb er entgegen seinen Angaben im Ergänzungsgutachten die Belege nicht geprüft haben sollte. Selbst wenn eingetreten werden könnte, wäre festzustellen, dass die Vorinstanz willkürfrei auf das Gutachten abstellen durfte. Aufgrund der Korrekturen bei Debitoren, Kreditoren und angefangenen Arbeiten ist die Kontokorrentforderung über Fr. 648'241.-- untergegangen.
5.
5.1. Die Vorinstanz stellte unter Bezugnahme auf das kantonsgerichtliche Urteil fest, verschiedene Darlehensgeber hätten am 29. Januar 2002 zusammen mit der Beschwerdegegnerin einen Darlehensvertrag über ein der Beschwerdegegnerin gewährtes bzw. noch zu gewährendes Darlehen von Fr. 1'950'000.-- abgeschlossen (sog. Pool-Darlehen). Am 22./27. Oktober 2003 sei eine Vereinbarung betreffend Darlehensrückführung getroffen worden. Darin verzichteten die Pooldarlehensgeber auf einen Betrag von Fr. 550'000.-- sowie aller Zinsen (insgesamt Fr. 660'000.--). Gemäss Aktienkaufvertrag sei grundsätzlich die Vermögenssituation per 31. Dezember 2002 massgeblich gewesen (Stichtag). Der Forderungsverzicht habe aber das Geschäftsjahr 2003 betroffen und die Parteien hätten nicht vereinbart, dass solche nachträglichen Verbesserungen der Bilanz die Kontokorrentforderung des Beschwerdeführers noch hätten verbessern können. Wie bereits im Ergänzungsgutachten vom 23. März 2010 ausgeführt worden sei, könnten zwar in Ausnahmefällen Ereignisse, die nach dem Bilanzstichtag liegen, rückwirkend berücksichtigt werden. In solchen Fällen sei diese gewollte Rückwirkung im Vertrag jedoch ausdrücklich zu erwähnen. Zudem handle es sich in der Regel um Geschäfte, die kurz nach dem Bilanzstichtag stattfänden, und nicht um solche, die sich gut zehn Monate später ereignen würden. Die Vereinbarung betreffend Darlehensrückführung enthalte keine Hinweise darauf, dass eine bilanztechnische Wirkung per 31. Dezember 2002 vorgesehen wäre. Entsprechend rechnete die Vorinstanz unter diesem Titel nichts zu Gunsten des Beschwerdeführers auf.
5.2. Was der Beschwerdeführer gegen diese Ausführungen vorbringt, ist nicht geeignet, die Beurteilung der Vorinstanz umzustossen. In Bezug auf den Darlehensverzicht macht er unter dem Titel "Wegbedingung des Stichtagsprinzips" lediglich geltend, aus "der Formulierung in den Ziffern 4.4 bis 4.7 des Kaufvertrages" ergebe sich "zweifelsfrei", dass die Parteien vereinbart hätten, dass künftige Veränderungen auf einzelnen Bilanzpositionen die Kontokorrentforderung beeinflussen sollten. Mit diesem pauschalen Hinweis auf mehrere Ziffern des Vertragstextes, ohne sich eingehend mit dem angefochtenen Entscheid auseinanderzusetzen, genügt er den Rügeerfordernissen (E. 1.1) erneut nicht. Darüber hinaus ist seine Argumentation widersprüchlich: An einer anderen Stelle führt er nämlich aus, aus "dem gewählten Vertragswortlaut (müsse) gefolgert werden, die Parteien hätten eben die sich bereits im Zeitpunkt des Vertragsschlusses absehbaren Veränderungen (Reuegeld, Pool-Darlehen) auch noch nachträglich berücksichtigen wollen". Hier behauptet er also nur noch, die absehbaren (und nicht alle künftigen) Veränderungen der Bilanzpositionen seien zu berücksichtigen gewesen. Aus den tatsächlichen Feststellungen der Vorinstanz lässt sich jedoch nicht entnehmen, dass der rund zehn Monate später mit den Gläubigern des Pool-Darlehens erreichte Verzicht beim Abschluss des Aktienkaufvertrages absehbar war. Der Beschwerdeführer hält vielmehr selber fest, bei Abschluss des Aktienkaufvertrages sei die "Darlehensrückführung", d.h. also die Tilgung des Darlehens, unter Verwendung der Reuegeldzahlung (dazu unten E. 7) beabsichtigt gewesen. Die Nicht-Aufrechnung eines Betrages von Fr. 660'000.-- ist daher nicht zu beanstanden.
6.
Bezüglich den weiteren in der Zusammenstellung der Gesamtforderung in der Höhe von Fr. 2'368'241.-- geltend gemachten Kreditorenverzichte über Fr. 410'000.--, lassen sich der Beschwerde keine Ausführungen entnehmen, weshalb darauf nicht weiter einzugehen ist.
7.
7.1. Schliesslich nahm die Vorinstanz auch keine Aufrechnung für das von der M._ AG der Beschwerdegegnerin geschuldete Reuegeld von Fr. 2,8 Mio. vor. Dass dieser Betrag der Beschwerdegegnerin zufloss, ist unbestritten. Wie hinsichtlich des Verzichts der Pool-Darlehensgeber ging die Vorinstanz unter Hinweis auf das Kantonsgericht davon aus, bei diesem Mittelzufluss handle es sich um ein Ereignis, das nach dem Bilanzstichtag erfolgt sei, sodass es nach Buchführungsrecht nur zu berücksichtigen gewesen wäre, wenn die Ursache dafür vor dem Bilanzstichtag gelegen hätte. Etwas anderes würde nur dann gelten, wenn die Parteien solches im Kaufvertrag vereinbart hätten. Vorliegend hätten die Parteien jedoch vielmehr abgemacht, dass die Reuegeldzahlung der M._ AG für die Rückzahlung des Pool-Darlehens zu verwenden sei, weshalb die Verwendung des Reuegeldes zur nachträglichen Aufbesserung der Kontokorrentforderung des Beschwerdeführers resp. der Bilanz ohnehin ausgeschlossen sei. Der Aktienkaufvertrag und die Reuegeldvereinbarung mit der M._ AG seien am gleichen Tag abgeschlossen worden. Wenn die beim Abschluss des Aktienkaufvertrags der Höhe nach bekannte und zu erwartende, wenn auch noch nicht gesicherte Reuegeldzahlung die Kontokorrentforderung des Beschwerdeführers direkt hätte beeinflussen sollen, so hätte Entsprechendes im Kaufvertrag festgehalten werden müssen. Ziffer 4.5 des Vertrages äussere sich aber nur dazu, dass die Rückzahlung des Pool-Darlehens von der Realisierung der Überbauung L._ und der in diesem Zusammenhang geschuldeten Reugeldzahlung abhängig sei. Nachdem das Reuegeld erst am 20. Februar 2003 vereinbart worden sei, sei es auch nicht in der Bilanz gemäss provisorischen Abschluss per Ende 2002 enthalten gewesen.
7.2. Der Beschwerdeführer hält dem entgegen, im Kaufvertrag seien die Bilanzpositionen Debitoren, Kreditoren und angefangene Arbeiten (nur) "exemplarisch" genannt worden. Eine Verrechnung mit dem (gesamten) Bilanzverlust sei aber grundsätzlich möglich gewesen. Gemäss Ziffer 4.5 des Vertrages habe die Rückzahlung des Pool-Darlehens (Fr. 1,9 Mio.) mit dem Reuegeld (Fr. 2,8 Mio.) erfolgen sollen. Selbst bei voller Rückzahlung wäre ein Überschuss von Fr. 900'000.-- verblieben. Es sei nicht nachvollziehbar, weshalb dieser Überschuss - im Unterschied zu den möglichen Veränderungen bei Kreditoren und Debitoren - nicht in die Verrechnung in der Kontokorrentforderung hätte einfliessen sollen.
In Ziffer 4.4 des Kaufvertrages werden die Saldoveränderungen von Debitoren, Kreditoren und angefangenen Arbeiten ausdrücklich aufgeführt. Gleichzeitig wird aber festgehalten, dass insbesondere eine Verrechnung mit dem Bilanzverlust gemäss Ziffer 4.6 möglich sei. Gemäss Ziffer 4.6 wird die Differenz zwischen provisorischem und definitivem Bilanzverlust über den Kontokorrent ausgeglichen. Das Verhältnis dieser Bestimmungen ist nicht ganz klar, denn ein Bilanzverlust ergibt sich aus der Bewertung sämtlicher Aktiven und Passiven, nicht nur den Debitoren, Kreditoren und angefangenen Arbeiten. Ob, wie die Beschwerdegegnerin geltend macht, die Aufzählung der Bilanzpositionen Debitoren, Kreditoren und angefangene Arbeiten eine abschliessende ist und nur diese zu einer Veränderung der Kontokorrentforderung führen konnten, kann jedoch offen gelassen werden. Der Beschwerdeführer berücksichtigt nicht, wie beide kantonalen Instanzen zu Recht hervorhoben, dass mit Ziffer 4.4 und 4.6 nur Korrekturen auf Bilanzpositionen vorbehalten wurden, die bis Ende 2002 vorhanden waren bzw. hätten vorhanden sein müssen. In diesem Zusammenhang wirft er zwar der Vorinstanz eine willkürliche Sachverhaltsfeststellung vor. Er verweist darauf, dass er bereits in der Berufungsschrift moniert habe, der Reuegeldanspruch über Fr. 2,8 Mio. sei zwar nicht bilanziert gewesen, habe jedoch seit dem Jahre 2002 bestanden. Eine willkürliche Sachverhaltsfeststellung liegt dabei indessen nicht vor. Die Vorinstanz nahm an, der Reuegeldanspruch sei erst durch die Vereinbarung vom 20. Februar 2003 mit der M._ AG entstanden. Letztere Feststellung ist angesichts des klaren Wortlauts der Vereinbarung nicht zu beanstanden. Der Beschwerdeführer legt denn auch mit keinem Wort dar und hat dies auch in der zitierten Stelle der Berufungsschrift nicht getan, weshalb der Reuegeldanspruch bereits im Jahre 2002 entstanden sein soll. Die M._ AG war per 31. Dezember 2002 keine Debitorin, die irrtümlich - wie allenfalls andere Debitoren bzw. Kreditoren - nicht bilanziert worden wäre. Das zeigt auch deutlich Ziffer 4.5 des Vertrages. Die Parteien waren sich des Reuegeldes sehr bewusst. Die einzige Verpflichtung, welche die Beschwerdegegnerin diesbezüglich einging, war dessen Verwendung für die Tilgung des Pool-Darlehens.
7.3. Der Beschwerdeführer verweist schliesslich auf eine Stelle in der Parteibefragung von Z._ vom 11. Juni 2008 vor dem Kantonsgericht. Aus dieser ergebe sich die von ihm vertretene Vertragsauslegung.
Der Inhalt von Parteibefragungen gehört zu den prozessualen Tatsachen (Urteil 4A_225/2013 vom 14. November 2013 E. 1.3.1; zur Publikation vorgesehen). Aus dem angefochtenen Urteil ergeben sich aber keine entsprechenden tatsächlichen Feststellungen. Der Beschwerdeführer müsste somit mit konkreten Aktenhinweisen darlegen, dass und wo er diesen Punkt bereits vor Vorinstanz vorgebracht hat (vgl. E. 1.2). Er behauptet zwar, er habe bereits in seiner Berufung darauf verwiesen, ohne jedoch die entsprechende Stelle konkret anzugeben, weshalb darauf nicht eingetreten werden kann.
7.4. Im Zusammenhang damit, dass der Kaufvertrag vom 20. Februar 2003 vor dem Hintergrund der gleichentags abgeschlossenen weiteren Verträge auszulegen ist, rügt der Beschwerdeführer, die Feststellung der Vorinstanz, wonach er nicht Vertragspartei in den Verträgen mit der M._ AG gewesen sei, sei aktenwidrig. Aus der Vereinbarung mit der M._ AG vom 20. Februar 2003 ergebe sich zweifelsfrei, dass diese zwischen jener sowie der X._ AG, vertreten durch ihn als den einzigen Verwaltungsrat, abgeschlossen worden sei. Damit verkennt der Beschwerdeführer jedoch, dass er - wenn er als Organ der X._ AG aufgetreten ist - nicht selber Vertragspartei wurde. Die Feststellung der Vorinstanz ist nicht aktenwidrig. Darüber hinaus ist ohnehin nicht ersichtlich, was der Beschwerdeführer überhaupt aus diesem Vorbringen ableiten will.
Auch in Bezug auf das Reuegeld nahm die Vorinstanz daher zu Recht keine Aufrechnung vor.
8.
Damit ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Der Beschwerdeführer wird daher kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 15'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 17'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zug, I. Zivilabteilung, schriftlich mitgeteilt.
Lausanne, 18. Februar 2014
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Die Gerichtsschreiberin: Reitze