Sachverhalt: A. A.a Die S._ in Liquidation (Beschwerdegegnerin) führte als Aktiengesellschaft eine Bank in K._. A._ (Beschwerdeführer) war seit dem Jahr 1980 Verwaltungsrat und seit dem 1. März 1986 Präsident des Verwaltungsrats der Beschwerdegegnerin. Am 4. März 1995 schied er aus dem Verwaltungsrat aus. A.b Die Beschwerdegegnerin war hauptsächlich im Hypothekargeschäft tätig, gewährte aber auch andere Darlehen an ihre Kunden. Zu einem ihrer wichtigsten Kunden in den letzten Jahren ihres Bankbetriebs zählte der inzwischen verstorbene B._ mit den von ihm wirtschaftlich beherrschten Gesellschaften ("B._-Gruppe"). B._ war der Adoptivsohn des Beschwerdeführers. In einem Bericht der Zeitschrift "Bilanz" im Oktober 1995 wurde unter anderem auf die persönlichen und wirtschaftlichen Beziehungen zwischen dem Beschwerdeführer, dem Treuhänder C._, der die bankengesetzliche Revisionsstelle der Beschwerdegegnerin kontrolliert, und der Beschwerdegegnerin hingewiesen. Dies veranlasste die Eidgenössische Bankenkommission (EBK), von den Organen der Beschwerdegegnerin Auskunft über sämtliche Geschäftsbeziehungen mit den im Bericht genannten Personen zu verlangen. In der Folge hielt die EBK mit Schreiben vom 23. Oktober 1995 fest, dass aufgrund der problematischen Verflechtungen die Unabhängigkeit der bankengesetzlichen Revisionsstelle in Frage gestellt sei. Die fehlende Unabhängigkeit ergebe sich auch deshalb, weil laut dem Medienbericht C._ als Treuhänder von B._ amte. A.c Ein Bericht des internen Inspektorats der Bank T._ vom 14. Dezember 1995 hat darauf hingewiesen, dass das "B._-Engagement" in jedem Fall über der zulässigen Limite von 20 % der Eigenmittel der Beschwerdegegnerin liege. Da entsprechend den Berichten des Inspektorats der Bank T._ die Kreditrisiken nicht hätten reduziert werden können, das Engagement der B._-Gruppe 115 % der eigenen Mittel der Beschwerdegegnerin betragen habe und sowohl die Bank T._ als auch eine weitere Bank nach einer im Juni 1996 durchgeführten Due Diligence-Prüfung eine Übernahme der Beschwerdegegnerin abgelehnt habe, entzog die EBK der Beschwerdegegnerin mit Verfügung vom 10. Juli 1996 die Bewilligung zur Geschäftstätigkeit. Der Beschwerdegegnerin wurde mitgeteilt, dass die Verfügung nicht veröffentlicht werde, falls die Bank T._ am 13. Juli 1996 der Übernahme des Bankgeschäfts der Beschwerdegegnerin zustimme. Letzteres war der Fall. Im Übernahmevertrag wurde festgehalten, dass die Beschwerdegegnerin möglicherweise nach Bewertung der Aktiven und Passiven per 30. Juni 1996 überschuldet sei. Die Bank T._ verpflichtete sich, das Bankgeschäft spätestens bis 31. Dezember 1996 zum Nulltarif zu übernehmen; die Übernahme des Bankgeschäfts mit Aktiven und Passiven erfolgte schliesslich per 27. September 1996. Die Bank T._ erklärte sich in Ziffer 4.2 des Geschäftsübernahmevertrags zu einer angemessenen Ausgleichsleistung an die Beschwerdegegnerin bereit, sofern sich bis zum 30. Juni 1997 aufgrund aktueller Bewertung durch einen unabhängigen Experten herausstellen sollte, dass das "Aktienkapital ... werthaltig" sei. Die Parteien verlängerten in der Folge die Frist zur abschliessenden Bewertung für die Positionen der B._-Gruppe bis 30. Dezember 1997. In der Jahresrechnung 1996 der Beschwerdegegnerin wurde unter Berücksichtigung des Rückstellungsbedarfs, der Wertberichtigungen und Verluste ein Jahresverlust von Fr. 19'861'896.45 und in der Bilanz per 31. Dezember 1996 ein Bilanzverlust von Fr. 19'850'000.-- ausgewiesen. B. B.a Die Beschwerdegegnerin klagte beim Handelsgericht des Kantons St. Gallen gegen den Beschwerdeführer, den früheren Geschäftsführer, eine Reihe früherer Verwaltungsräte sowie die damalige bankengesetzliche Revisionsstelle auf Zahlung von Fr. 10 Mio. (unter solidarischer Haftbarkeit) nebst Zins zu 5 % seit dem 2. November 2000. Während des Verfahrens vor Handelsgericht kam es zu Vergleichsabschlüssen zwischen der Beschwerdegegnerin und den eingeklagten Verwaltungsräten (mit Ausnahme des Beschwerdeführers). Der vor Handelsgericht gegenüber den verbliebenen Beklagten geltend gemachte Betrag reduzierte sich damit auf Fr. 7'475'000.-- nebst Zins. Nach Durchführung eines Beweisverfahrens verpflichtete das Handelsgericht den Beschwerdeführer mit Urteil vom 15. November 2007, der Beschwerdegegnerin unter solidarischer Haftbarkeit mit den beiden übrigen Beklagten (dem ehemaligen Direktor D._ sowie der bankengesetzlichen Revisionsstelle) den Betrag von Fr. 7'475'000.-- nebst Zins zu 5 % seit dem 2. November 2000 zu bezahlen. Im Innenverhältnis zwischen den verbliebenen Beklagten wurde der Haftungsbetrag für den Beschwerdeführer auf Fr. 3'363'750.-- festgesetzt. B.b Das Handelsgericht bejahte das Vorliegen von Pflichtverletzungen seitens des Beschwerdeführers. Er habe, gleich wie die übrigen Beklagten, die bankengesetzlichen Vorschriften zur Risikoverteilung verletzt und damit pflichtwidrig gehandelt. Zudem habe er als Verwaltungsratspräsident zusammen mit den übrigen Verwaltungsräten die Kreditentscheide gefällt, und er habe mit Krediten an B._ und die V._ Finanz AG die bankengesetzlichen Bestimmungen über die Klumpenrisiken verletzt. Zudem hätten der Verwaltungsrat und der Beschwerdeführer als dessen Präsident ihre Pflichten zur Oberleitung verletzt, so dass der Beschwerdeführer, insbesondere auch als Folge einer mangelnden Ausgestaltung des Rechnungswesens und damit einer ungenügenden Finanzplanung und -kontrolle, der Beschwerdegegnerin für den entstandenen Schaden hafte. Zum Schaden hielt das Handelsgericht fest, dass als Stichtag jener Zeitpunkt massgebend sei, zu welchem die Bank T._ den Bankbetrieb der Beschwerdegegnerin zum Nulltarif übernommen hatte (2. Hälfte 1996). Im Übernahmevertrag vorbehaltene Veränderungen der auf die Bank T._ übertragenen Aktiven und Passiven seit dem 30. Juni 1997 bzw. in Bezug auf die B._-Gruppe seit dem 31. Dezember 1997 seien für das Vermögen der Beschwerdegegnerin ohne Belang gewesen. Die nach dem Stichtag erfolgte Rückführung des Engagements der B._-Gruppe habe ausschliesslich Auswirkungen auf den Vermögensstand der Bank T._ gehabt. Die von den Beklagten erhobenen Einwände, der natürliche und adäquate Kausalzusammenhang zwischen ihrem vom Handelsgericht als pflichtwidrig beurteilten Verhalten und dem Schaden sei durch ein grobes Selbstverschulden der neuen Organe der Beschwerdegegnerin oder durch ein grobes Drittverschulden seitens der EBK unterbrochen worden, erachtete das Handelsgericht als nicht nachgewiesen bzw. nicht stichhaltig. Zur Schadensberechnung holte das Handelsgericht ein Gutachten ein. Das Gericht hielt fest, dass insgesamt auf die einlässlich begründeten und nachvollziehbaren Ausführungen des Gutachters E._ abzustellen sei, wonach der Unternehmenswert bei ordentlicher Geschäftsführung per 30. Juni 1996 Fr. 23'233'000.-- betragen hätte. Der Unternehmenswert der übernommenen Substanz der Beschwerdegegnerin per 30. Juni bzw. in Bezug auf die B._-Gruppe per 31. Dezember 1997 habe null betragen, wobei ein Negativsaldo von rund Fr. 15 Mio. bestanden habe, mithin die Passiven die Aktiven beträchtlich überstiegen hätten. Der Umstand, dass die Organe der Beschwerdegegnerin auf die Erstellung einer aktuellen Bewertung durch einen unabhängigen Gutachter per 30. Juni bzw. 31. Dezember 1997 gemäss Ziffer 4.2 des Geschäftsübernahmevertrags verzichtet hätten, sei daher für die Höhe des Schadens nicht von Bedeutung. Dieser bestehe in der Differenz des Unternehmenswerts bei ordentlicher Geschäftsführung per 30. Juni 1996 von Fr. 23'233'000.-- und dem Wert der Übernahme des Bankbetriebs zum Preis Null. Zum Verschulden hielt das Handelsgericht fest, dass grundsätzlich von einer Gesamtverantwortung des Verwaltungsrats auszugehen sei, dem Beschwerdeführer als Verwaltungsratspräsident jedoch ein höherer Verschuldensanteil zuzurechnen sei. Dem Umstand, dass der Beschwerdeführer gemäss eigener Darstellung Ende 1994 als Verwaltungsratspräsident zurückgetreten sei, komme angesichts der Entstehung des Schadens vor Ende 1994 keine Bedeutung zu. Im Innenverhältnis setzte das Handelsgericht den Haftungsanteil des Beschwerdeführers auf Fr. 3'363'750.-- fest, im Aussenverhältnis verpflichtete es ihn unter Berücksichtigung seines Haftungsanteils von 45 % des Gesamtschadens zur Zahlung von Fr. 7'475'000.-- nebst Zins zu 5 % seit dem 2. November 2000. C. Den Entscheid des Handelsgerichts vom 15. November 2007 focht der Beschwerdeführer gleichzeitig mit Nichtigkeitsbeschwerde beim Kassationsgericht des Kantons St. Gallen und mit Beschwerde in Zivilsachen beim Bundesgericht an. Das bundesgerichtliche Verfahren wurde mit Verfügung vom 7. Februar 2008 bis zum Entscheid des Kassationsgerichts sistiert. Mit Urteil vom 18. November 2008 wies das Kassationsgericht des Kantons St. Gallen die Nichtigkeitsbeschwerde ab. D. Mit Eingabe vom 12. März 2009 reichte der Beschwerdeführer dem Bundesgericht eine ergänzte Beschwerdeschrift ein. Er beantragt, die Entscheide des Handelsgerichts vom 15. November 2007 sowie des Kassationsgerichts des Kantons St. Gallen vom 18. November 2008 seien aufzuheben und es sei die Klage abzuweisen. Eventualiter sei die Streitsache zur Neubeurteilung an das Handelsgericht zurückzuweisen. Die Beschwerdegegnerin schliesst in ihrer Antwort auf Abweisung der Beschwerde. Sie beantragt zudem, es sei davon Kenntnis zu nehmen, dass sie mit D._ am 8. Juni 2009 einen Vergleich über Fr. 350'000.-- abgeschlossen habe. Im Übrigen seien die beiden angefochtenen Entscheide zu bestätigen. Die Vorinstanzen haben auf eine Vernehmlassung verzichtet. E. Mit Verfügung vom 9. April 2009 wies das Bundesgericht das Gesuch des Beschwerdeführers um aufschiebende Wirkung ab. Am 13. Juli 2009 hiess es das Wiedererwägungsgesuch des Beschwerdeführers gut und erteilte der Beschwerde die aufschiebende Wirkung. Mit Verfügung vom 14. Juli 2009 schrieb das Bundesgericht das Gesuch des Beschwerdeführers um Gewährung der unentgeltlichen Rechtspflege für das Verfahren vor Bundesgericht als gegenstandslos ab. Das Gesuch der Beschwerdegegnerin um Sicherstellung einer allfälligen Parteientschädigung für das bundesgerichtliche Verfahren wies es ab.