Sachverhalt:
A. Die Bank X._ (Beschwerdegegnerin) schloss am 13. Dezember 2004 mit der Y._ Holding AG (nachfolgend: Hauptschuldnerin) einen schriftlichen Darlehensvertrag über Fr. 3'000'000.--. Die Hauptschuldnerin als Darlehensnehmerin sicherte dabei der Beschwerdegegnerin zu, ihren vertraglichen Zins- und Rückzahlungsverpflichtungen nachzukommen, ohne allfällige Verrechnungsansprüche geltend zu machen. Der Darlehensvertrag wurde namens der Hauptschuldnerin von A._ (Beschwerdeführer) unterschrieben, dem einzigen Verwaltungsrat der Hauptschuldnerin. Dieser signierte den Vertrag eigens auch noch als Bürge, machte doch die Beschwerdegegnerin die Kreditzusage an die Hauptschuldnerin davon abhängig, dass er für die Rückzahlung des Darlehens im Umfang von Fr. 2'000'000.--, bzw. inkl. Zinsen bis maximal Fr. 2'400'000.--, solidarisch einstehen würde. Am 17. Dezember 2004 unterzeichnete der Beschwerdeführer separat die entsprechende schriftliche Bürgschaftserklärung, die öffentlich beurkundet wurde.
Am 31. Januar 2006 kündigte die Beschwerdegegnerin das Darlehen wegen ausstehender Zinsen und verlangte von der Hauptschuldnerin die Rückzahlung bis zum 7. Februar 2006. Die Hauptschuldnerin kam dieser Aufforderung nicht nach. Am 29. Mai 2006 fiel sie in Konkurs. Das Konkursverfahren wurde am 13. Dezember 2006 mangels Aktiven eingestellt und die Gesellschaft am 5. April 2007 im Handelsregister gelöscht.
Im Nachgang zum Konkurs der Hauptschuldnerin forderte die Beschwerdegegnerin den Beschwerdeführer zur Zahlung der von ihm verbürgten Darlehenssumme von Fr. 2'000'000.-- zuzüglich Zinsen in der Höhe von Fr. 183'805.55 auf. Der Beschwerdeführer leistete keine Zahlung. Die Beschwerdegegnerin betrieb den Beschwerdeführer daraufhin im entsprechenden Betrag von Fr. 2'183'805.55, worauf der Beschwerdeführer Rechtsvorschlag erhob. Am 10. September 2007 erteilte der Kantonsgerichtspräsident des Kantons Glarus provisorische Rechtsöffnung für die in Betreibung gesetzte Forderung.
B. Der Beschwerdeführer klagte am 28. Januar 2008 beim Kantonsgericht Glarus auf Aberkennung der Forderung. Am 29. September 2009 wies das Kantonsgericht die Aberkennungsklage ab und sprach definitive Rechtsöffnung für den zwischenzeitlich um Fr. 30'000.-- auf Fr. 2'153'805.55 reduzierten Betrag aus.
Gegen dieses Urteil erhob der Beschwerdeführer am 5. Januar 2010 Berufung an das Obergericht des Kantons Glarus. Dieses wies die Berufung mit Urteil vom 23. September 2011 ab und bestätigte das Urteil des Kantonsgerichts.
C. Der Beschwerdeführer beantragt mit Beschwerde in Zivilsachen, das Urteil des Obergerichts aufzuheben und die Streitsache an das Kantonsgericht zur Beweisabnahme und Neubeurteilung zurückzuweisen.
Die Beschwerdegegnerin und die Vorinstanz schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei, respektive auf Bestätigung des angefochtenen Entscheids. Der Beschwerdeführer reichte eine Replik ein.
Mit Verfügung vom 30. November 2011 wurde das Gesuch des Beschwerdeführers um Erteilung der aufschiebenden Wirkung abgewiesen.

Erwägungen:
1. 1.1 Die Beschwerdeschrift enthält keinen materiellen Antrag, wie er nach <ref-law> grundsätzlich erforderlich ist. Der blosse Rückweisungsantrag genügt indessen, weil das Bundesgericht, sollte es die Rechtsauffassung des Beschwerdeführers, er könne der Bürgschaftsforderung die von ihm behaupteten Ansprüche der Hauptschuldnerin entgegenhalten, für begründet erachten, kein Sachurteil fällen könnte. Es müsste die Streitsache diesfalls zur weiteren Abklärung der tatsächlichen Grundlagen der geltend gemachten Verrechnungsforderung an die Vorinstanz zurückweisen (<ref-ruling> E. 1.3 S. 383; <ref-ruling> E. 3.1; <ref-ruling> E. 1.2).
1.2 Das angefochtene Urteil des Obergerichts ist ein verfahrensabschliessender Endentscheid (<ref-law>) einer letzten kantonalen Instanz im Sinne von <ref-law>. Sodann übersteigt der Streitwert die Grenze nach <ref-law>. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde unter Vorbehalt einer rechtsgenügenden Begründung einzutreten.
2. 2.1 Wie bereits vor dem Kantonsgericht bestritt der Beschwerdeführer vor der Vorinstanz nicht den Bestand der betriebenen Bürgschaftsforderung in der Höhe von insgesamt Fr. 2'183'805.55. Er machte jedoch geltend, die Beschwerdegegnerin habe durch ihr Geschäftsgebaren die Hauptschuldnerin geschädigt, weshalb er als Bürge die daraus resultierenden Schadenersatzansprüche verrechnungsweise geltend machen könne. Die Beschwerdegegnerin verwies demgegenüber darauf, dass die Hauptschuldnerin im Darlehensvertrag vom 13. Dezember 2004 auf die Verrechnung ausdrücklich verzichtet und der Beschwerdeführer den betreffenden Vertrag einerseits als Organ der Hauptschuldnerin und andererseits als Bürge unterzeichnet habe.
Die Vorinstanz stellte fest, der Beschwerdeführer habe bei Abschluss der Bürgschaft vom Verrechnungsverzicht der Hauptschuldnerin gegenüber der Beschwerdegegnerin Kenntnis gehabt. Der Auffassung der Beschwerdegegnerin folgend, erwog sie, der Beschwerdeführer müsse sich als Bürge den entsprechenden Verzicht entgegenhalten lassen und es sei ihm demzufolge nach sachgerechter Auslegung von <ref-law> verwehrt, seine Bürgschaftsschuld gegenüber der Beschwerdegegnerin mit angeblichen Forderungen der Hauptschuldnerin gegenüber der Beschwerdegegnerin "zu verrechnen". Daraus schloss sie, die Verrechnungseinrede des Beschwerdeführers sei unzulässig.
2.2 Der Beschwerdeführer rügt zunächst, diese Auffassung verletze Art. 502 Abs. 2 und <ref-law>.
2.2.1 Durch den Bürgschaftsvertrag übernimmt der Bürge gegenüber dem Gläubiger die Pflicht, für die Erfüllung der Schuld eines Dritten, des Hauptschuldners, einzustehen (<ref-law>). Die Bürgschaftsverpflichtung setzt den Bestand der sicherzustellenden Verpflichtung voraus. Sie ist dieser beigeordnet und hängt in Bestand und Inhalt notwendigerweise von ihr ab; die Bürgschaft ist akzessorisch. Sie sichert die Zahlungsfähigkeit des Schuldners oder die Erfüllung eines Vertrages (<ref-ruling> E. 2.1 S. 704; <ref-ruling> E. 2b S. 307; <ref-ruling> E. 2a; <ref-ruling> E. 2b S. 279).
Entsprechend dem Grundsatz der Akzessorietät stehen dem Bürgen die Einreden des Hauptschuldners zu, die sich nicht auf dessen Zahlungsunfähigkeit stützen (<ref-law>). <ref-law> erweitert diesen Schutz, indem er den Bürgen ermächtigt, eine Einrede des Hauptschuldners auch geltend zu machen, wenn dieser darauf verzichtet hat.
Gemäss <ref-law> kann der Bürge die Befriedigung des Gläubigers verweigern, soweit dem Hauptschuldner das Recht zur Verrechnung zusteht. Diese Bestimmung schützt den Bürgen dann, wenn der Hauptschuldner die Verrechnung erklären könnte, dies aber nicht tut. Diesfalls fehlt es an der Gestaltungserklärung des Hauptschuldners für die Tilgung der Hauptschuld durch Verrechnung, und nach dem Akzessorietätsprinzip müsste auch der Bürge weiterhaften. Denn dieser kann nicht selbst eine Forderung des Hauptschuldners gegenüber dem Gläubiger zur Verrechnung bringen und damit den Untergang seiner Bürgschaftsschuld bewirken (<ref-ruling> E. 3b). Hier greift <ref-law>, der dem Bürgen in derartigen Konstellationen eine aufschiebende Einrede gegen die Durchsetzung der Bürgschaftsschuld gewährt (AEPLI, Zürcher Kommentar, 3. Aufl. 1991, N. 45 zu <ref-law>; KILLIAS, in: Handkommentar zum Schweizer Privatrecht, 2007, N. 7 zu <ref-law>; MÜLLER, Der Schutz des Bürgen im schweizerischen Privatrecht, 2010, S. 171 f.; OSER/SCHÖNENBERGER, Zürcher Kommentar, 2. Aufl. 1945, N. 11 zu <ref-law>; PETER, in: Basler Kommentar, Obligationenrecht, Bd. I, 5. Aufl. 2011, N. 1 f. zu <ref-law>; SCHWENZER, Schweizerisches Obligationenrecht, Allgemeiner Teil, 5. Aufl. 2009, S. 508; SCYBOZ, Garantievertrag und Bürgschaft, in: Obligationenrecht, Besondere Vertragsverhältnisse, SPR Bd. VII/2, 1979, S. 384; vgl. auch ENGEL, Contrats de droit suisse, 2. Aufl. 2000, S. 651). Im Gegensatz zur Verrechnungserklärung des Hauptschuldners lässt die auf <ref-law> gestützte Einrede des Bürgen den Bestand von Haupt- und Bürgschaftsforderung unberührt (AEPLI, a.a.O., N. 45 zu <ref-law>).
2.2.2 Bislang vom Bundesgericht noch nicht entschieden ist die Frage, welche Rechtsfolgen es für den Bürgen nach sich zieht, wenn der Hauptschuldner auf seinen Verrechnungsanspruch verzichtet und damit sein Recht verliert, durch Verrechnungserklärung die Hauptforderung (im Umfang der Verrechnung) zum Untergang zu bringen. Namentlich fragt sich, ob in diesem Fall die Regelung von <ref-law> Anwendung findet.
In <ref-ruling> liess das Bundesgericht die Frage offen, ob der Bürge seine Leistung in analoger Anwendung von Art. 502 Abs. 2 und <ref-law> verweigern kann, wenn der Hauptschuldner, nach Abschluss des Bürgschaftsvertrags und ohne Zustimmung des Bürgen, auf eine Verrechnungsforderung verzichtet hat, da der Bürge im zu beurteilenden Fall dem Verzicht des Hauptschuldners zugestimmt hatte (E. 3b). Das Bundesgericht wies in diesem Entscheid aber immerhin auf die Lehrmeinung hin, gemäss der sich der Bürge gestützt auf <ref-law> einen nach Abschluss der Bürgschaft und ohne seine Zustimmung ergangenen Verrechnungsverzicht nicht entgegenhalten lassen müsse (AEPLI, a.a.O., N. 29 zu <ref-law>; BECKER, Berner Kommentar, 2. Aufl. 1941, N. 3 zu <ref-law>; GIOVANOLI, in: Berner Kommentar, 2. Aufl. 1978, N. 5b zu <ref-law>; PETER, a.a.O., N. 3 zu <ref-law>; SCYBOZ, a.a.O., S. 384). Die entsprechende Auffassung machte sich vorliegend die Vorinstanz zu eigen.
Die zitierte Lehrmeinung geht von der Prämisse aus, dass <ref-law> - obwohl die Bestimmung den Verzicht des Hauptschuldners auf Einreden und nicht den Verzicht auf Gestaltungsrechte zum Gegenstand hat - auch auf den Fall von <ref-law> Anwendung findet. Für diese Ansicht bestehen denn auch gute Gründe, da <ref-law> die akzessorischen Einredemöglichkeiten gemäss <ref-law> ergänzt und beide Normen den Bürgen schützen, indem sie ihm ein im Verhältnis zwischen Gläubiger und Hauptschuldner begründetes Leistungsverweigerungsrecht einräumen. Es rechtfertigt sich daher, <ref-law>, der den Schutz des Bürgen im Falle eines Verzichts des Hauptschuldners auf eine ihm zustehende Einrede erweitert, auf den von <ref-law> erfassten Verrechnungstatbestand anzuwenden. Dem Bürgen verbleibt somit in analoger Anwendung von <ref-law> die Einrede gemäss <ref-law>, auch wenn der Hauptschuldner auf das ihm zustehende Verrechnungsrecht verzichtet.
Noch nicht beantwortet ist damit allerdings die Frage nach der inhaltlichen Tragweite von <ref-law>. Diese Bestimmung beruht auf dem Grundgedanken, dass die Stellung des Bürgen nicht einseitig durch eine nachträgliche Vereinbarung zwischen dem Gläubiger und dem Hauptschuldner soll verschlechtert werden können (AEPLI, a.a.O., N. 15 zu <ref-law>; BECK, Das neue Bürgschaftsrecht, 1942, N. 44 zu <ref-law>; GUHL UND ANDERE, Das Schweizerische Obligationenrecht, 9. Aufl. 2000, S. 637 f. N. 55; KILLIAS, a.a.O., N. 4 zu <ref-law>; MÜLLER, a.a.O., S. 170 f.; OSER/SCHÖNENBERGER, a.a.O., N. 26 zu <ref-law>; PESTALOZZI, in: Basler Kommentar, Obligationenrecht, Bd. I, 5. Aufl. 2011, N. 11 zu <ref-law>; SCYBOZ, a.a.O., S. 385). Sie erfasst demnach nicht den hier zu beurteilenden Fall, dass der Hauptschuldner vor Abschluss der Bürgschaft und mit Zustimmung des Bürgen auf Einreden verzichtet hat.
Daraus folgt, dass sich der Bürge jedenfalls dann nicht auf <ref-law> berufen kann, wenn er die Bürgschaft im Wissen darum eingegangen ist, dass der Hauptschuldner gegenüber dem Gläubiger auf die Verrechnung verzichtet hat. Dieser Fall ist wertungsmässig ähnlich gelagert wie der in <ref-ruling> entschiedene. Verzichtet der Hauptschuldner demgegenüber nach Abschluss des Bürgschaftsvertrages und ohne Zustimmung des Bürgen auf die Verrechnung, so ist dem Bürgen mit der insofern einhelligen Lehre ein Leistungsverweigerungsrecht zuzugestehen (AEPLI, a.a.O., N. 29 zu <ref-law>; BECKER, a.a.O., N. 3 zu Art. 121; GIOVANOLI, a.a.O., N. 5b zu <ref-law>; JEANDIN, Commentaire romand, Code des obligations, Bd. I, 2003, N. 2 zu <ref-law>; MEIER, in: Commentaire romand, Code des obligations, Bd. I, 2003, N. 11 zu <ref-law>; PETER, a.a.O., N. 3 zu <ref-law>; vgl. auch HONSELL, Schweizerisches Obligationenrecht, Besonderer Teil, 9. Aufl. 2010, S. 418).
2.2.3 Vorliegend steht fest und bestreitet auch der Beschwerdeführer nicht, dass die Hauptschuldnerin im Darlehensvertrag vom 13. Dezember 2004 bezüglich der Darlehensforderung auf die Geltendmachung der Verrechnung verzichtete. Dieser Verzicht war auch ohne Weiteres zulässig, und zwar sowohl mit Bezug auf bestehende als auch betreffend zukünftige Verrechnungsforderungen (<ref-law>). Gemäss den bindenden Sachverhaltsfeststellungen der Vorinstanz hatte der Beschwerdeführer als Bürge beim Eingehen der Bürgschaftsverpflichtung Kenntnis von der erwähnten Verzichtsklausel. Nach dem eben Ausgeführten kann er sich somit nicht auf <ref-law> berufen, um gestützt auf die Verrechnungsmöglichkeit, wie sie der Hauptschuldnerin ohne Verzicht zustehen würde, die Leistung zu verweigern.
2.3 Der Beschwerdeführer sieht durch die vorinstanzliche Rechtsauffassung, er könne der Bürgschaftsforderung der Beschwerdegegnerin die behaupteten Verrechnungsansprüche der Hauptschuldnerin nicht entgegenhalten, weiter auch Art. 492 Abs. 4 und <ref-law> verletzt. Er macht geltend, gemäss <ref-law> könne der Bürge, abgesehen von den im Gesetz vorgesehenen Fällen, auf die ihm im Zwanzigsten Titel des Obligationenrechts eingeräumten Rechte nicht zum Voraus verzichten. Zu den entsprechenden Rechten zähle der Anspruch des Bürgen, nach <ref-law> Einreden des Hauptschuldners geltend zu machen, auch wenn dieser darauf verzichtet habe. Ein vorgängiger Verzicht des Bürgen auf dieses Recht sei im Gesetz nicht vorgesehen und daher gemäss <ref-law> nicht zulässig. Gehe man hingegen - so der Beschwerdeführer weiter - von der Möglichkeit eines entsprechenden vorgängigen Verzichts aus, müssten dafür jedenfalls die qualifizierten Formvorschriften gemäss <ref-law> gelten. Ein formgültiger Verzicht auf das Verrechnungsrecht liege - im Gegensatz etwa zu dem in der Bürgschaftserklärung enthaltenen Verzicht des Beschwerdeführers auf das beneficium excussionis realis - nicht vor.
2.3.1 Die Hauptschuldnerin hat vorliegend wie gesehen nicht nach Abschluss der Bürgschaft und ohne Zustimmung des Beschwerdeführers auf ihre Verrechnungseinrede verzichtet. Damit liegt kein Fall von <ref-law> vor (E. 2.2.2), und es hilft dem Beschwerdeführer somit von vornherein nicht weiter, wenn er sich auf die Unverzichtbarkeit des in dieser Bestimmung normierten Rechts des Bürgen beruft.
2.3.2 Soweit der Beschwerdeführer dagegen annimmt, der Verrechnungsverzicht der Hauptschuldnerin sei ihm gegenüber schon alleine gestützt auf <ref-law> in Verbindung mit <ref-law> unwirksam, da <ref-law> eine unverzichtbare Einrede des Bürgschaftsrechts statuiere, verkennt er den Gehalt von <ref-law>:
Diese Bestimmung verbietet lediglich, dass der Bürge auf eigene Rechte, d.h. auf die seinem Schutze dienenden gesetzlichen Regeln, im Voraus verzichtet (vgl. BECK, a.a.O., N. 134 f. zu <ref-law>; PESTALOZZI, a.a.O., N. 8 zu <ref-law>). Mit anderen Worten untersagt sie ausschliesslich den Vorausverzicht des Bürgen selbst auf die ihm von Gesetzes wegen im Verhältnis zum Gläubiger und zum Hauptschuldner zustehenden Rechte. Der Bürge kann demnach zwar nicht im Voraus darauf verzichten, dem Gläubiger die dem Hauptschuldner zustehenden Einreden und Einwendungen entgegenzusetzen. Diese Befugnis ergibt sich bereits aus der Akzessorietät der Bürgschaft, der es grundsätzlich widersprechen würde, wenn der Bürge eine strengere Verpflichtung eingehen würde als der Hauptschuldner (vgl. <ref-ruling> E. 2.1 S. 704; BECK, a.a.O., N. 93 zu Art. 492 sowie N. 47 zu <ref-law>; OSER/SCHÖNENBERGER, a.a.O., N. 33 zu <ref-law>). Sie steht dem Bürgen jedenfalls aus eigenem Recht zu (SCYBOZ, a.a.O., S. 382), weshalb er gemäss <ref-law> nicht von vornherein darauf verzichten kann (PESTALOZZI, a.a.O., N. 4 zu <ref-law>; vgl. auch GIOVANOLI, a.a.O., N. 88 zu <ref-law>; MÜLLER, a.a.O., S. 46). <ref-law> hindert den Bürgen demgegenüber nicht daran, für die Erfüllung einer Schuld einzustehen, bezüglich welcher der Hauptschuldner in Abweichung vom dispositiven Gesetzesrecht auf Einwendungen oder Einreden verzichtet hat (anders wohl BECK, a.a.O., N. 47 zu <ref-law>).
Dieses Ergebnis ergibt sich bereits aus dem Umstand, dass der Zwanzigste Titel des Obligationenrechts keine Regeln zum möglichen Inhalt der zu sichernden Hauptforderung respektive zu den Einwendungen und Einreden des Hauptschuldners enthält, sondern lediglich in <ref-law> festhält, dass die Bürgschaft eine zu Recht bestehende Hauptschuld voraussetzt. Damit fehlt es an einer Bestimmung im Zwanzigsten Titel des Obligationenrechts, die es dem Hauptschuldner zum Schutz des Bürgen verbietet, im Rahmen des Hauptschuldverhältnisses auf Einreden und Einwendungen gegen die verbürgte Forderung zu verzichten, weil dadurch indirekt auch der Bürge betroffen wäre, oder die es dem Bürgen selbst untersagt, für eine mit einem solchen Verzicht belastete Schuld einzustehen. Dieses Verständnis steht denn auch im Einklang mit dem durch <ref-law> verfolgten Zweck: Mit dieser Bestimmung, die auf die Revision des Bürgschaftsrechts von 1941 zurückgeht, sollte verhindert werden, dass Bürgen durch die Unterzeichnung von vorgedruckten Formularen auf ihre gesetzlichen Rechte verzichten und später von der Tragweite dieses Verzichts überrascht werden (Botschaft vom 20. Dezember 1939 zur Revision des Bürgschaftsrechts, BBl 1939 II 873 f.; vgl. auch BECK, a.a.O., N. 134 zu <ref-law>). Mit anderen Worten wollte der Gesetzgeber mit dem Verbot des Vorausverzichts verhindern, dass der Bürge in der Bürgschaftsvereinbarung auf die zu seinem Schutz eingeräumten bürgschaftsrechtlichen Einreden verzichtet; es war hingegen nicht seine Absicht, den Inhalt und die Modalitäten der zu verbürgenden Hauptforderung festzulegen. Dies ist auch nachvollziehbar: Hätte der Gesetzgeber dem Bürgen nämlich verboten, für eine mit einem Einrede- oder Einwendungsverzicht belastete Schuld einzustehen, hätte er in Kauf nehmen müssen, dass mit der Bürgschaft solche - vom dispositiven gesetzlichen Recht abweichende - schuldrechtliche Verpflichtungen in vielen Fällen nicht mehr hätten gesichert werden können.
Es bleibt somit insofern beim Grundsatz, dass der Bürge für die Verpflichtung einsteht, so wie sie der Hauptschuldner eingegangen ist (vgl. E. 2.2.1). Ein Verrechnungsverzicht des Hauptschuldners wie der vorliegende, der das Schuldverhältnis zwischen diesem und dem Gläubiger betrifft, gilt demnach auch für den Bürgen. Ob die - das Verhältnis zwischen dem Bürgen und dem Gläubiger betreffende - Einrede gemäss <ref-law> zu den gemäss <ref-law> unverzichtbaren Rechten des Bürgen gehört, obwohl sie nicht im Zwanzigsten Titel des Obligationenrechts eingeräumt wird, braucht unter diesen Umständen nicht beurteilt zu werden (zu dieser Frage AEPLI, a.a.O., N. 10 zu <ref-law>; BECKER, a.a.O., N. 3 zu <ref-law>). Soweit die Argumentation des Beschwerdeführers auf der Prämisse aufbaut, dass er sich als Bürge nicht für eine durch einen Verrechnungsverzicht der Hauptschuldnerin erschwerte Hauptpflicht verbürgen konnte, kann ihr demnach nicht gefolgt werden.
2.3.3 Schliesslich finden auch die vom Beschwerdeführer geforderten qualifizierten Formerfordernisse für den Verrechnungsverzicht im Gesetz keine Stütze. Nachdem es sich beim Verrechnungsverzicht des Hauptschuldners wie gesehen nicht um einen von <ref-law> erfassten Eingriff in die gesetzliche Bürgenstellung handelt, sondern um eine Eigenschaft des verbürgten (Haupt-)Schuldverhältnisses, kann auch aus dem Umstand, dass dieser Verzicht nicht in der Bürgschaftserklärung enthalten war, von vornherein nichts abgeleitet werden (vgl. OSER/SCHÖNENBERGER, a.a.O., N. 27 zu <ref-law>; PESTALOZZI, a.a.O., N. 8 zu <ref-law>). Das Gesetz enthält keine Regel, wonach sich die für die Bürgschaftserklärung geltende Formpflicht auch auf die inhaltlichen Eigenschaften der Hauptschuld bezieht (vgl. PESTALOZZI, a.a.O., N. 7 f. zu <ref-law>).
2.4 Nach dem Gesagten hat die Vorinstanz zutreffend erkannt, dass der Beschwerdeführer der Beschwerdegegnerin keine Verrechnungsforderungen der Hauptschuldnerin entgegenhalten kann.
3. Weiter warf der Beschwerdeführer der Beschwerdegegnerin im kantonalen Verfahren die rechtsmissbräuchliche Inanspruchnahme der Bürgschaft vor, da ihr unlauteres Geschäftsgebaren zum Kreditausfall geführt habe. Sie habe die Treuepflichten aus dem Darlehensverhältnis verletzt, indem sie Zusagen nicht eingehalten sowie die Hauptschuldnerin und den Beschwerdeführer in extremis dahingehalten und schlussendlich im Stich gelassen habe. Überdies habe sie gegen das Bankgeheimnis verstossen. Es sei rechtsmissbräuchlich, wenn die Beschwerdegegnerin nun gegenüber dem Beschwerdeführer Sicherheiten beanspruchen wolle, deren Auflösung sie selber massgeblich verschuldet habe. Die Vorinstanz hielt den Vorwurf des Rechtsmissbrauchs für ungenügend substanziiert und ohnehin unbegründet.
Der Beschwerdeführer rügt, die tatsächlichen Grundlagen für ein rechtsmissbräuchliches Verhalten hätten gar nicht substanziiert werden können, da das Prozessthema und die Sachverhaltsdarstellungen vor der Vorinstanz auf die Fragen des Bürgschaftsrechts beschränkt worden seien. Der Vorwurf der ungenügenden Substanziierung könne deshalb offensichtlich nicht zutreffen und sei willkürlich. Zudem ist er der Ansicht, die im angefochtenen Urteil festgestellten Umstände, an denen die Vorinstanz den Vorwurf des Rechtsmissbrauchs scheitern liess, seien ungeeignet, den Vorwurf des treuwidrigen Verhaltens von vornherein nicht zuzulassen und abzuurteilen. Auch in dieser Hinsicht kann dem Beschwerdeführer nicht gefolgt werden:
3.1 Für das Vorliegen eines rechtsmissbräuchlichen Verhaltens der Beschwerdegegnerin, dem nach <ref-law> der Rechtsschutz zu versagen ist, trug der Beschwerdeführer gemäss <ref-law> die Beweis- und Behauptungslast (vgl. <ref-ruling> E. 2.1). Die Vorinstanz durfte demnach verlangen, dass diese Behauptungen hinlänglich konkret vorgebracht werden (vgl. <ref-ruling> E. 2b und c; <ref-ruling> E. 3). Dies tat sie und kam zum Schluss, dass der Beschwerdeführer nicht darlege, welche konkreten Handlungsweisen der Beschwerdegegnerin inwiefern rechtsmissbräuchlich sein sollen. Dass dieser Schluss aufgrund seiner Behauptungen unzutreffend sein soll, macht der Beschwerdeführer nicht geltend.
3.2 Die Ausführungen des Beschwerdeführers gehen vielmehr dahin, dass er in verfassungswidriger Weise gar nicht erst nicht zur Behauptung betreffend rechtsmissbräuchliches Verhalten der Beschwerdegegnerin zugelassen worden sei. Insofern ist seine Beschwerde allerdings ungenügend begründet: Ob die vorinstanzliche Verfahrensleitung gegen verfassungsmässige Rechte verstösst, sei es durch willkürliche Anwendung des kantonalen Rechts (<ref-law>), sei es durch Verweigerung des rechtlichen Gehörs (<ref-law>), ist nämlich nur zu prüfen, soweit die Beschwerde diesbezüglich eine hinreichend begründete Rüge enthält (<ref-law>): Eine solche Verfassungsrüge kann das Bundesgericht nur prüfen, wenn der Beschwerdeführer angibt, welches verfassungsmässige Recht verletzt wurde, und substanziiert darlegt, worin die Verletzung besteht (<ref-ruling> E. 1.3.1; <ref-ruling> E. 3.2). Macht der Beschwerdeführer eine Verletzung des Willkürverbots von <ref-law> geltend, genügt es namentlich nicht, wenn er einfach behauptet, der angefochtene Entscheid sei willkürlich. Er hat vielmehr im Einzelnen aufzuzeigen, inwiefern dieser offensichtlich unhaltbar ist (<ref-ruling> E. 3 S. 352).
Diesen Anforderungen genügen die Ausführungen in der Beschwerde kaum. Vielmehr beschränkt sich der Beschwerdeführer mit Bezug auf <ref-law> darauf, das Vorgehen der Vorinstanz als willkürlich zu bezeichnen. Dagegen fehlt in der Beschwerdeschrift eine Auseinandersetzung mit den Bestimmungen des - im vorliegenden Verfahren noch anwendbaren (<ref-law> [SR 272]) - kantonalen Zivilprozessrechts, die im Zusammenhang mit der Beschränkung des Prozessthemas willkürlich angewendet worden sein könnten. Daher wäre ohnehin einzig zu prüfen, ob die unmittelbar aus <ref-law> folgenden Regeln missachtet wurden (vgl. <ref-ruling> E. 3a; <ref-ruling> E. 2b). Auch diesbezüglich fehlt es allerdings an einer rechtsgenüglichen Beschwerdebegründung: Der Beschwerdeführer unterlässt es nämlich, im Einzelnen aufzuzeigen, inwiefern er durch die geltend gemachte Verfahrensbeschränkung in gehörsverletzender Weise daran gehindert worden sein soll, seinen Rechtsmissbrauchsvorwurf zu substanziieren. Auch insoweit ist fraglich, ob auf die Beschwerde einzutreten ist.
3.3 Die Gehörsrüge des Beschwerdeführers verfängt jedenfalls auch in der Sache nicht:
Der Anspruch auf rechtliches Gehör nach <ref-law> verleiht dem Einzelnen insbesondere das Recht, sich vor der zuständigen Behörde in ausreichender Weise äussern und seinen Standpunkt wirksam ins Verfahren einbringen zu können (<ref-ruling> E. 2.2.1 S. 188; <ref-ruling> E. 5.1; <ref-ruling> E. 2b; je mit Hinweisen).
Die vom Beschwerdeführer beanstandete Beschränkung des Prozessthemas erfolgte erst während der Berufungsverhandlung. Auch wenn danach keine weiteren Substanziierungen zum Thema Rechtsmissbrauch mehr angebracht waren, so hatte der Beschwerdeführer zuvor im kantonalen Verfahren hinreichend Gelegenheit, sich zu diesem Thema zu äussern. Zunächst hatte er seinen Standpunkt bereits vor der Erstinstanz vorgetragen. Sodann wurde ihm gemäss der bindenden, vom Beschwerdeführer nicht beanstandeten vorinstanzlichen Feststellung auch im Berufungsverfahren an der mündlichen Hauptverhandlung vom 25. Mai 2011 erneut Gelegenheit eingeräumt, Ausführungen zu dem der Beschwerdegegnerin angelasteten Rechtsmissbrauch zu machen. Mithin galt die Beschränkung des Prozessthemas nicht für das ganze Berufungsverfahren. Schliesslich verwies der Beschwerdeführer in seiner Eingabe vom 1. September 2011 noch einmal auf seine Ausführungen betreffend Rechtsmissbrauch. Damit hatte er ausreichend Gelegenheit, seinen Gehörsanspruch zu wahren.
3.4 Auch soweit der Beschwerdeführer rügen möchte, die Vorinstanz habe weitere Ausführungen zum Prozessthema Rechtsmissbrauch mit der unzutreffenden Begründung nicht zugelassen, aufgrund des festgestellten Sachverhalts könne das Vorliegen von Rechtsmissbrauch ohnehin ausgeschlossen werden, verfängt seine Kritik nicht:
Die Vorinstanz kam in umfassender Beurteilung der positiv festgestellten Sachverhaltselemente zum Ergebnis, dass kein rechtsmissbräuchliches Verhalten der Beschwerdegegnerin vorliege. Die Beschwerdegegnerin habe nämlich nichts anderes unternommen, als gegenüber dem Beschwerdeführer und den von diesem beherrschten Gesellschaften (der Hauptschuldnerin und der Z._ AG) "die Reissleine zu ziehen". Dieser Schritt - so die Vorinstanz - sei unter den gegebenen Umständen "nachgerade indiziert" gewesen, wenn die Beschwerdegegnerin nicht noch weitere (uneinbringliche) Ausstände habe anhäufen wollen. So habe die Hauptschuldnerin auf das von der Beschwerdegegnerin gewährte Darlehen nie einen Rappen Zins bezahlt. Weiter habe die Z._ AG nach dem Erwerb durch die Hauptschuldnerin innert Jahresfrist einen Abfluss an liquiden Mitteln in der Höhe von rund Fr. 1.3 Mio. verzeichnet. Schliesslich sei im Revisionsbericht der Z._ AG von der Revisionsstelle darauf hingewiesen worden, "dass die Darlehen an Beteiligte und Nahestehende in der Höhe von insgesamt CHF 2'724'512 einen Verstoss gegen <ref-law> darstellen könnten." Die Vorinstanz schloss aus diesen Fakten, der an die Beschwerdegegnerin gerichtete Vorwurf des Rechtsmissbrauchs sei "ohnehin verwegen".
Wenn der Beschwerdeführer durch diese Ausführungen <ref-law> verletzt sieht, kann ihm nicht gefolgt werden. Indem er ohne nachvollziehbare Begründung behauptet, die von der Vorinstanz herangezogenen Umstände könnten das Verhalten der Beschwerdegegnerin nicht rechtfertigen, wiederholt er lediglich seine eigene Meinung, ohne wirklich auf die vorinstanzliche Begründung einzugehen. Damit wird er den Begründungsanforderungen der Beschwerde in Zivilsachen kaum gerecht (<ref-law>; vgl. <ref-ruling> E. 2.1). Es überzeugt aber auch in der Sache nicht, wenn der Beschwerdeführer den erwähnten vorinstanzlichen Feststellungen jede Erheblichkeit für die Frage des Rechtsmissbrauchs abspricht. Dass der Darlehensgeber bei Zweifeln an der Solvenz des Darlehensnehmers und umso mehr bei Verzug mit den Zinszahlungen eher dazu neigen wird, das Darlehen zu kündigen und die ihm eingeräumten Sicherheiten in Anspruch zu nehmen, versteht sich von selbst. Ein solches Verhalten stellt jedenfalls keine nutzlose oder schikanöse Rechtsausübung dar und ist nicht rechtsmissbräuchlich (vgl. z.B. <ref-ruling> E. 5.1). Dies hat die Vorinstanz zutreffend erkannt.
4. Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (<ref-law>). Der durch ihren Rechtsdienst vertretenen Beschwerdegegnerin ist praxisgemäss keine Parteientschädigung zuzusprechen (vgl. BGE <ref-ruling> E. 4; s. ferner die Urteile 2C_807/2008 vom 19. Juni 2009 E. 4.3 sowie 2C_899/2008 vom 18. Juni 2009 E. 5.2, nicht publ. in: <ref-ruling>; je mit weiteren Hinweisen).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 15'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Glarus schriftlich mitgeteilt.
Lausanne, 2. Mai 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Kölz