Sachverhalt:
A. Mit Entscheid vom 20. September 2011 erteilte die Einzelrichterin des Kreisgerichts St. Gallen der Z._ AG in der gegen X._ geführten Betreibung Nr. 1 des Betreibungsamtes der Stadt St. Gallen provisorische Rechtsöffnung für Fr. 1'031'593.71.
Dagegen erhob X._ am 10. Oktober 2011 Beschwerde. Das Kantonsgericht St. Gallen wies sie mit Entscheid vom 7. November 2011 ab, soweit es auf sie eintrat. Im gleichen Entscheid wies es das Begehren von X._ um unentgeltliche Rechtspflege ab.
B. Am 14. Dezember 2011 (Postaufgabe) hat X._ (Beschwerdeführer) Beschwerde in Zivilsachen und Verfassungsbeschwerde an das Bundesgericht erhoben. Er beantragt die Aufhebung des angefochtenen Urteils. Zudem ersucht er um aufschiebende Wirkung, unentgeltliche Rechtspflege, Akteneinsicht und um eine Verhandlung.
Nach entsprechender Aufforderung hat der Beschwerdeführer am 11. Januar 2012 (Postaufgabe) Unterlagen zu seinem Gesuch um unentgeltliche Rechtspflege nachgereicht. Am 12. Januar 2012 hat das Bundesgericht den Beschwerdeführer darauf aufmerksam gemacht, er könne nach Voranmeldung jederzeit Akteneinsicht nehmen. Davon hat er keinen Gebrauch gemacht.
Nachdem das Kantonsgericht auf Stellungnahme zum Gesuch um aufschiebende Wirkung verzichtet hat und sich die Z._ AG (Beschwerdegegnerin) nicht hat vernehmen lassen, ist der Beschwerde mit Präsidialverfügung vom 20. Januar 2012 aufschiebende Wirkung erteilt worden.
Das Bundesgericht hat die Akten beigezogen, in der Sache aber keine Vernehmlassungen eingeholt.

Erwägungen:
1. 1.1 Angefochten ist binnen Frist (Art. 100 Abs. 1 BGG) ein kantonal letztinstanzlicher Endentscheid des als Rechtsmittelinstanz urteilenden Kantonsgerichts (Art. 75 und Art. 90 BGG) in einer Schuldbetreibungssache (Art. 72 Abs. 2 lit. a BGG). Der massgebliche Streitwert der Beschwerde in Zivilsachen (Art. 74 Abs. 1 lit. b BGG) ist bei weitem überschritten. Die subsidiäre Verfassungsbeschwerde steht nicht zur Verfügung (Art. 113 BGG). Die Eingabe des Beschwerdeführers ist deshalb insgesamt als Beschwerde in Zivilsachen zu behandeln.
1.2 Die Beschwerdeschrift hat ein Rechtsbegehren zu enthalten (Art. 42 Abs. 1 BGG). Da die Beschwerde in Zivilsachen ein reformatorisches Rechtsmittel ist (Art. 107 Abs. 2 BGG), darf sich der Beschwerdeführer grundsätzlich nicht darauf beschränken, die Aufhebung des angefochtenen Entscheids zu beantragen, sondern muss einen Antrag in der Sache stellen. Der Beschwerdeführer muss demnach angeben, welche Punkte des Entscheids angefochten und welche Abänderungen beantragt werden (<ref-ruling> E. 1.3 S. 383; <ref-ruling> E. 3.1 S. 489 f. mit Hinweisen).
Der Beschwerdeführer stellt lediglich einen Aufhebungsantrag. Dies ist unzulässig. Seine Rechtsbegehren sind allerdings nach Treu und Glauben, insbesondere im Lichte der dazu gegebenen Begründung auszulegen (Urteil 4C.165/2003 vom 3. November 2003 E. 1.1 mit Hinweisen, nicht publ. in: <ref-ruling>). Der Begründung lässt sich entnehmen, dass er die Verweigerung der provisorischen Rechtsöffnung oder zumindest die Rückweisung an die Vorinstanz anstrebt. Insoweit genügt die Eingabe des anwaltlich nicht vertretenen Beschwerdeführers den Anforderungen von Art. 42 Abs. 1 BGG.
1.3 Mit der Beschwerde in Zivilsachen können Rechtsverletzungen gemäss Art. 95 f. BGG gerügt werden. Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1 BGG). Dabei bedeutet "offensichtlich unrichtig" willkürlich (<ref-ruling> E. 1.5 S. 130 mit Hinweis).
1.4 Die Beschwerde ist zu begründen (Art. 42 Abs. 1 BGG). Nach Art. 42 Abs. 2 BGG ist in der Begründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Dies setzt voraus, dass sich der Beschwerdeführer wenigstens kurz mit den Erwägungen des angefochtenen Entscheids auseinandersetzt (<ref-ruling> E. 2.1 S. 245 f.; <ref-ruling> E. 3.3 S. 60). Strengere Anforderungen gelten, wenn die Verletzung von Grundrechten geltend gemacht wird (Art. 106 Abs. 2 BGG). Eine Verfassungsrüge muss in der Beschwerde präzise vorgebracht und begründet werden (<ref-ruling> E. 3.2 S. 88). Dies bedeutet, dass anhand der Erwägungen des angefochtenen Entscheids klar und detailliert darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (<ref-ruling> E. 1.2 S. 234 mit Hinweisen).
1.5 Der Beschwerdeführer ersucht um eine Verhandlung vor Bundesgericht. Soweit er damit eine Parteiverhandlung verlangen sollte, so ist darauf hinzuweisen, dass solche vor Bundesgericht nur ausnahmsweise stattfinden und die Parteien grundsätzlich keinen Anspruch darauf haben (Art. 57 BGG; Urteil 2C_844/2009 vom 22. November 2010 E. 3.2.3, nicht publ. in: <ref-ruling>, aber in: Pra 100/2011 Nr. 73 S. 520). Ein Antrag auf mündliche Verhandlung ist, wie alle Anträge an das Bundesgericht (vgl. oben E. 1.4), zu begründen. Der Beschwerdeführer hat dies einzig dadurch getan, dass er hinter den Antrag um Verhandlung und Akteneinsicht die Klammerbemerkung "(BV 29)" gesetzt hat. Dies genügt nicht, um aufzuzeigen, inwiefern besondere Umstände vorliegen sollen, die ausnahmsweise eine mündliche Verhandlung gebieten. Sollte er hingegen eine mündliche und öffentliche Urteilsberatung wünschen, so ist darauf hinzuweisen, dass das Bundesgericht grundsätzlich auf dem Wege der Aktenzirkulation entscheidet und nur ausnahmsweise in einer öffentlichen Sitzung, wobei auch hier die Parteien keinen Anspruch auf öffentliche Beratung haben (Art. 58 BGG).
2. 2.1 Der Beschwerdeführer rügt verschiedene Verletzungen des rechtlichen Gehörs (Art. 29 Abs. 2 BV). Er macht geltend, er müsse sich mündlich zur Rechtsöffnung äussern können. Was er schriftlich vorgebracht habe, sei nicht gewürdigt worden. Vor der ersten Instanz habe er Akteneinsicht verlangt, was ihm jedoch verweigert worden sei. Schliesslich seien zwei seiner Eingaben (vom 30. Juli 2011 und vom 31. August 2011) nicht berücksichtigt worden. Rechtliches Gehör sei bei beiden Vorinstanzen verlangt, aber nicht gewährt worden.
2.2 Der Beschwerdeführer wirft Kreis- und Kantonsgericht Verletzungen des rechtlichen Gehörs vor. Gegen das Verhalten des Kreisgerichts kann der Beschwerdeführer nicht direkt Rügen erheben, da einzig das kantonsgerichtliche Urteil Anfechtungsgegenstand bildet (Art. 75 Abs. 1 BGG). Er kann lediglich geltend machen, dass das Kantonsgericht allfällige diesbezügliche Rügen in seiner kantonalen Beschwerde falsch beurteilt habe. Soweit er die angeblichen Gehörsverletzungen durch das Kreisgericht nicht bereits vor Kantonsgericht geltend gemacht hat, ist er mit entsprechenden Rügen vor Bundesgericht ausgeschlossen (<ref-ruling> E. 3.2 S. 429 mit Hinweisen).
Was die beiden Eingaben vom 30. Juli 2011 und vom 31. August 2011 betrifft, so hat das Kantonsgericht festgehalten, sie seien vom Kreisgericht aufgrund des Konzentrationsgrundsatzes nicht berücksichtigt worden und der Beschwerdeführer habe dagegen vor Kantonsgericht keine Einwendungen erhoben. Auf diese Ausführungen geht der Beschwerdeführer vor Bundesgericht nicht ein, weshalb seine Rüge den Begründungsanforderungen (oben E. 1.4) nicht genügt. Welche weiteren schriftlichen Vorbringen nicht berücksichtigt worden sein sollen, legt der Beschwerdeführer nicht detailliert dar, sondern einzig mit dem Hinweis auf angeblich eingereichte Dokumente. Des Weiteren legt er weder dar, wann und wie er vor Kreisgericht Akteneinsicht verlangt haben will, noch wann und durch welche Massnahmen sie ihm verweigert worden sein soll. Das Kantonsgericht hat keine entsprechende Rüge des Beschwerdeführers behandelt. Um die angebliche Verletzung des Akteneinsichtsrechts durch das Kreisgericht vor Bundesgericht rügen zu können, hätte der Beschwerdeführer - wie gesagt - eine entsprechende Rüge bereits vor Kantonsgericht erheben müssen. Der Beschwerdeführer behauptet allerdings nicht, dass er vor der Vorinstanz eine entsprechende Rüge erhoben habe und diese zu Unrecht nicht behandelt worden sei. Schliesslich genügen auch seine Ausführungen zum angeblichen Anspruch auf mündliche Verhandlung den Begründungsanforderungen nicht. Soweit er sich auf das erstinstanzliche Verfahren beziehen sollte, behauptet er nicht einmal, vor Kreisgericht einen entsprechenden Antrag gestellt zu haben. Hingegen hat er vor Kantonsgericht sinngemäss einen Antrag auf mündliche Verhandlung gestellt. Diesen hat das Kantonsgericht abgewiesen und zur Begründung ausgeführt, gemäss Art. 327 Abs. 2 ZPO könne aufgrund der Akten entschieden werden, besondere Umstände, die eine Verhandlung ausnahmsweise anzeigten, seien nicht dargetan und es sei nicht ersichtlich, was der Beschwerdeführer vorbringen könnte, was er nicht auch schriftlich vorbringen konnte. Mit dieser Begründung setzt sich der Beschwerdeführer nicht auseinander. Stattdessen verweist er darauf, seine materiellrechtliche Betroffenheit sei sehr gross und eine Aberkennungsklage könne er sich nicht leisten. Auf die Rüge der Verletzung des rechtlichen Gehörs kann somit insgesamt nicht eingetreten werden.
3. 3.1 Der Beschwerdeführer macht ausserdem geltend, die beiden Vorinstanzen seien örtlich nicht zuständig. Sein Lebensmittelpunkt befinde sich im Ausland und sein Aufenthaltsort in der Schweiz sei in B._ (Kanton St. Gallen), wo er arbeite, und nicht in der Stadt St. Gallen.
3.1.1 Das Kantonsgericht hat festgehalten, der Beschwerdeführer habe nach Zustellung des Zahlungsbefehls Beschwerde wegen Unzuständigkeit des Betreibungsamtes St. Gallen erhoben. Diese sei vom Kantonsgericht in zweiter Rechtsmittelinstanz am 12. Mai 2011 mit der Begründung abgewiesen worden, der Beschwerdeführer habe weder einen Wohnsitz im Ausland noch einen solchen in der Schweiz nachweisen können, weshalb die Betreibung an seinem Aufenthaltsort in St. Gallen (Art. 48 SchKG) zulässig sei. Dieser Entscheid sei rechtskräftig. Deshalb sei auch der Rechtsöffnungsrichter in St. Gallen zuständig. Daran ändere selbst dann nichts, wenn sich der Beschwerdeführer auf einen nach Zustellung des Zahlungsbefehls erfolgten Wechsel des Aufenthaltsorts berufen könnte. Den Nachweis für einen solchen Wechsel habe er nicht erbracht, selbst wenn integral auf seine Ausführungen abgestellt würde. Schliesslich habe der Beschwerdeführer der Gläubigerin einen Aufenthaltswechsel nicht mitgeteilt und Letztere habe auch nicht auf andere Weise davon erfahren. Damit sich der Beschwerdeführer auf den Wechsel des Aufenthaltsorts berufen könne, wäre dies jedoch in Analogie zur Rechtsprechung zur Wohnsitzverlegung nötig gewesen.
3.1.2 Die Ausführungen des Beschwerdeführers gegen diese Erwägungen erschöpfen sich weitgehend in appellatorischen und unbelegten Behauptungen über seinen angeblichen Lebensmittelpunkt und seine privaten Beziehungen im Ausland sowie die Verlegung des Aufenthaltsortes in der Schweiz. Er setzt sich insbesondere nicht damit auseinander, dass auf das rechtskräftige Urteil vom 12. Mai 2011 abgestellt werden könne und dass ihm der Nachweis der Verlegung des Aufenthaltsortes selbst bei Zutreffen seiner Behauptungen misslungen sei. Stattdessen wiederholt er seinen schon vor der Vorinstanz ohne Erfolg eingenommenen Standpunkt, es genüge für den Nachweis des Wechsels des Aufenthaltsortes, dass er die gerichtliche Korrespondenz in B._ in Empfang genommen habe. Darauf kann nicht eingetreten werden.
3.1.2 Die Ausführungen des Beschwerdeführers gegen diese Erwägungen erschöpfen sich weitgehend in appellatorischen und unbelegten Behauptungen über seinen angeblichen Lebensmittelpunkt und seine privaten Beziehungen im Ausland sowie die Verlegung des Aufenthaltsortes in der Schweiz. Er setzt sich insbesondere nicht damit auseinander, dass auf das rechtskräftige Urteil vom 12. Mai 2011 abgestellt werden könne und dass ihm der Nachweis der Verlegung des Aufenthaltsortes selbst bei Zutreffen seiner Behauptungen misslungen sei. Stattdessen wiederholt er seinen schon vor der Vorinstanz ohne Erfolg eingenommenen Standpunkt, es genüge für den Nachweis des Wechsels des Aufenthaltsortes, dass er die gerichtliche Korrespondenz in B._ in Empfang genommen habe. Darauf kann nicht eingetreten werden.
3.2 3.2.1 Der Beschwerdeführer macht ferner geltend, dass der Pfandausfallschein keinen Rechtsöffnungstitel darstelle, wenn das Grundgeschäft mit einer Bürgschaft verbunden sei. Er biete keinen sicheren Nachweis der Forderungssumme, da der Bürge zwischenzeitlich bezahlt haben könnte. Der Beschwerdeführer kritisiert dabei ausdrücklich die gesetzliche Regelung von Art. 158 Abs. 3 SchKG, die er mit Art. 82 Abs. 1 SchKG für unvereinbar und willkürlich hält.
3.2.2 Nach dem klaren Wortlaut von Art. 158 Abs. 3 SchKG gilt der Pfandausfallschein als Schuldanerkennung im Sinne von Art. 82 SchKG. Es ist nicht ersichtlich, dass dieser Wortlaut nicht den tatsächlichen Sinn der Norm wiedergeben würde und der vom Beschwerdeführer genannte Fall davon zu Unrecht erfasst wäre. Blosse Schwierigkeiten beim Nachweis einer allfälligen zwischenzeitlichen Tilgung der Schuld vermögen ein Abweichen vom Gesetzestext nicht zu rechtfertigen. Solche Schwierigkeiten können bei jeder Schuldanerkennung und bei jedem Pfandausfallschein bestehen. Wie die Vorinstanz zu Recht ausgeführt hat, ist der Beschwerdeführer für diesen Fall auf die Aberkennungsklage zu verweisen. Die Rüge ist somit unbegründet. Mit seiner Kritik zielt der Beschwerdeführer denn auch vielmehr auf die Entscheidungen des Gesetzgebers. Das Bundesgericht wäre jedoch selbst bei Vorliegen der behaupteten Verfassungswidrigkeit (Art. 9 BV) an das Bundesgesetz gebunden (Art. 190 BV).
3.2.2 Nach dem klaren Wortlaut von Art. 158 Abs. 3 SchKG gilt der Pfandausfallschein als Schuldanerkennung im Sinne von Art. 82 SchKG. Es ist nicht ersichtlich, dass dieser Wortlaut nicht den tatsächlichen Sinn der Norm wiedergeben würde und der vom Beschwerdeführer genannte Fall davon zu Unrecht erfasst wäre. Blosse Schwierigkeiten beim Nachweis einer allfälligen zwischenzeitlichen Tilgung der Schuld vermögen ein Abweichen vom Gesetzestext nicht zu rechtfertigen. Solche Schwierigkeiten können bei jeder Schuldanerkennung und bei jedem Pfandausfallschein bestehen. Wie die Vorinstanz zu Recht ausgeführt hat, ist der Beschwerdeführer für diesen Fall auf die Aberkennungsklage zu verweisen. Die Rüge ist somit unbegründet. Mit seiner Kritik zielt der Beschwerdeführer denn auch vielmehr auf die Entscheidungen des Gesetzgebers. Das Bundesgericht wäre jedoch selbst bei Vorliegen der behaupteten Verfassungswidrigkeit (Art. 9 BV) an das Bundesgesetz gebunden (Art. 190 BV).
3.3 3.3.1 Der Beschwerdeführer bestreitet schliesslich, dass die Beschwerdegegnerin Gläubigerin der Pfandausfallforderung ist.
Nach Feststellung der Vorinstanz ist die ursprünglich der Bank V._ zustehende Forderung an die Y._ AG abgetreten worden und anschliessend durch Fusion an die Beschwerdegegnerin übergegangen.
Der Beschwerdeführer behauptet, die Zession an die Y._ AG könne nicht die letzte gewesen sein. Dies werde bewiesen durch das Dokument, mit dem er von der W._ zur Begleichung derselben Schuld aufgefordert werde.
3.3.2 Der Beschwerdeführer hatte dieses Dokument bereits der Vorinstanz eingereicht. Sie hat es als unzulässiges Novum gemäss Art. 326 Abs. 1 ZPO bewertet und demgemäss nicht berücksichtigt. Darauf geht der Beschwerdeführer nicht ein. Die Vorinstanz hat im Übrigen erwogen, an der Aktivlegitimation der Beschwerdegegnerin könne selbst bei Berücksichtigung des Schreibens der W._ kein Zweifel bestehen, weil die Beschwerdegegnerin den Pfandausfallschein im Original vorgelegt habe. Auch damit setzt sich der Beschwerdeführer nicht auseinander. Auf die Rüge ist mangels genügender Begründung nicht einzutreten.
4. 4.1 Der Beschwerdeführer wendet sich schliesslich gegen das Vorgehen des Kantonsgerichts bei der Beurteilung seines Gesuchs um unentgeltliche Rechtspflege. Das Kantonsgericht hat das Gesuch gleichzeitig mit der Beschwerde wegen Aussichtslosigkeit abgewiesen. Der Beschwerdeführer macht geltend, das Gesuch hätte behandelt werden müssen, bevor in der Sache entschieden werde, da ihm ansonsten Kosten entstehen könnten.
4.2 Der Beschwerdeführer geht zu Unrecht davon aus, dass ihm bei Rückzug der Beschwerde nach allfälliger Abweisung seines Gesuchs um unentgeltliche Rechtspflege keine Kosten erwachsen könnten (vgl. Art. 106 Abs. 1 Satz 2 ZPO). Er legt nicht dar, anhand welcher Grundlage ihm vorliegend keine oder auch nur geringere Kosten aufzuerlegen gewesen wären, wenn er die kantonale Beschwerde nach Mitteilung eines abschlägigen Entscheids über die unentgeltliche Rechtspflege zurückgezogen hätte.
Im Übrigen ist nach der bundesgerichtlichen Rechtsprechung die Beurteilung eines Gesuchs um unentgeltliche Rechtspflege zusammen mit dem Endentscheid bzw. im Rahmen der Kostenregelung in denjenigen Fällen nicht zu beanstanden, in denen das Gesuch mit der Eingabe in der Hauptsache verbunden wird und danach keine weiteren Vorkehren des Rechtsvertreters erforderlich sind (Urteile 1P.345/2004 vom 1. Oktober 2004 E. 4.3; 4A_20/2011 vom 11. April 2011 E. 7.2.2). Der Beschwerdeführer war vor der Vorinstanz nicht vertreten und er hatte auch nicht um Verbeiständung ersucht, so dass nach Einreichung der Beschwerde von vornherein keine weiteren Kosten durch Vorkehren eines Rechtsvertreters anfallen konnten. Eine Verletzung von Art. 29 Abs. 3 BV liegt demnach nicht vor.
5. Die Beschwerde ist somit abzuweisen, soweit auf sie eingetreten werden kann. Bei diesem Verfahrensausgang wird der Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1 BGG). Sein Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren ist abzuweisen, da seine Beschwerde nach dem Gesagten von vornherein aussichtslos war (Art. 64 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, Einzelrichter für Beschwerden SchKG, schriftlich mitgeteilt.
Lausanne, 20. Februar 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Zingg