Sachverhalt:
A. Mit Zahlungsbefehl vom 29. Juni 2010 betrieb Y._ den Schuldner X._ für den Betrag von Fr. 39'936.05 (Betreibung Nr. 20101406 des Betreibungsamts A._). Y._ legte zwei Konkursverlustscheine über Fr. 35'847.10 und Fr. 4'088.95 ins Recht, die am 21. März 1988 zugunsten der Z._ AG ausgestellt wurden. Er stützte sich auf eine jeweils auf der Rückseite der Verlustscheine angebrachte Abtretungserklärung. Über die Z._ AG wurde 10. März 1993 der Konkurs eröffnet. X._ erhob Rechtsvorschlag mit der Begründung des mangelnden neuen Vermögens. Mit Entscheid vom 28. Januar 2011 verweigerte der Einzelrichter des Kantonsgerichtes Appenzell die Bewilligung des Rechtsvorschlages (<ref-law>). Dieser Entscheid erwuchs in Rechtskraft. Am 9. Februar 2011 ersuchte Y._ um Erteilung der provisorischen Rechtsöffnung, welche mit Entscheid des Einzelrichters des Kantonsgerichtes vom 25. Mai 2011 gewährt wurde.
B. Darauf gelangte X._ an das Obergericht von Appenzell Ausserrhoden und verlangte die Abweisung des Rechtsöffnungsgesuchs. Mit Entscheid vom 3. August 2011 wies das Obergericht die Beschwerde kostenfällig ab und erteilte in der Betreibung Nr. 20101406 des Betreibungsamtes A._ im Betrag von Fr. 39'936.05 Rechtsöffnung.
C. Mit Eingabe vom 29. August 2011 wendet sich X._ (nachfolgend Beschwerdeführer) an das Bundesgericht, dem er beantragt, das Rechtsöffnungsgesuch abzuweisen. Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege.
Mit Verfügung vom 22. September 2011 hat die Präsidentin der II. zivilrechtlichen Abteilung des Bundesgerichts der Beschwerde die aufschiebende Wirkung zuerkannt.
Es sind die Akten, aber keine Vernehmlassungen eingeholt worden.

Erwägungen:
1. Der angefochtene Rechtsöffnungsentscheid ist ein kantonal letztinstanzlicher Endentscheid mit einem Fr. 30'000.-- übersteigenden Streitwert, gegen den grundsätzlich die Beschwerde in Zivilsachen ergriffen werden kann (Art. 72 Abs. 2 lit. a, Art. 74 Abs. 1 lit. b, Art. 75 Abs. 1 und Art. 90 BGG).
Der Rechtsöffnungsentscheid ist keine vorsorgliche Massnahme im Sinne von <ref-law>, weshalb alle Rügen gemäss Art. 95 f. BGG zulässig sind und das Bundesgericht behauptete Rechtsverletzungen mit freier Kognition prüft (<ref-ruling> E. 1.5 S. 400).
Hingegen ist das Bundesgericht grundsätzlich an den von der Vorinstanz festgestellten Sachverhalt gebunden (<ref-law>). Diesbezüglich kann einzig vorgebracht werden, er sei offensichtlich unrichtig festgestellt worden (<ref-law>), wobei "offensichtlich unrichtig" mit "willkürlich" gleichzusetzen ist (Botschaft, BBl 2001 IV 4338; <ref-ruling> E. 1.2.2 S. 252), oder er beruhe auf einer anderen Rechtsverletzung im Sinne von <ref-law> (z.B. <ref-law> oder <ref-law>). Ausserdem muss in der Beschwerde aufgezeigt werden, inwiefern die Behebung der vorerwähnten Mängel für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>; <ref-ruling> E. 2.2.2 S. 22). Für all diese Elemente gilt das strenge Rügeprinzip (<ref-law>; <ref-ruling> E. 1.4.2 S. 254).
2. 2.1 Das Rechtsöffnungsverfahren ist ein Urkundenprozess, in welchem geprüft wird, ob der Gläubiger über einen Vollstreckungstitel verfügt. Nicht Gegenstand dieses Verfahrens ist hingegen der materielle Bestand der in Betreibung gesetzten Forderung. Entsprechend würdigt der Rechtsöffnungsrichter nur die Beweiskraft der vom Gläubiger vorgelegten Urkunde, nicht aber die Gültigkeit der Forderung an sich, und anerkennt die Vollstreckbarkeit des Titels, falls der Schuldner seine Einwendungen nicht unverzüglich glaubhaft macht (<ref-law>; <ref-ruling> E. 4.1.1 S. 142). Beruft sich der betreibende Gläubiger darauf, er habe die Forderung erst nach Ausstellung der Schuldanerkennung durch Abtretung erworben, so kann die provisorische Rechtsöffnung auch demjenigen erteilt werden, der die Stelle des in der Schuldanerkennung bezeichneten Gläubigers einnimmt (<ref-ruling> E. 1 S. 620; <ref-ruling> E. 3b S. 214). In diesem Fall setzt die Erteilung der Rechtsöffnung voraus, dass der neue Gläubiger den Übergang der Forderung durch eine Urkunde nachweist und die Zession als Bestandteil des Titels vorlegt (<ref-ruling> E. 4.1.1 S. 143 mit Hinweisen).
Der Beschwerdeführer anerkennt die Qualität der beiden Verlustscheine vom 21. März 1988 als Schuldanerkennung im Sinne von <ref-law> (s. <ref-law>), bestreitet aber die rechtsgültige Abtretung der Forderungen an den Beschwerdegegner.
2.2 Dazu erwog das Obergericht, nach <ref-law> habe die Partei, die sich auf eine Urkunde berufe, deren Echtheit zu beweisen, sofern die Echtheit von der anderen Partei bestritten werde, wobei die Bestreitung ausreichend begründet werden müsse. Daher müsse der Beschwerdeführer konkrete Umstände dartun, die beim Gericht ernsthafte Zweifel an der Authentizität des Urkundeninhalts oder der Unterschrift erwecken. Eine bloss pauschale, unsubstanziierte Bestreitung der Echtheit genüge nicht. Eine Ähnlichkeit der vorgelegten Schriftbilder, die darauf schliessen lasse, dass die Abtretungserklärungen nicht von der Zedentin geschrieben worden wären, sei nicht zu erkennen. Die Vorbringen des Beschwerdeführers seien nicht geeignet, ernsthafte Zweifel an der Echtheit der Abtretungserklärungen zu erwecken. Wenn der Beschwerdeführer Nachprüfungen und Untersuchungen fordere, so verkenne er offensichtlich, dass der Richter im Rechtsöffnungsverfahren kein Untersuchungsverfahren wie eine strafrechtliche Behörde durchzuführen und auch nicht von sich aus Belege oder Quittungen aus der Buchhaltung der Z._ AG einzuverlangen habe. Zusammenfassend hielt das Obergericht fest, der Beschwerdeführer mache keine Einwendungen glaubhaft, welche die Schuldanerkennungen entkräften würden.
2.3 Der Beschwerdeführer wirft dem Obergericht vor, die Gültigkeit der Abtretungserklärungen nicht nachgeprüft zu haben. Diese seien erst nachträglich auf die Verlustscheine aufgebracht worden; sie seien weder beglaubigt noch könnten andere sachdienliche Dokumente wie Quittungen oder Buchhaltungsbelege, die auf die Rechtmässigkeit der Abtretungserklärung hinweisen, beigebracht werden. Dies sei aber zwingend, denn nur so könne abgeklärt werden, ob die Einzelunterschrift zu diesem Zeitpunkt auch bestanden habe oder bereits erloschen war. Schliesslich habe er die ernsthaften Zweifel an der Authentizität der Abtretungserklärungen mit originalen Schriftbildern untermauert.
2.4 2.4.1 Soweit der Beschwerdeführer der Auffassung ist, die Abtretung hätte "beglaubigt" werden müssen, und damit eine qualifizierte Formvorschrift meint, irrt er, denn zu ihrer Gültigkeit genügt einfache Schriftlichkeit (<ref-law>). Ebenso wenig ist der Gläubiger verpflichtet, das Grundgeschäft zwischen dem Zedenten und dem Zessionar, auf dem die Abtretung basiert, mit Quittungen oder Buchhaltungsbelegen des Zedenten zu dokumentieren, wie dies der Beschwerdeführer, soweit seine Einwendungen nachvollzogen werden können, anzunehmen scheint.
2.4.2 Der Beschwerdeführer geht zudem davon aus, es obliege dem Rechtsöffnungsrichter, die Rechtmässigkeit der Abtretungserklärung gleichsam von Amtes wegen zu überprüfen. Dies trifft nicht zu. Wenn der Schuldner die Authentizität der Abtretungserklärung und damit die Gläubigereigenschaft des Zessionars bestreitet, muss er die Unechtheit der Urkunde glaubhaft machen (<ref-ruling> E. 4.1.2 S. 143). Glaubhaftmachung bedeutet bezogen auf die Tatsachengrundlage, dass für das Vorhandensein einer Tatsache gewisse Elemente sprechen, selbst wenn das Gericht noch mit der Möglichkeit rechnet, dass sie sich nicht verwirklicht haben könnte (BGE a.a.O., S. 144). Dabei kann offenbleiben, ob und in welchem Umfang die Glaubhaftmachung ein strengerer Massstab ist als die "ausreichend begründete Bestreitung" im Sinne von <ref-law>, auf die das Obergericht abgestellt hat. Jedenfalls ist das Obergericht in Würdigung des ihm vom Beschwerdeführer Vorgetragenen zum Schluss gekommen, es bestünden keine ernsthaften Zweifel an der Echtheit der Abtretungserklärung. Die Vorbringen des Beschwerdeführers sind nicht geeignet, diese Beweiswürdigung als willkürlich erscheinen zu lassen. Er beschränkt sich letztlich darauf, seine Sicht der Dinge vorzutragen. Damit genügt er den Begründungsanforderungen (s. E. 1) nicht, weshalb auf diesen Einwand nicht eingetreten werden kann.
Aus der richterlichen Fragepflicht (<ref-law>) kann der Beschwerdeführer nichts zu seinen Gunsten ableiten, denn diese trägt dem Richter nicht auf, einer Partei bei der Beweisführung behilflich zu sein.
3. Der Beschwerdeführer wendet ausserdem ein, er habe der Z._ AG seinerzeit mehrere wertvolle Bilder als Sicherheit überlassen, und folgert zumindest sinngemäss daraus, der Beschwerdegegner hätte auf Pfandverwertung betreiben müssen.
Wird für eine pfandgesicherte Forderung - wie hier - Betreibung auf Pfändung eingeleitet, kann der Schuldner mit Beschwerde (<ref-law>) verlangen, dass der Gläubiger vorerst das Pfand in Anspruch nehme (<ref-law>). Die Einrede der Vorausvollstreckung ist durch Beschwerde gegen den Zahlungsbefehl geltend zu machen, ansonsten sie verwirkt ist (<ref-ruling> E. 1 S. 106; <ref-ruling> E. 1 S. 75; DOMENICO ACOCELLA, in: Basler Kommentar, Bundesgesetz über Schuldbetreibung und Konkurs I, 2. Aufl. 2010, N 43 zu <ref-law>). Die Beschwerdefrist beträgt zehn Tage (<ref-law>) und läuft ab Zustellung des Zahlungsbefehls. Im Rechtsöffnungsverfahren kann der Beschwerdeführer die Einrede der Vorausvollstreckung nicht mehr vortragen.
4. Schliesslich trägt der Beschwerdeführer vor, er habe seinen Miteigentumsanteil an einer 1.5-Zimmer-Wohnung, der sein gesamtes Vermögen darstelle, mit Geldern aus der zweiten und dritten Säule finanziert und diese seien bis zum Erreichen des Rentenalters geschützt.
Derartige Einwendungen sind im Rechtsöffnungsverfahren nicht zu hören, denn dessen Gegenstand ist einzig und allein die Prüfung des Vorhandenseins eines Vollstreckungstitels (s. E. 2.1). Ob ein Vermögenswert des Schuldners pfändbar ist oder nicht, wird im Pfändungsverfahren (Art. 89-150 SchKG) zu beurteilen sein.
5. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Der Beschwerdeführer unterliegt und wird kostenpflichtig (<ref-law>). Wie die vorstehenden Erwägungen zeigen, muss die Beschwerde als von Anfang an aussichtslos angesehen werden, weshalb es an den materiellen Voraussetzungen der unentgeltlichen Rechtspflege mangelt (<ref-law>) und das entsprechende Gesuch abzuweisen ist. Dem Beschwerdegegner, der sich nur zum Gesuch um Gewährung der aufschiebenden Wirkung zu äussern hatte und unterlag, ist keine Entschädigung geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 1'500.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Obergericht Appenzell Ausserrhoden, Einzelrichter, schriftlich mitgeteilt.
Lausanne, 20. Oktober 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: V. Monn