Sachverhalt: A. Mit Zahlungsbefehl vom 29. Juni 2010 betrieb Y._ den Schuldner X._ für den Betrag von Fr. 39'936.05 (Betreibung Nr. 20101406 des Betreibungsamts A._). Y._ legte zwei Konkursverlustscheine über Fr. 35'847.10 und Fr. 4'088.95 ins Recht, die am 21. März 1988 zugunsten der Z._ AG ausgestellt wurden. Er stützte sich auf eine jeweils auf der Rückseite der Verlustscheine angebrachte Abtretungserklärung. Über die Z._ AG wurde 10. März 1993 der Konkurs eröffnet. X._ erhob Rechtsvorschlag mit der Begründung des mangelnden neuen Vermögens. Mit Entscheid vom 28. Januar 2011 verweigerte der Einzelrichter des Kantonsgerichtes Appenzell die Bewilligung des Rechtsvorschlages (Art. 265a SchKG). Dieser Entscheid erwuchs in Rechtskraft. Am 9. Februar 2011 ersuchte Y._ um Erteilung der provisorischen Rechtsöffnung, welche mit Entscheid des Einzelrichters des Kantonsgerichtes vom 25. Mai 2011 gewährt wurde. B. Darauf gelangte X._ an das Obergericht von Appenzell Ausserrhoden und verlangte die Abweisung des Rechtsöffnungsgesuchs. Mit Entscheid vom 3. August 2011 wies das Obergericht die Beschwerde kostenfällig ab und erteilte in der Betreibung Nr. 20101406 des Betreibungsamtes A._ im Betrag von Fr. 39'936.05 Rechtsöffnung. C. Mit Eingabe vom 29. August 2011 wendet sich X._ (nachfolgend Beschwerdeführer) an das Bundesgericht, dem er beantragt, das Rechtsöffnungsgesuch abzuweisen. Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege. Mit Verfügung vom 22. September 2011 hat die Präsidentin der II. zivilrechtlichen Abteilung des Bundesgerichts der Beschwerde die aufschiebende Wirkung zuerkannt. Es sind die Akten, aber keine Vernehmlassungen eingeholt worden.