Sachverhalt:
A. A.a Z._ leitete gegen X._ für eine Forderung von Fr. 37'250.-- nebst Zins zu 5% seit 31. Dezember 2002 die Betreibung ein. Gegen den Zahlungsbefehl Nr. xxx des Betreibungsamts Kreis A._ vom 8. Juni 2011 erhob X._ Rechtsvorschlag.
A.b Am 16. Juni 2011 ersuchte Z._ beim Bezirksgericht Plessur um provisorische Rechtsöffnung für den in Betreibung gesetzten Betrag. Das Rechtsöffnungsgesuch stützt sich massgeblich auf eine "Schuldanerkennung / Quittung vom 19. November 2003". Diese auf dem Briefpapier von X._ verfasste und von diesem unterzeichnete "Quittung" hat folgenden Inhalt (Hervorhebungen im Original):
Ich, X._, A._, bestätige von Herrn Z._, A._, den Betrag von Fr. 40'000.-- als Darlehen bezogen zu haben und verpflichte mich, diesen Betrag in monatlichen Raten in der Höhe von Fr. 1'000.-- beginnend am 1. Januar 2004 zurück zu zahlen. Andernfalls wird das gesamte, noch nicht zurückbezahlte Darlehen unverzüglich zur Rückzahlung fällig.
A.c Das Bezirksgericht erteilte Z._ mit Entscheid vom 13. Juli 2011 die provisorische Rechtsöffnung über Fr. 37'250.-- nebst Zins zu 5% seit 1. Januar 2004.
B. Die von X._ dagegen erhobene Beschwerde wies das Kantonsgericht von Graubünden mit Verfügung vom 25. August 2011 ab.
C. Dem Bundesgericht beantragt X._ (nachfolgend Beschwerdeführer) in seiner Beschwerde in Zivilsachen vom 29. September 2011, es sei der kantonsgerichtliche Entscheid aufzuheben und das Gesuch um provisorische Rechtsöffnung abzuweisen. Eventualiter sei die Angelegenheit zu neuer Beurteilung an das Kantonsgericht zurückzuweisen.
Zudem ersucht der Beschwerdeführer um aufschiebende Wirkung. Das Kantonsgericht hat mit Schreiben vom 6. Oktober 2011 auf eine Vernehmlassung zum Gesuch um aufschiebende Wirkung verzichtet, während Z._ (nachfolgend Beschwerdegegner) dessen Abweisung verlangt (Vernehmlassung vom 7. Oktober 2011). Mit Verfügung vom 14. Oktober 2011 hat die Abteilungspräsidentin das Gesuch um aufschiebende Wirkung abgewiesen.
Das Bundesgericht hat die Vorakten, hingegen in der Sache keine Vernehmlassungen eingeholt.

Erwägungen:
1. Angefochten ist ein kantonal letztinstanzlicher Endentscheid (Art. 75 und Art. 90 BGG) über eine provisorische Rechtsöffnung. Es handelt sich um eine vermögensrechtliche Angelegenheit in einer Schuldbetreibungs- und Konkurssache (<ref-law>), wobei der erforderliche Streitwert überschritten ist (<ref-law>). Der angefochtene Entscheid unterliegt ohne Beschränkung der Beschwerdegründe im Sinne von <ref-law> der Beschwerde in Zivilsachen (<ref-ruling> E. 1.5 S. 400).
2. 2.1 Die Beschwerde ist zu begründen (<ref-law>). Es ist in gedrängter Form durch Auseinandersetzung mit den Erwägungen des angefochtenen Entscheids darzulegen, welche Vorschriften und warum sie von der Vorinstanz verletzt worden sein sollen (<ref-ruling> E. 2.1 S. 245 f.; <ref-ruling> E. 3.3 S. 60). Die Verletzung von Grundrechten prüft das Bundesgericht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und gehörig begründet wird (<ref-law>).
2.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Die vorinstanzliche Sachverhaltsfeststellung und Beweiswürdigung kann nur gerügt werden, wenn sie offensichtlich unrichtig und damit willkürlich ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
2.3 Vor Bundesgericht dürfen neue Tatsachen und Beweismittel nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
Soweit der Beschwerdegegner in seiner Vernehmlassung zum Gesuch um aufschiebende Wirkung in der Sache (unaufgefordert) auf eine Tatsache hinweist, die er aus Versehen vor dem Kantonsgericht nicht eingebracht habe, ist diese neu und damit vor Bundesgericht unzulässig (<ref-ruling> E. 4.4.3 S. 129).
3. 3.1 Beruht die Forderung auf einer durch öffentliche Urkunde festgestellten oder durch Unterschrift bekräftigten Schuldanerkennung, so kann der Gläubiger die provisorische Rechtsöffnung verlangen (<ref-law>). Eine Schuldanerkennung liegt vor, wenn daraus der vorbehalts- und bedingungslose Wille des Betriebenen hervorgeht, dem Betreibenden eine bestimmte oder leicht bestimmbare Geldsumme zu zahlen (<ref-ruling> E. 2 S. 629).
3.2 Der Richter spricht die provisorische Rechtsöffnung aus, sofern der Betriebene nicht Einwendungen, welche die Schuldanerkennung entkräften, sofort glaubhaft macht (<ref-law>). Glaubhaftmachung bedeutet, dass für das Vorhandensein einer Tatsache gewisse Elemente sprechen, selbst wenn das Gericht noch mit der Möglichkeit rechnet, dass sie sich nicht verwirklicht haben könnte (<ref-ruling> E. 4.1.2 S. 143 f.).
3.2.1 Der Rechtsöffnungsrichter befindet nicht über den Bestand der in Betreibung gesetzten Forderung, sondern einzig über deren Vollstreckbarkeit. Ziel des Verfahrens auf provisorische Rechtsöffnung ist also nicht, über die Existenz der in Betreibung gesetzten Forderung, sondern über die Existenz eines Vollstreckungstitels gemäss <ref-law> zu befinden. Der materielle Forderungsprozess folgt erst nach dem Rechtsöffnungsentscheid und auch nur dann, wenn die Parteien die Initiative hiezu ergreifen (vgl. jeweils mit Hinweisen: <ref-ruling> E. 2.3 S. 586 f.; <ref-ruling> E. 3.3 S. 569).
4.1 4.1.1 Der Beschwerdeführer bestreitet vor Bundesgericht nicht, dass es sich bei der "Quittung" vom 19. November 2003 um eine Schuldanerkennung gemäss <ref-law> handelt.
4.1.2 Er macht geltend, er habe mit dem Beschwerdegegner persönlich nie ein Rechtsverhältnis begründet. Der Beschwerdegegner sei Generalagent der Versicherung S._ gewesen und habe die Korrespondenz mit dem Beschwerdeführer immer als Generalagent geführt und nicht als Privatperson. Die Versicherung S._ sei mittlerweile von der Versicherung T._ übernommen worden. Der Beschwerdegegner könne nun nicht eine Forderung, die seiner ehemaligen Arbeitgeberin zustehe, als persönliche Forderung geltend machen.
Die Quittung vom 19. November 2003 sei ein Schreiben des Beschwerdegegners in dessen Funktion als Generalagent der Versicherung S._. Da der Beschwerdeführer glaubhaft gemacht habe, dass die Forderung der Versicherung S._ beziehungsweise nunmehr der Versicherung T._ zustehe, hätte das Kantonsgericht die Rechtsöffnung nicht erteilen dürfen, da der Beschwerdegegner nicht sachlegitimiert sei.
4.2 Das Kantonsgericht kam insoweit zum Schluss, die Quittung bezeichne den Beschwerdegegner als Gläubiger und aus dieser Quittung resultierten keinerlei Hinweise auf den vom Beschwerdeführer behaupteten Sachverhalt. Aus den Akten ergäben sich zudem weder eine Forderungsabtretung noch eine Schuldübernahme. Dem Beschwerdeführer gelinge es nicht, die Schuldanerkennung zu entkräften. Jedoch stehe es ihm offen, mit allen ihm zur Verfügung stehenden Beweismitteln Aberkennungsklage gemäss <ref-law> zu erheben.
4.3 In seiner Beschwerde stellt der Beschwerdeführer den Sachverhalt aus seiner Sicht dar und würdigt die Quittung vom 19. November 2003 und die weiteren Aktenstücke nach eigenem Empfinden. Er ergänzt die kantonsgerichtliche Sachverhaltsfeststellung und nimmt eine eigene Beweiswürdigung vor, ohne jedoch eine (rechtsgenüglich substanziierte) Rüge gegen die kantonsgerichtliche Sachverhaltsfeststellung zu erheben. Darauf ist nicht einzutreten (vgl. E. 2.2 oben; <ref-ruling> E. 4.4 S. 522).
Ebenso wenig legt der Beschwerdeführer dar, inwiefern das Kantonsgericht in der Rechtsanwendung gestützt auf den festgestellten Sachverhalt Recht verletzt haben soll. Zwar erwähnt er eingangs seiner Beschwerde, er stütze diese auf den Beschwerdegrund von <ref-law>. Jedoch unterlässt er es in der Folge, sich mit dem kantonsgerichtlichen Entscheid auseinanderzusetzen und darzulegen, welche Vorschriften und warum sie vom Kantonsgericht verletzt worden sein sollen. Stattdessen begnügt er sich damit, den kantonsgerichtlichen Erwägungen seine eigene Betrachtungsweise entgegenzuhalten. Damit genügt er den Begründungsanforderungen von <ref-law> ebenfalls nicht (vgl. E. 2.1 oben; <ref-ruling> E. 6 S. 153).
5. Aus den dargelegten Gründen ist auf die Beschwerde nicht einzutreten. Der Beschwerdeführer wird kostenpflichtig (<ref-law>). Dem Beschwerdegegner ist kein entschädigungspflichtiger Aufwand entstanden (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Kantonsgericht Graubünden, Schuldbetreibungs- und Konkurskammer, schriftlich mitgeteilt.
Lausanne, 6. Dezember 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Bettler