Sachverhalt:
A. In der von Z._ gegen X._ eingeleiteten Betreibung Nr. .... des Betreibungsamts A._ für eine Forderung von Fr. 90'000.-- nebst Zins zu 5% seit 1. Januar 2011 auf Fr. 50'000.-- stellte das Betreibungsamt am 9. August 2012 den Zahlungsbefehl zu. X._ erhob Rechtsvorschlag.
B. Am 13. August 2012 ersuchte Z._ das Bezirksgericht Schwyz um provisorische Rechtsöffnung für den in Betreibung gesetzten Betrag.
Das Bezirksgericht erteilte Z._ mit Verfügung vom 16. Oktober 2012 die provisorische Rechtsöffnung für Fr. 30'000.-- nebst Zins zu 5% seit 1. Januar 2011 sowie für die Kosten des Zahlungsbefehls von Fr. 103.-- und die Spruchgebühr von Fr. 500.--.
Die Rechtsmittelbelehrung in dieser Verfügung lautete auszugsweise wie folgt (Hervorhebungen im Original):
"Gegen diesen Entscheid kann innert 10 Tagen seit der Zustellung beim Kantonsgericht in 6430 Schwyz Beschwerde eingereicht werden. Die Beschwerde ist schriftlich und begründet (mindestens im Doppel) einzureichen (...)."
C. C.a Am 5. November 2012 (Postaufgabe am letzten Tag der Beschwerdefrist) erhob der damals nicht anwaltlich vertretene X._ Beschwerde an das Kantonsgericht Schwyz. Er beantragte, es sei ihm für die Begründung der Beschwerde eine Fristerstreckung von 20 Tagen zu gewähren. Sodann sei seine Beschwerde aufgrund der nachzureichenden Begründung gutzuheissen und die provisorische Rechtsöffnung nur im Umfang gemäss den Darlegungen in der nachzureichenden Begründung zu erteilen.
C.b Mit Schreiben vom 14. November 2012 forderte das Kantonsgericht X._ auf, sich zur Stellungnahme des Bezirksgerichts vom 13. November 2012 (Antrag, auf die Beschwerde nicht einzutreten) zu vernehmen. Mit Schreiben vom 26. November 2012 äusserte sich X._ zu dieser Stellungnahme und reichte eine Beschwerdebegründung nach. Am 28. November 2012 ersuchte er zudem um unentgeltliche Rechtspflege für das Beschwerdeverfahren.
C.c Mit Verfügung vom 29. November 2012 trat das Kantonsgericht auf die Beschwerde nicht ein. Zudem wies es das Gesuch um unentgeltliche Rechtspflege ab.
D. Dem Bundesgericht beantragt X._ (nachfolgend Beschwerdeführer) in seiner Beschwerde in Zivilsachen vom 28. Januar 2013, die kantonsgerichtliche Verfügung vom 29. November 2012 sei aufzuheben und die Sache zur materiellen Behandlung an das Kantonsgericht zurückzuweisen.
Das Bundesgericht hat die Vorakten, hingegen keine Vernehmlassungen eingeholt.

Erwägungen:
1. 1.1 Angefochten ist der Endentscheid eines oberen Gerichts, das auf Rechtsmittel hin kantonal letztinstanzlich über eine provisorische Rechtsöffnung entschieden hat (Art. 90 und Art. 75 BGG). Es handelt sich um eine vermögensrechtliche Angelegenheit in einer Schuldbetreibungs- und Konkurssache (Art. 72 Abs. 2 lit. a BGG), wobei der erforderliche Streitwert erreicht ist (Art. 74 Abs. 1 lit. b BGG). Der angefochtene Entscheid unterliegt ohne Beschränkung der Beschwerdegründe im Sinne von Art. 98 BGG der Beschwerde in Zivilsachen (<ref-ruling> E. 1.5 S. 400).
Die im Übrigen fristgerecht (Art. 100 Abs. 1 i.V.m. Art. 46 Abs. 1 lit. c BGG) eingereichte Beschwerde in Zivilsachen ist demnach grundsätzlich zulässig.
1.2 Der Beschwerdeführer beantragt, es sei die kantonsgerichtliche Verfügung vom 29. November 2012 aufzuheben. Wie sein Antrag auf Rückweisung zur materiellen Beurteilung und seine Beschwerdebegründung verdeutlichen, ficht er vor Bundesgericht einzig den kantonsgerichtlichen Nichteintretensentscheid an, nicht hingegen auch die Abweisung seines Gesuchs um unentgeltliche Rechtspflege für das kantonsgerichtliche Beschwerdeverfahren.
2. 2.1 Das Kantonsgericht ist auf die Beschwerde des Beschwerdeführers wegen fehlender Begründung innerhalb der Beschwerdefrist nicht eingetreten. Eine Fristerstreckung zur späteren Einreichung der Begründung sei ausgeschlossen, da es sich bei der Beschwerdefrist um eine unabänderliche gesetzliche Frist handle.
2.2 Der Beschwerdeführer macht geltend, bei nicht anwaltlich vertretenen und rechtsunkundigen Beschwerdeführern könne selbst bei gesetzlichen Fristen eine kurze Nachfrist geboten sein, falls es - wie vorliegend - um kurze Fristen gehe. Es sei jedenfalls bei gesetzlichen Fristen nicht kategorisch ausgeschlossen, eine Nachfrist anzusetzen.
Eine rechtsunkundige Person kenne zwar das Institut der Fristerstreckung, nicht aber die Unterscheidung zwischen gesetzlichen und gerichtlichen Fristen. Er sei deshalb im vorliegenden Beschwerdeverfahren vor dem Kantonsgericht davon ausgegangen, die zehntägige Frist gemäss der bezirksgerichtlichen Rechtsmittelbelehrung sei erstreckbar. Zum Fristerstreckungsgesuch sei er gezwungen gewesen, da damals in der Landwirtschaft übermässig viele Tagesarbeiten angestanden seien und er als Rechtsunkundiger mit dem betreibungsrechtlichen Verfahren überfordert gewesen sei. Das Kantonsgericht verfalle in überspitzten Formalismus, wenn es ihm eine kurze Nachfrist zur Einreichung einer Begründung verwehre. Da er mit seiner Eingabe vom 26. November 2012 eine Beschwerdebegründung nachgereicht habe, erübrige es sich vorliegend, ihm eine Nachfrist anzusetzen. Vielmehr sei das Kantonsgericht anzuweisen, die nunmehr begründete Beschwerde materiell zu behandeln.
3. 3.1 Gemäss Art. 321 Abs. 1 ZPO ist die Beschwerde bei der Rechtsmittelinstanz innert 30 Tagen seit der Zustellung des begründeten Entscheids oder seit der nachträglichen Zustellung der Entscheidbegründung schriftlich und begründet einzureichen. Bei in summarischen Verfahren ergangenen Entscheiden, wozu auch Entscheide des Rechtsöffnungsgerichts zählen (Art. 251 lit. a ZPO), beträgt die Beschwerdefrist zehn Tage (Art. 321 Abs. 2 ZPO).
3.2 Das Bundesgericht hat zur Berufung (Art. 311 Abs. 1 ZPO), festgehalten, dass es sich bei der Begründung um eine gesetzliche, von Amtes wegen zu prüfende Zulässigkeitsvoraussetzung handelt. Fehlt sie, so tritt das obere kantonale Gericht auf die Berufung nicht ein (Urteile 4A_651/2012 vom 7. Februar 2013 E. 4.2; 4A_252/2012 vom 27. September 2012 E. 9.2.1; 5A_438/2012 vom 27. August 2012 E. 2.2; vgl. auch <ref-ruling> E. 4.3.1 S. 375).
Art. 321 Abs. 1 und Art. 311 Abs. 1 ZPO verlangen übereinstimmend, dass die Rechtsmitteleingabe "schriftlich und begründet einzureichen" ist. Das soeben zur Berufungsbegründung Gesagte muss demnach auch für die Beschwerdebegründung gelten (vgl. auch Botschaft vom 28. Juni 2006 zur ZPO [nachfolgend Botschaft ZPO], BBl 2006 7378 Ziff. 5.23.2).
Art. 321 Abs. 1 und Art. 311 Abs. 1 ZPO verlangen übereinstimmend, dass die Rechtsmitteleingabe "schriftlich und begründet einzureichen" ist. Das soeben zur Berufungsbegründung Gesagte muss demnach auch für die Beschwerdebegründung gelten (vgl. auch Botschaft vom 28. Juni 2006 zur ZPO [nachfolgend Botschaft ZPO], BBl 2006 7378 Ziff. 5.23.2).
3.3 3.3.1 Die richterliche Erstreckung gesetzlicher Fristen ist nur zulässig, soweit das Gesetz diese Möglichkeit vorsieht (GULDENER, Schweizerisches Zivilprozessrecht, 3. Aufl. 1979, S. 267).
Gemäss Art. 144 Abs. 1 ZPO können gesetzliche Fristen nicht erstreckt werden. Zu den gesetzlichen Fristen zählen namentlich die Rechtsmittelfristen (Urteil 5A_378/2012 vom 6. Dezember 2012 E. 4.4.3, zur Publikation vorgesehen). Die Beschwerdefrist ist demnach (gleich wie die Berufungsfrist: Urteil 4D_69/2011 vom 2. Mai 2012 E. 4.2.5) nicht erstreckbar.
3.3.2 Anders als andere Prozessgesetze enthält die ZPO keine Bestimmung, wonach immer eine angemessene Frist zur Verbesserung anzusetzen wäre, wenn die Rechtsmitteleingabe den gesetzlichen Vorgaben (wie insbesondere dem Erfordernis von Antrag und Begründung) nicht genügt (so beispielsweise Art. 61 lit. b ATSG [SR 830.1]; vgl. auch <ref-ruling> E. 2 f. S. 210 ff.; Urteile 2C_319/2011 vom 26. Januar 2012 E. 5; 2D_3/2011 vom 20. April 2011 E. 2.3).
3.3.3 Nach Art. 132 ZPO sind Mängel einer Eingabe wie fehlende Unterschrift und fehlende Vollmacht innert einer gerichtlichen Nachfrist zu verbessern, andernfalls die Eingabe als nicht erfolgt gilt (Abs. 1). Gleiches gilt für unleserliche, ungebührliche, unverständliche oder weitschweifige Eingaben (Abs. 2).
Art. 132 Abs. 1 und 2 ZPO entsprechen Art. 42 Abs. 5 und 6 BGG (Botschaft ZPO, a.a.O., 7306 Ziff. 5.9.2), wonach eine Nachfrist zur Ergänzung von Rechtsschriften, die den formellen Anforderungen, wie sie sich aus Gesetz und Rechtsprechung ergeben, nicht genügen, nicht gewährt werden kann (vgl. <ref-ruling> E. 6.4 S. 622 mit Hinweis). Demnach sind Art. 132 Abs. 1 und 2 ZPO nicht dazu bestimmt, eine inhaltlich ungenügende Begründung zu ergänzen oder nachzubessern (Urteile 5A_438/2012 vom 27. August 2012 E. 2.4, wonach dies auch bei Laieneingaben gilt; 4A_659/2011 vom 7. Dezember 2011 E. 5, in: SJ 2012 I S. 231).
3.4 Zusammenfassend gilt damit Folgendes: Reicht die beschwerdeführende Partei innerhalb der Beschwerdefrist keine Begründung der Beschwerde ein und ist wie soeben dargelegt eine Fristerstreckung ausgeschlossen (Art. 144 Abs. 1 ZPO) beziehungsweise eine Nachfrist gemäss Art. 132 ZPO in solchen Fällen nicht anzusetzen, ist eine Nachreichung der Begründung nach Ablauf der Rechtsmittelfrist unzulässig.
Vielmehr ist in solchen Fällen - wie dies das Bundesgericht zur Berufung bereits entschieden hat (vgl. E. 3.2 oben) - auf die Beschwerde nicht einzutreten und erweist sich dies nicht als überspitzt formalistisch (vgl. auch <ref-ruling> E. 2.4.2 S. 248; zum Begriff des überspitzten Formalismus <ref-ruling> E. 2.1 S. 9).
4. 4.1 Vorliegend enthielt die Beschwerde des Beschwerdeführers vom 5. November 2012 an das Kantonsgericht unbestrittenermassen keine Begründung. Die nachgereichte Begründung vom 26. November 2012 erfolgte sodann nach Ablauf der Beschwerdefrist. Das Kantonsgericht ist damit zu Recht auf die Beschwerde nicht eingetreten.
4.2 Daran vermag die Behauptung des Beschwerdeführers, er habe gemeint, auch die zehntägige Beschwerdefrist sei erstreckbar und ihm sei die Unterscheidung zwischen gesetzlicher und gerichtlicher Frist nicht bekannt gewesen, nichts zu ändern. Auszugehen ist vielmehr vom allgemeinen Grundsatz, wonach niemand Vorteile aus seiner eigenen Rechtsunkenntnis ableiten kann (<ref-ruling> E. 4.2.3.1 S. 336; Urteil 5P.241/2004 vom 23. September 2004 E. 4.2). Der Beschwerdeführer behauptet zudem zu Recht nicht, seine irrige Ansicht beruhe auf behördlichem Verhalten (zum Vertrauensschutz vgl. <ref-ruling> E. 8.3 S. 53 f.): Die bezirksgerichtliche Rechtsmittelbelehrung verweist klar auf die gesetzliche Regelung, wonach die Beschwerde innerhalb von zehn Tagen begründet einzureichen ist.
4.3 Der Beschwerdeführer hat schliesslich die Beschwerde innerhalb der Beschwerdefrist eingereicht. Damit erübrigt es sich von vornherein, auf die Fristwiederherstellung (Art. 148 ZPO) einzugehen.
5. Aus den dargelegten Gründen muss die Beschwerde abgewiesen werden. Der Beschwerdeführer wird kosten- (Art. 66 Abs. 1 BGG), nicht hingegen entschädigungspflichtig (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Kantonsgericht Schwyz schriftlich mitgeteilt.
Lausanne, 18. März 2013
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Bettler