Sachverhalt: A. In der von Z._ gegen X._ eingeleiteten Betreibung Nr. .... des Betreibungsamts A._ für eine Forderung von Fr. 90'000.-- nebst Zins zu 5% seit 1. Januar 2011 auf Fr. 50'000.-- stellte das Betreibungsamt am 9. August 2012 den Zahlungsbefehl zu. X._ erhob Rechtsvorschlag. B. Am 13. August 2012 ersuchte Z._ das Bezirksgericht Schwyz um provisorische Rechtsöffnung für den in Betreibung gesetzten Betrag. Das Bezirksgericht erteilte Z._ mit Verfügung vom 16. Oktober 2012 die provisorische Rechtsöffnung für Fr. 30'000.-- nebst Zins zu 5% seit 1. Januar 2011 sowie für die Kosten des Zahlungsbefehls von Fr. 103.-- und die Spruchgebühr von Fr. 500.--. Die Rechtsmittelbelehrung in dieser Verfügung lautete auszugsweise wie folgt (Hervorhebungen im Original): "Gegen diesen Entscheid kann innert 10 Tagen seit der Zustellung beim Kantonsgericht in 6430 Schwyz Beschwerde eingereicht werden. Die Beschwerde ist schriftlich und begründet (mindestens im Doppel) einzureichen (...)." C. C.a Am 5. November 2012 (Postaufgabe am letzten Tag der Beschwerdefrist) erhob der damals nicht anwaltlich vertretene X._ Beschwerde an das Kantonsgericht Schwyz. Er beantragte, es sei ihm für die Begründung der Beschwerde eine Fristerstreckung von 20 Tagen zu gewähren. Sodann sei seine Beschwerde aufgrund der nachzureichenden Begründung gutzuheissen und die provisorische Rechtsöffnung nur im Umfang gemäss den Darlegungen in der nachzureichenden Begründung zu erteilen. C.b Mit Schreiben vom 14. November 2012 forderte das Kantonsgericht X._ auf, sich zur Stellungnahme des Bezirksgerichts vom 13. November 2012 (Antrag, auf die Beschwerde nicht einzutreten) zu vernehmen. Mit Schreiben vom 26. November 2012 äusserte sich X._ zu dieser Stellungnahme und reichte eine Beschwerdebegründung nach. Am 28. November 2012 ersuchte er zudem um unentgeltliche Rechtspflege für das Beschwerdeverfahren. C.c Mit Verfügung vom 29. November 2012 trat das Kantonsgericht auf die Beschwerde nicht ein. Zudem wies es das Gesuch um unentgeltliche Rechtspflege ab. D. Dem Bundesgericht beantragt X._ (nachfolgend Beschwerdeführer) in seiner Beschwerde in Zivilsachen vom 28. Januar 2013, die kantonsgerichtliche Verfügung vom 29. November 2012 sei aufzuheben und die Sache zur materiellen Behandlung an das Kantonsgericht zurückzuweisen. Das Bundesgericht hat die Vorakten, hingegen keine Vernehmlassungen eingeholt.