Sachverhalt: A. Mit Vertrag vom 22. Dezember 2009 über ein partiarisches Darlehen gewährte B._ A._ einen Kredit in der Höhe von Fr. 250'000.--, wobei die C._ AG mit A._ solidarisch mithaften sollte. Einen analogen Vertrag schlossen A._ und die C._ AG auch mit D._, der seine Forderung später an B._ zedierte. In beiden Verträgen wurde eine monatliche Abzahlungsrate vereinbart. B._ betrieb A._ mit Zahlungsbefehl des Betreibungskreises U._ vom 5. Juli 2013, nachdem einige Abzahlungsraten nicht geleistet worden waren. Der Betriebene erhob Rechtsvorschlag. Am 28. November 2013 ersuchte B._ beim Bezirksgericht March um provisorische Rechtsöffnung für Fr. 169'056.-- nebst Zins und die Betreibungskosten. Mit Verfügung vom 28. Mai 2014 erteilte das Bezirksgericht provisorische Rechtsöffnung für Fr. 42'264.-- nebst Zins und Kosten. B. Gegen diese Verfügung erhob A._ am 11. Juni 2014 Beschwerde an das Kantonsgericht Schwyz. Er verlangte die Aufhebung der angefochtenen Verfügung und die Abweisung des Rechtsöffnungsgesuchs. Eventuell sei die Sache an das Bezirksgericht zurückzuweisen. Zudem ersuchte er um aufschiebende Wirkung. Mit Beschluss vom 16. Dezember 2014 wies das Kantonsgericht die Beschwerde ab. C. Am 2. Februar 2015 hat A._ (Beschwerdeführer) Beschwerde in Zivilsachen an das Bundesgericht erhoben. Er verlangt, den Beschluss des Kantonsgerichts aufzuheben und das Rechtsöffnungsgesuch abzuweisen. Allenfalls sei die Sache an das Kantonsgericht zurückzuweisen. Das Bundesgericht hat die Akten beigezogen, aber keine Vernehmlassungen eingeholt.