Sachverhalt: A. A.a. A.A._ (Beschwerdeführer) und B.A._ (Beschwerdegegnerin) heirateten am 9. Januar 1981. Sie haben zwei gemeinsame Kinder (geb. 1984 und 1995). A.b. Mit Eheschutzentscheid des Bezirksgerichts Schwyz vom 3. Februar 2009 wurde der Beschwerdeführer verpflichtet, der Beschwerdegegnerin rückwirkend per 4. Juli 2007 monatliche Unterhaltsbeiträge von Fr. 9'000.-- (an die Ehefrau persönlich) und Fr. 4'000.-- (für die jüngere Tochter inkl. Schulgeld u.a.) zu bezahlen. Der Ehemann wurde berechtigt, die seither an den Unterhalt von Frau und Kind geleisteten Zahlungen von den geschuldeten Unterhaltsbeiträgen in Abzug zu bringen. B. B.a. Am 26. November 2009 klagte die Beschwerdegegnerin auf Scheidung. B.b. Der Beschwerdeführer ersuchte am 19. Januar 2010 um Abänderung der im Scheidungsverfahren als vorsorgliche Massnahmen weitergeltenden Eheschutzmassnahmen. Das Bezirksgericht Schwyz wies das Gesuch mit Entscheid vom 2. Juli 2010 ab. B.c. Am 10. November 2010 reichte der Beschwerdeführer ein weiteres Gesuch um Abänderung der vorsorglichen Massnahmen ein. Mit Schreiben vom 14. Juli 2011 zog er sein Gesuch indes zurück, worauf das Bezirksgericht Schwyz das Abänderungsverfahren mit Verfügung vom 18. Juli 2011 "infolge Rückzug des Begehrens als gegenstandslos" abschrieb. C. C.a. Mit Eingabe vom 25. Juni 2013 ersuchte der Beschwerdeführer erneut um Abänderung der vorsorglichen Massnahmen gemäss der Verfügung des Bezirksgerichts Schwyz vom 3. Februar 2009. Er beantragte, seine Unterhaltspflicht sei rückwirkend auf den 10. November 2010 angemessen herabzusetzen. Eventualiter sei die Unterhaltspflicht rückwirkend ab Gesuchseinreichung, subeventualiter "umgehend" herabzusetzen. C.b. Die Beschwerdegegnerin beantragte am 2. Oktober 2013 die Abweisung des Gesuchs. C.c. Am 17. Januar 2014 fand die Hauptverhandlung vor dem Bezirksgericht Schwyz statt. Während der Beschwerdeführer an seinen Anträgen festhielt, beantragte die Beschwerdegegnerin ein Nichteintreten. Anschliessend wurde das Verfahren zwecks Führung aussergerichtlicher Vergleichsgespräche einstweilen sistiert. C.d. Mit Entscheid vom 3. Juli 2014 wies das Bezirksgericht das Änderungsgesuch ab und auferlegte dem Beschwerdeführer die Gerichtskosten und eine Parteientschädigung zugunsten der Beschwerdegegnerin. D. D.a. Gegen diesen Entscheid führte der Beschwerdeführer am 16. Juli 2014 Berufung an das Kantonsgericht Schwyz. Er verlangte, der angefochtene Entscheid sei aufzuheben und zur materiellen Entscheidung seines Gesuchs vom 25. Juni 2013 an das Bezirksgericht zurückzuweisen. Eventualiter habe das Kantonsgericht selbst gemäss seiner Anträge vom 25. Juni 2013 zu entscheiden. D.b. Die Beschwerdegegnerin ersuchte mit Berufungsantwort vom 11. August 2014 um Nichteintreten, eventualiter Abweisung der Berufung. Beide Parteien äusserten sich ein weiteres Mal. D.c. Mit Entscheid vom 3. März 2015 wies das Kantonsgericht die Berufung ab, soweit darauf einzutreten sei. Weiter bestätigte es ausdrücklich den Entscheid des Bezirksgerichts vom 3. Juli 2014. Der Beschwerdeführer wurde zu den Gerichtskosten und zur Leistung einer Parteientschädigung an die Beschwerdegegnerin verpflichtet. E. E.a. Hiergegen gelangt der Beschwerdeführer mit Eingabe vom 2. April 2015 an das Bundesgericht. Er beantragt, "Es sei der angefochtene Beschluss des Kantonsgerichtes Schwyz vom 3. März 2015 vollumfänglich aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen, unter Kosten- und Entschädigungsfolgen zu Lasten der Beklagten.". E.b. Das Bundesgericht hat die Akten der Vorinstanzen, aber keine Vernehmlassungen eingeholt. Mit Schreiben vom 4. April 2015 (Postaufgabe: 7. April 2015, Eingang beim Gericht: 14. April 2015) äusserte sich der Beschwerdeführer unaufgefordert ein zweites Mal.