Sachverhalt: A. Am 1. Oktober 2014 erliess das Betreibungsamt U._ aufgrund der am 17. September 2014 gestellten Betreibungsbegehren mehrere Zahlungsbefehle gegen Y._ (Zahlungsbefehle Nr. xxx26 bis Nr. xxx30). Diese wurden am 8. Oktober 2014 zugestellt. B. Am 17. Oktober 2014 erhob Y._ Beschwerde gegen die Zahlungsbefehle an das Kreisgericht Rheintal als untere Aufsichtsbehörde. Er verlangte, die Zahlungsbefehle wegen Rechtsmissbräuchlichkeit für nichtig zu erklären und sie eventualiter aufzuheben. Mit Entscheid vom 24. Dezember 2014 wies das Kreisgericht die Beschwerde ab. C. Gegen diesen Entscheid erhob Y._ am 8. Januar 2015 Beschwerde an das Kantonsgericht St. Gallen als obere Aufsichtsbehörde. Er verlangte, den Entscheid des Kreisgerichts aufzuheben und die in den fünf Betreibungsverfahren ausgestellten Zahlungsbefehle infolge Nichtigkeit, allenfalls mangels Gläubigerberechtigung, aufzuheben und das Betreibungsamt anzuweisen, die Betreibungen zu löschen. Mit Entscheid vom 9. März 2015 wies das Kantonsgericht die Beschwerde ab. D. Am 26. März 2015 hat Y._ (Beschwerdeführer) Beschwerde in Zivilsachen an das Bundesgericht erhoben. Er verlangt, den Entscheid des Kantonsgerichts vom 9. März 2015 aufzuheben, die in den fünf Betreibungsverfahren ausgestellten Zahlungsbefehle infolge Nichtigkeit aufzuheben und das Betreibungsamt anzuweisen, die Betreibungen zu löschen. Das Bundesgericht hat die Akten beigezogen, aber keine Vernehmlassungen eingeholt.