Sachverhalt: A. Am 3. Oktober 2014 erliess das Betreibungsamt U._ aufgrund der am 16. September 2014 gestellten Betreibungsbegehren mehrere Zahlungsbefehle gegen Y._ (Zahlungsbefehle Nr. xxx50 bis Nr. xxx56). Diese wurden am 8. Oktober 2014 zugestellt. B. Am 17. Oktober 2014 erhob Y._ Beschwerde gegen die Zahlungsbefehle an das Kreisgericht Rheintal als untere Aufsichtsbehörde. Er verlangte, die Zahlungsbefehle wegen Rechtsmissbräuchlichkeit für nichtig zu erklären und sie eventualiter aufzuheben. Am 25. November 2014 zeigte das Betreibungsamt an, dass zwei Gläubigerinnen ihre Betreibungen zurückgezogen haben (Betreibungen Nr. xxx50 und Nr. xxx55). Die übrigen Gläubigerinnen reduzierten den in Betreibung gesetzten Forderungsbetrag in der Beschwerdeantwort vom 24. November 2014. Mit Entscheid vom 24. Dezember 2014 wies das Kreisgericht die Beschwerde ab und wies das Betreibungsamt an, die in Betreibung gesetzten Beträge entsprechend dem Urteilsdispositiv zu reduzieren. C. Gegen diesen Entscheid erhob Y._ am 8. Januar 2015 Beschwerde an das Kantonsgericht St. Gallen als obere Aufsichtsbehörde. Er verlangte, den Entscheid des Kreisgerichts aufzuheben und die in den fünf verbliebenen Betreibungsverfahren ausgestellten Zahlungsbefehle infolge Nichtigkeit, allenfalls mangels Gläubigerberechtigung, aufzuheben und das Betreibungsamt anzuweisen, die Betreibungen zu löschen. Mit Entscheid vom 9. März 2015 wies das Kantonsgericht die Beschwerde ab. D. Am 26. März 2015 hat Y._ (Beschwerdeführer) Beschwerde in Zivilsachen an das Bundesgericht erhoben. Er verlangt, den Entscheid des Kantonsgerichts vom 9. März 2015 aufzuheben, die in den fünf verbliebenen Betreibungsverfahren ausgestellten Zahlungsbefehle infolge Nichtigkeit aufzuheben und das Betreibungsamt anzuweisen, die Betreibungen zu löschen. Das Bundesgericht hat die Akten beigezogen, aber keine Vernehmlassungen eingeholt.