Sachverhalt:
A.
Am 1. Oktober 2014 erliess das Betreibungsamt U._ aufgrund der am 17. September 2014 gestellten Betreibungsbegehren mehrere Zahlungsbefehle gegen Y._ (Zahlungsbefehle Nr. xxx26 bis Nr. xxx30). Diese wurden am 8. Oktober 2014 zugestellt.
B.
Am 17. Oktober 2014 erhob Y._ Beschwerde gegen die Zahlungsbefehle an das Kreisgericht Rheintal als untere Aufsichtsbehörde. Er verlangte, die Zahlungsbefehle wegen Rechtsmissbräuchlichkeit für nichtig zu erklären und sie eventualiter aufzuheben. Mit Entscheid vom 24. Dezember 2014 wies das Kreisgericht die Beschwerde ab.
C.
Gegen diesen Entscheid erhob Y._ am 8. Januar 2015 Beschwerde an das Kantonsgericht St. Gallen als obere Aufsichtsbehörde. Er verlangte, den Entscheid des Kreisgerichts aufzuheben und die in den fünf Betreibungsverfahren ausgestellten Zahlungsbefehle infolge Nichtigkeit, allenfalls mangels Gläubigerberechtigung, aufzuheben und das Betreibungsamt anzuweisen, die Betreibungen zu löschen. Mit Entscheid vom 9. März 2015 wies das Kantonsgericht die Beschwerde ab.
D.
Am 26. März 2015 hat Y._ (Beschwerdeführer) Beschwerde in Zivilsachen an das Bundesgericht erhoben. Er verlangt, den Entscheid des Kantonsgerichts vom 9. März 2015 aufzuheben, die in den fünf Betreibungsverfahren ausgestellten Zahlungsbefehle infolge Nichtigkeit aufzuheben und das Betreibungsamt anzuweisen, die Betreibungen zu löschen.
Das Bundesgericht hat die Akten beigezogen, aber keine Vernehmlassungen eingeholt.

Erwägungen:
1.
Die Beschwerde in Zivilsachen ist gegen den Entscheid der oberen Aufsichtsbehörde in Schuldbetreibungs- und Konkurssachen unabhängig vom Streitwert zulässig (Art. 72 Abs. 2 lit. a, Art. 74 Abs. 2 lit. c, Art. 75 BGG).
Mit Beschwerde in Zivilsachen können Rechtsverletzungen gemäss Art. 95 f. BGG geltend gemacht werden. Zwar wendet das Bundesgericht das Recht grundsätzlich von Amtes wegen an (<ref-law>; vgl. für Ausnahmen Abs. 2 dieser Norm) und prüft mit freier Kognition, ob der angefochtene Entscheid Recht verletzt. Es befasst sich aber nur mit formell ausreichend begründeten Rügen (<ref-law>; <ref-ruling> E. 1.1 S. 104 f.). In der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Allgemein gehaltene Einwände, die ohne aufgezeigten oder erkennbaren Zusammenhang mit bestimmten Entscheidungsgründen vorgebracht werden, genügen nicht (<ref-ruling> E. 1.3 S. 584 mit Hinweisen).
Der vorinstanzlich festgestellte Sachverhalt ist für das Bundesgericht grundsätzlich verbindlich (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn die Feststellung offensichtlich unrichtig - d.h. willkürlich (<ref-ruling> E. 1.5 S. 130 mit Hinweis) - ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (<ref-law>). Will der Beschwerdeführer die Sachverhaltsfeststellungen der Vorinstanz anfechten, muss er darlegen, inwiefern die genannten Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 4.2 S. 234; <ref-ruling> E. 5.1 S. 356). Bei der Rüge der offensichtlich unrichtigen Sachverhaltsfeststellung gilt das strenge Rügeprinzip (<ref-law>; <ref-ruling> E. 2.2 S. 246; <ref-ruling> E. 5.1 S. 356).
2.
2.1. Gemäss den vorinstanzlichen Feststellungen liegt den zu beurteilenden Betreibungen folgender Sachverhalt zugrunde: Die Anlagestiftung Fondation V._ habe Darlehen von interessierten Pensionskassen gebündelt und diese an Darlehensnehmer für Immobilienprojekte vergeben. Dabei habe die Fondation V._ mit der V._ SA und den Mitgliederkassen zusammengewirkt, ohne dass den Darlehensnehmern die Darlehensgeber offengelegt worden wären. Der Beschwerdeführer sei Aktionär der (Gross-) Muttergesellschaft von Immobilienunternehmungen, die Darlehen der Fondation V._ entgegen genommen hätten. Persönlich habe er keine Darlehensverträge unterzeichnet. Bei diesem Vorgehen der Darlehensvergabe seien angeblich zahlreiche Pensionskassen - darunter die Beschwerdegegnerinnen - geschädigt worden. Ermittlungen dazu seien offenbar im Gange. Welche Rolle dem Beschwerdeführer zukam, sei umstritten und offenbar ebenfalls Gegenstand von Abklärungen. Die Beschwerdegegnerinnen seien der Auffassung, dass zwischen Personen aus dem Umfeld der Immobiliengesellschaften des Beschwerdeführers und einem Beschuldigten in der "Affäre V._" eine Zusammenarbeit bestanden haben könnte; sie hätten sich im Strafverfahren als Geschädigte konstituiert. Aufgrund dieser Situation sei - zumindest derzeit - davon auszugehen, dass zwischen den Parteien rechtliche Beziehungen bestehen könnten und darüber jetzt eine Auseinandersetzung stattfinde.
2.2. In den durch die Beschwerdegegnerinnen gegen den Beschwerdeführer eingeleiteten Betreibungen hat das Kantonsgericht alsdann keinen Rechtsmissbrauch erkennen können:
Am 17. Juli 2014 hätten die Beschwerdegegnerinnen den Beschwerdeführer um Abgabe einer Verjährungsverzichtserklärung für allfällige Schadenersatzforderungen im Zusammenhang mit der erwähnten Darlehensvergabe gebeten. Der Beschwerdeführer habe sich geweigert, entsprechende Erklärungen zu unterzeichnen. Ob es für ihn zumutbar gewesen sei, eine Verjährungsverzichtserklärung abzugeben, sei unerheblich. Nachdem er sich geweigert habe, die Erklärung abzugeben, hätten die Beschwerdegegnerinnen die Betreibung einleiten müssen, um eine allfällige Verjährung der von ihnen geltend gemachten Forderungen zu unterbrechen. Einem Gläubiger stehe es frei, zur Unterbrechung der Verjährung eine Betreibung einzuleiten; dies sei nicht rechtsmissbräuchlich und die entsprechende Wirkung sei gesetzlich vorgesehen (<ref-law>). Liege der Zweck der Betreibungen mithin in der Unterbrechung der Verjährung, so werde mit ihnen kein sachfremdes Ziel verfolgt und es handle sich weder um Kreditschädigung noch um Schikane.
Soweit der Beschwerdeführer vorbringe, dass sich die "wirklichen Gläubigerinnen" nicht zu erkennen geben würden bzw. ihre Mitgliedschaft bei der Fondation V._ nicht offenlegen würden, sei darauf nicht weiter einzugehen. Die Gläubigereigenschaft sei mittels Rechtsvorschlags zu bestreiten. Der Umstand, dass dieser Nachweis im Beschwerdeverfahren nicht erfolgte, lasse die Betreibung nicht missbräuchlich erscheinen. Die Gläubigerstellung erscheine jedenfalls nicht derart abwegig, dass die Betreibung per se missbräuchlich erscheinen würde. Ob der Anspruch effektiv bestehe und den betreibenden Gläubigerinnen zustehe, sei nicht im Beschwerdeverfahren zu prüfen.
Die Person des Gläubigers bzw. des Betreibenden sei sodann bekannt, da diese auf Betreibungsbegehren und Zahlungsbefehl klar bezeichnet seien. Ob der Beschwerdeführer den Beschwerdeführerinnen den Darlehensbetrag schulde, sei nicht im Beschwerdeverfahren zu klären. Der Beschwerdeführer habe es sich sodann selber zuzuschreiben, wenn er Verträge abschliesse, ohne den effektiven Vertragspartner zu kennen.
Schliesslich sei auch bezüglich der in Betreibung gesetzten Forderungssumme keine Rechtsmissbräuchlichkeit feststellbar. Es sei legitim, bis zur Klärung der Forderung die angebliche Darlehenssumme von Fr. 30 Mio. um rund 50 % zu erhöhen für den Fall, dass sich aus den laufenden Strafuntersuchungen weitere Erkenntnisse zu den Schadenspositionen ergeben sollten. Dadurch könne eine Teilverjährung noch nicht bekannter Forderungen verhindert werden.
3.
Der Beschwerdeführer macht vor Bundesgericht geltend, er und die ihm wirtschaftlich zuzurechnenden Unternehmen hätten unbestrittenermassen die Abgabe einer Verjährungsverzichtserklärung angeboten, falls die Beschwerdegegnerinnen nachweisen würden, dass sie in relevante, über die Fondation V._ vergebene Darlehen involviert seien. Bei Vertragsschluss hätten die Unternehmungen der Gruppe, die ihm indirekt gehöre, auf eine Offenlegung der Vertragspartner vertraut. Die Ansicht des Kantonsgerichts sei demnach nicht haltbar, dass er es selber zu vertreten habe, wenn er Verträge abschliesse, deren Vertragspartner er nicht kenne, zumal er selber gar keine Verträge unterzeichnet habe. Der Vorbehalt gegenüber der Abgabe der Verjährungsverzichtserklärung sei berechtigt gewesen. Es widerspreche demnach Treu und Glauben, wenn die Beschwerdegegnerinnen diese Offenlegung im Rahmen der Verjährungsverzichtserklärung verweigerten und danach Betreibung zur Unterbrechung der Verjährung einleiteten. Abzuwägen seien auch die auf dem Spiel stehenden Interessen: Der Eintrag im Betreibungsregister stelle für ihn als Geschäftsmann eine erhebliche Bürde dar, wohingegen es den Beschwerdegegnerinnen ein Leichtes gewesen wäre, nachzuweisen, in welche Darlehen sie investiert hätten. Stattdessen habe das Kantonsgericht unbesehen die unbelegte Behauptung der Beschwerdegegnerinnen übernommen, der W._-Gruppe (die ihm wirtschaftlich zurechenbaren Unternehmungen) Darlehen im Betrag von ca. Fr. 30 Mio. ausgerichtet zu haben.
Die von ihm indirekt kontrollierten Unternehmungen seien nicht bereit, den durch den Betrugsfall entstandenen Schaden im Rahmen vertraglicher Rückzahlungsansprüche ohne weiteres auf sich zu nehmen, zumal der potentielle Schaden der Beschwerdegegnerinnen nur einen Bruchteil des in Betreibung gesetzten Betrages umfassen könne, da der Gesamtschaden rund Fr. 140 Mio. betragen soll, die Fondation V._ aber für rund 100 Pensionskassen Darlehen vermittelt habe. Die Betreibungen seien offenkundig eingeleitet worden, um ihn als Entscheidträger der fraglichen Unternehmungen unter Druck zu setzen. Das Kantonsgericht gehe darauf nicht ein, womit der Sachverhalt offensichtlich unvollständig festgestellt und <ref-law> verletzt worden sei. Willkürlich sei die Annahme der Vorinstanz, seine Rolle in dieser Angelegenheit sei umstritten. Es gebe in den Akten keinen Hinweis darauf, dass er etwas anderes sei als indirekter Inhaber von Unternehmungen, die Darlehensverträge unterzeichnet hätten. Es fehle dementsprechend auch der vorinstanzlichen Folgerung jegliche Basis, es sei zumindest derzeit davon auszugehen, dass zwischen den Parteien rechtliche Beziehungen bzw. Schadenersatzansprüche bestehen könnten. Da offenkundig kein Anhaltspunkt für eine ausservertragliche Schädigung vorliege, könne er nur als Entscheidträger der involvierten Unternehmungen betrieben worden sein, was aber einzig der missbräuchlichen Druckausübung diene.
4.
4.1. Das SchKG erlaubt die Einleitung eines Betreibungsverfahrens, ohne dass der Gläubiger den Bestand seiner Forderung nachweisen muss. Ein Zahlungsbefehl als Grundlage des Vollstreckungsverfahrens kann grundsätzlich gegenüber jedermann erwirkt werden, unabhängig davon, ob eine Schuld besteht oder nicht (<ref-ruling> E. 2b S. 3; <ref-ruling> E. 2a S. 150; Urteil 5A_773/2014 vom 10. Juli 2015 E. 3.1 mit Hinweisen).
Keinen Rechtsschutz findet, wer eine Betreibung rechtsmissbräuchlich einleitet (<ref-law>). Nach der bundesgerichtlichen Rechtsprechung ist eine Betreibung nur in Ausnahmefällen wegen Rechtsmissbrauchs nichtig. Rechtsmissbräuchlich verhält sich der Gläubiger, wenn er mit der Betreibung offensichtlich Ziele verfolgt, die nicht das Geringste mit der Zwangsvollstreckung zu tun haben. Allerdings steht es weder dem Betreibungsamt noch der Aufsichtsbehörde zu, die Begründetheit der in Betreibung gesetzten Forderung zu beurteilen. Deshalb darf sich der Vorwurf des Schuldners auch nicht darin erschöpfen, dass der umstrittene Anspruch rechtsmissbräuchlich erhoben werde. Rechtsmissbräuchlich und deswegen nichtig kann eine Betreibung demgegenüber dann sein, wenn der Betreibende bloss die Kreditwürdigkeit eines (angeblichen) Schuldners schädigen will, wenn er in schikanöser Weise einen völlig übersetzten Betrag in Betreibung setzt (<ref-ruling> E. 2.3.1 S. 482 f. mit Hinweisen). Angesichts der beschränkten Kognition des Betreibungsamts und der Aufsichtsbehörden sowie des Bestehens von spezifischen Rechtsbehelfen, mit denen der Betriebene seine Interessen wahren kann (Art. 74 ff., Art. 85 ff. SchKG), wird ein offensichtlicher Rechtsmissbrauch im Zusammenhang mit der Anhebung der Betreibung nur zurückhaltend angenommen (Urteil 5A_773/2014 vom 10. Juli 2015 E. 3.2 mit Hinweisen).
4.2. Entgegen der Ansicht des Beschwerdeführers lässt sich kein Rechtsmissbrauch aus den Umständen des Scheiterns der Verjährungsverzichtserklärung und der nachfolgenden Betreibung ableiten. Ein Gläubiger ist nicht verpflichtet, vor einer Betreibung den Schuldner um Abgabe einer solchen Erklärung zu bitten, und der Schuldner ist nicht verpflichtet, einer solchen Bitte nachzukommen. Knüpft der Schuldner die Abgabe einer solchen Erklärung an eine zuvor vom Gläubiger zu erfüllende Bedingung, so ist der Gläubiger frei, ob er sich darauf einlassen will oder nicht. Es stellt keinen Rechtsmissbrauch dar, wenn er stattdessen den gesetzlich vorgesehenen Weg der Verjährungsunterbrechung durch Schuldbetreibung einschlägt (<ref-law>). Für das Betreibungsamt oder die Aufsichtsbehörde besteht insoweit weder grundsätzlich noch angesichts der behaupteten Umstände des Einzelfalls Raum für eine Abwägung der Interessen des Schuldners gegenüber denjenigen des Gläubigers.
Soweit der Beschwerdeführer in diesem Zusammenhang die Stellung der Beschwerdegegnerinnen als Vertragspartnerinnen der Darlehensverträge oder ihre Stellung als Gläubigerinnen ausservertraglicher Ansprüche in Zweifel ziehen will oder vorträgt, die betriebenen Forderungen seien angesichts des Gesamtschadens und der Anzahl involvierter Pensionskassen überhöht, so betrifft dies alles den Bestand und den Umfang der betriebenen Forderungen. Diese Punkte können im Beschwerdeverfahren nicht überprüft werden, so dass darauf nicht einzutreten ist. Dass der betriebene Betrag massiv übersetzt sei und deshalb Rechtsmissbrauch vorliege, macht der Beschwerdeführer nicht rechtsgenüglich geltend, denn es fehlt an einer Auseinandersetzung mit den entsprechenden kantonsgerichtlichen Erwägungen. Unerheblich ist auch, dass er bestreitet, seine Rolle im Hypothekenskandal sei umstritten und diese sei Gegenstand von Untersuchungen. Dieser Einwand beschlägt letztlich die Frage, worauf sich Forderungen gegen ihn stützen könnten und ob sie begründet sind. Zwar steht fest, dass der Beschwerdeführer selber keine Darlehensverträge unterzeichnet hat (oben E. 2.1). Beim Vorwurf, er hätte bei der Unterzeichnung darauf achten sollen, wer Vertragspartner ist (oben E. 2.2), handelt es sich offenbar um ein Versehen. Der Beschwerdeführer behauptet allerdings selber nicht, dass zwischen ihm und der Fondation V._ offensichtlich überhaupt keine (auch nur indirekte) Verbindung bestehen würde. Insoweit ist weder ersichtlich, dass die Betreibungen offensichtlich einzig der Druckausübung auf ihn als Entscheidträger dienen, noch, dass das Kantonsgericht den Sachverhalt in dieser Beziehung in willkürlicher Weise unvollständig festgestellt hätte.
Die Beschwerde ist somit abzuweisen, soweit auf sie eingetreten werden kann.
5.
Bei diesem Verfahrensausgang trägt der Beschwerdeführer die Gerichtskosten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Betreibungsamt U._ und dem Kantonsgericht St. Gallen schriftlich mitgeteilt.
Lausanne, 10. September 2015
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg