Erwägungen:
1.
Beim Betreibungsamt U._ ist eine Betreibung des Obergerichts des Kantons Zürich gegen die Beschwerdeführerin hängig. Am 13. April 2017 erliess das Betreibungsamt den Zahlungsbefehl in der Betreibung Nr. xxx. Gegen den Zahlungsbefehl erhob die Beschwerdeführerin am 3. Mai 2017 Beschwerde an das Kreisgericht Werdenberg-Sarganserland (Verfahren BE.2017.13-WS2A-NSC). Das Kreisgericht forderte das Betreibungsamt am 5. Mai 2017 zur Stellungnahme auf.
Am 10. Mai 2017 gelangte die Beschwerdeführerin an das Kantonsgericht St. Gallen. Sie verlangte die Feststellung verschiedener Rechtsverletzungen, die Aufhebung der Verfügung vom 5. Mai 2017 und den Erlass einer neuen Anordnung. Mit Entscheid vom 14. Juli 2017 trat das Kantonsgericht auf die Beschwerde nicht ein (Verfahren AB.2017.19-AS).
Mit als Gesuch betitelter Eingabe vom 21. August 2017 ist die Beschwerdeführerin erneut an das Kantonsgericht gelangt. Sie verlangt unter anderem die Feststellung der Nichtigkeit des Entscheids vom 14. Juli 2017. Am 23. August 2017 hat das Kantonsgericht die Eingabe dem Bundesgericht zur Prüfung als Beschwerde übermittelt (vgl. Art. 48 Abs. 3 BGG).
2.
Es ist fraglich, ob die Beschwerdeführerin tatsächlich Beschwerde erheben will, führt sie doch im Zusammenhang mit der Rechtsmittelbelehrung im Entscheid vom 14. Juli 2017 aus, sie müsse sich gegen einen nichtigen Entscheid nicht wehren. Da sie jedoch zum Ausdruck bringt, mit diesem Entscheid nicht einverstanden zu sein, ist ihre Eingabe - soweit den Entscheid vom 14. Juli 2017 und nicht andere Verfahren oder Themen betreffend - dennoch als Beschwerde in Zivilsachen zu behandeln (Art. 72 Abs. 2 lit. a, Art. 74 Abs. 2 lit. c BGG).
3.
Das Kantonsgericht ist auf die kantonale Beschwerde nicht eingetreten, da nicht ersichtlich sei, inwiefern die Beschwerdeführerin durch die Verfügung vom 5. Mai 2017 einen nicht wieder gutzumachenden Nachteil erleiden könnte. Rechtsverweigerung oder Rechtsverzögerung sowie Nichtigkeitsgründe nach Art. 22 SchKG seien nicht ersichtlich.
Die Beschwerdeführerin wirft dem Kantonsgericht zwar Rechtsverweigerung vor. Mit den Erwägungen des angefochtenen Entscheids setzt sie sich jedoch nicht auseinander. Insbesondere scheint sie zu übersehen, dass die Verfügung vom 5. Mai 2017 bloss eine Zwischenverfügung in einem laufenden Verfahren war und das Beschwerdeverfahren beim Kreisgericht Werdenberg-Sarganserland nicht zum Abschluss gebracht hat. Die Beschwerde genügt den Begründungsanforderungen von Art. 42 Abs. 2 BGG somit offensichtlich nicht.
Auf die Beschwerde ist demnach im vereinfachten Verfahren gemäss Art. 108 Abs. 1 lit. b BGG durch das präsidierende Mitglied der Abteilung nicht einzutreten.
4.
Es rechtfertigt sich, ausnahmsweise auf die Erhebung von Gerichtskosten zu verzichten (Art. 66 Abs. 1 BGG).
Demnach erkennt das präsidierende Mitglied:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Es werden keine Gerichtskosten erhoben.
3.
Dieses Urteil wird den Verfahrensbeteiligten und dem Kantonsgericht St. Gallen schriftlich mitgeteilt.
Lausanne, 25. August 2017
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg