Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Strittig und zu prüfen ist, ob das kantonale Gericht zu Recht auf die Eingabe vom 20. August 1999 eingetreten ist.
a) Der Einwand der SWICA, die Bestätigung der Kanzlei des Versicherungsgerichts des Kantons St. Gallen vom 10. August 1999 sei eine Rechtskraftbescheinigung, ist unhaltbar und nicht nachvollziehbar. Eine Rechtsmittelinstanz kann generell eine Rechtskraftbescheinigung nur dann abgeben, wenn sie alleine zur Behandlung zuständig ist und überprüfen kann, wann eine Frist zu laufen begonnen hat. Beides trifft hier nicht zu. Korrekterweise hat die Gerichtskanzlei des Versicherungsgerichts des Kantons St. Gallen nämlich nur bestätigt, dass der Einspracheentscheid bis zum 10. August 1999 hier nicht angefochten worden sei. Selbst wenn eine Rechtskraftbescheinigung ausgestellt worden wäre, bliebe der Einwand unbehelflich. Der Stempel befindet sich nämlich lediglich auf einem (Begleit-)Schreiben des Verwaltungsgerichts des Kantons Glarus an das Versicherungsgericht des Kantons St. Gallen, mit welchem das eingereichte Dokument zuständigkeitshalber weitergeleitet wurde. Aus diesem Schreiben geht jedoch nicht hervor, um welchen Entscheid es sich handelt (Parteien, Datum).
b) Ebenso unbehelflich sind die Ausführungen zur behaupteten Mangelhaftigkeit der Eingabe vom 20. August 1999.
aa) Entgegen den Ausführungen in der Verwaltungsgerichtsbeschwerde genügt die am 20. August 1999 vorsorglich eingereichte Beschwerde den gesetzlichen Minimalanforderungen von Art. 87 lit. b KVG. Es wird nämlich erwähnt, worum sich der Streit dreht (vorläufige Begründung Ziff. 2 1. Absatz) und welcher Punkt strittig ist (a.a.O., 2. Absatz).
Aus diesem Kontext geht auch eindeutig hervor, dass die Beschwerdeführerin die Ausrichtung von Pflegeleistungen aus der Krankenversicherung verlangt. Die Rechtsmissbrauchsfrage stellt sich daher überhaupt nicht.
bb) Selbst wenn die vorsorgliche Beschwerde mangelhaft gewesen wäre, könnte die SWICA daraus nichts zu ihren Gunsten herleiten. Nach Art. 87 lit. b KVG muss die bei der kantonalen Rekursbehörde eingereichte Beschwerde eine gedrängte Darstellung des Sachverhalts, ein Rechtsbegehren und eine kurze Begründung enthalten. Genügt die Beschwerde diesen Anforderungen nicht, so setzt die Rekursbehörde dem Beschwerdeführer eine angemessene Frist zur Verbesserung und verbindet damit die Androhung, dass sonst auf die Beschwerde nicht eingetreten werde.
Im Gegensatz zum letztinstanzlichen Verfahren, in welchem gemäss Art. 108 Abs. 3 OG eine nachträgliche Verbesserungsmöglichkeit der Beschwerde nur bei Unklarheit von Begehren oder Begründung vorgesehen ist, hat im erstinstanzlichen Verfahren die Fristansetzung zur Verbesserung der Beschwerde ganz allgemein immer dann zu erfolgen, wenn die Beschwerde den in Art. 87 lit. b KVG genannten gesetzlichen Anforderungen nicht genügt; also auch dann, wenn es an Begehren oder Begründung gänzlich mangelt. Es handelt sich bei der erwähnten Bestimmung um eine formelle Vorschrift, die den erstinstanzlichen Richter - ausser in Fällen von offensichtlichem Rechtsmissbrauch - verpflichtet, eine Frist zur Verbesserung der Mängel anzusetzen (vgl. <ref-ruling> Erw. 2a mit Hinweisen zum inhaltlich gleichlautenden Art. 85 Abs. 2 lit. b AHVG; ferner RKUV 1988 Nr. U 34 S. 34 Erw. 2a zum ebenfalls praktisch gleichlautenden altrechtlichen Art. 30bis Abs. 3 lit. b KUVG).
Das vorinstanzliche Vorgehen stützt sich auf das kantonale Verfahrensrecht (Art. 48 Abs. 2 des Gesetzes über die Verwaltungsrechtspflege vom 16. Mai 1965 [nGS 951. 1]).
Inwiefern diese Bestimmung entweder dem Bundesrecht widerspreche oder vom Richter willkürlich angewendet worden wäre, wird in der Verwaltungsgerichtsbeschwerde nicht dargetan.
2.- Die SWICA rügt in Ziff. 11 ihrer Verwaltungsgerichtsbeschwerde die Prozessführung des vorinstanzlichen Gerichtspräsidenten und unterstellt ihm Voreingenommenheit und Befangenheit. Ein förmliches Ausstandsbegehren wurde indessen nicht gestellt. Es braucht deshalb nicht geprüft zu werden, ob die Vorwürfe berechtigt sind. Festzuhalten ist indessen, dass es einem Richter nicht verwehrt werden kann, eine Partei über die Gerichtspraxis zu einer bestimmten Frage zu informieren und sie anzufragen, ob unter den gegebenen Umständen an den gestellten Anträgen festgehalten wird. Ein solches Vorgehen kann aus prozessökonomischer Sicht (z.B. Wegfall unnötiger Verfahrensschritte mit dem damit verbundenen Aufwand) sinnvoll sein; es kann aber auch im Interesse der Parteien (Beschleunigung des Verfahrens; Kostenrisiko; usw.) liegen. Dass die Gegenpartei informiert wird, ist unter dem Gesichtswinkel der Gewährung des rechtlichen Gehörs ebenfalls nicht zu beanstanden.
3.- Da es nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen geht, ist das Verfahren kostenpflichtig (Art. 134 OG e contrario).

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Die Gerichtskosten von Fr. 500.- werden der SWICA Gesundheitsorganisation auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
III. Die SWICA Gesundheitsorganisation hat der Beschwerdegegnerin für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von
Fr. 1500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
IV.Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 8. November 2000
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Der Gerichtsschreiber: