Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Streitig und zu prüfen ist einzig, ob das kantonale
Gericht die Helsana, die sich - was ihr die Vorinstanz
auch nicht vorwirft - weder leichtsinnig noch mutwillig
verhalten hatte, zur Bezahlung einer Gerichtsgebühr verpflichten
durfte, weil es sich um einen Streit zwischen
Versicherern handle.
2.- a) Nach <ref-law> muss das Verfahren
vor dem kantonalen Versicherungsgericht "für die
Parteien kostenlos sein; einer Partei, die sich leichtsinnig
oder mutwillig verhält, können jedoch eine Spruchgebühr
und die Verfahrenskosten auferlegt werden".
b) Der Wortlaut des <ref-law> spricht
dafür, dass in einem kantonalen Gerichtsverfahren zwischen
zwei Versicherern dem unterliegenden Versicherer ausser im
Falle leichtsinnigen oder mutwilligen Verhaltens keine Verfahrenskosten
auferlegt werden dürfen; denn abgesehen von
der Ausnahme des leichtsinnigen oder mutwilligen Verhaltens
schreibt diese Bestimmung vorbehaltlos ein für "die Parteien"
kostenloses Verfahren vor.
c) Wie das Eidgenössische Versicherungsgericht in
einem noch nicht in der Amtlichen Sammlung veröffentlichten
Urteil W. vom 4. Mai 2001, U 60/00, Erw. 2, ausführlich
begründete, wird diese grammatikalische Auslegung durch die
historische Auslegung bestätigt: Sowohl in der Botschaft
des Bundesrates zum Bundesgesetz über die Unfallversicherung
vom 18. August 1976 (BBl 1976 III 179) als auch in der
parlamentarischen Debatte zu <ref-law> (Amtl.
Bull. 1946 N 687 und 1946 S 439), an welchen das Unfallversicherungsrecht
angeglichen werden sollte (BBl 1976 III
179), wurde als Ausnahme von der Kostenlosigkeit des kantonalen
Gerichtsverfahrens ausschliesslich das leichtsinnige
oder mutwillige Verhalten einer Partei erwähnt. Auch wenn
die Kostenfreiheit mit dem sozialen Motiv des Rechtsschutzbedürfnisses
der Versicherten begründet wurde (vgl. [zum
AHVG] BBl 1946 II 517 und Amtl. Bull. 1946 N 687), ergibt
sich aus den Materialien insbesondere nicht, dass der Gesetzgeber
die Versicherer nicht von Kosten befreien wollte.
Es bestehen demnach keine triftigen Gründe dafür, dass der
Wortlaut des <ref-law> nicht den wahren
Sinn der Bestimmung wiedergeben könnte, sodass kein Anlass
besteht, vom Gesetzeswortlaut abzuweichen (vgl. BGE 126 II
80 Erw. 6d, 126 III 104 Erw. 2c, 126 V 58 Erw. 3, 105
Erw. 3, je mit Hinweisen). Eine Auslegung von Art. 108
Abs. 1 lit. a UVG im Sinne der Vorinstanz verbietet sich
schliesslich umso mehr, als aus den Materialien zum hinsichtlich
der Kostenlosigkeit inhaltlich mit Art. 108
Abs. 1 lit. a UVG übereinstimmenden Art. 61 lit. a des noch
nicht in Kraft getretenen Bundesgesetzes über den Allgemeinen
Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober
2000 (BBl 2000 5041 ff.) hervorgeht, dass der Gesetzgeber
im kantonalen Beschwerdeverfahren weiterhin auch die
Versicherer bzw. Durchführungsstellen ausser bei Leichtsinnigkeit
oder Mutwilligkeit in den Genuss der Kostenfreiheit
kommen lassen wollte. Denn auch in der parlamentarischen
Debatte zum ATSG wurden lediglich diese Ausnahmen
angeführt (Amtl. Bull. 1999 N 1248 f., 2000 S 184 f.; abgesehen
von einem wieder zurückgezogenen Antrag im Nationalrat,
mit dem die Abschaffung der Kostenlosigkeit des kantonalen
Beschwerdeverfahrens vorgeschlagen wurde [Amtl. Bull.
1999 N 1247 f. und 1249]), und in der ständerätlichen Kommission
wurde unter Bezugnahme auf eine Stellungnahme des
Bundesamts für Sozialversicherung sogar ausdrücklich auf
die Bedeutung des kostenlosen Verfahrens auch für die Versicherer
hingewiesen (S. 21 des Protokolls über die Sitzung
vom 6. September 1999).
d) Demnach ist es, wie das Eidgenössische Versicherungsgericht
im erwähnten Urteil U 60/00, Erw. 2d/dd, festgestellt
hat, nach <ref-law> unzulässig,
in einem kantonalen Beschwerdeverfahren, in dem sich wie
vorliegend zwei Versicherer gegenüberstehen, dem unterliegenden
Versicherer Verfahrenskosten bzw. eine Spruchgebühr
aufzuerlegen, wenn sich dieser nicht leichtsinnig oder mutwillig
verhalten hat. Folglich ist, da der im kantonalen
Prozess unterlegenen Helsana kein solches Verhalten vorzuwerfen
ist, der vorinstanzliche Kostenentscheid aufzuheben.
3.- a) Das Verfahren vor dem Eidgenössischen Versicherungsgericht
ist schon deshalb kostenpflichtig, weil es
nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen,
sondern um die rein prozessuale Frage der
Auferlegung von Verfahrenskosten geht (Art. 134 OG e
contrario).
b) Nach Art. 156 Abs. 1 OG (in Verbindung mit Art. 135
OG) werden die letztinstanzlichen Gerichtskosten in der
Regel der unterliegenden Partei auferlegt. Dabei sind die
Gerichtskosten grundsätzlich aufgrund der Anträge der
Beschwerde führenden Partei, gemessen am Ergebnis der
Anfechtung des vorinstanzlichen Entscheides - und somit
ohne Rücksicht auf die Anträge der Gegenpartei - zu verlegen,
auch wenn Letztere den vorinstanzlichen Entscheid
nicht zu vertreten hat. So verliert die Gegenpartei dadurch,
dass sie auf eine Vernehmlassung verzichtet, ihre
Parteistellung nicht und trägt grundsätzlich bis zum
Abschluss des Verfahrens das Prozess- und Kostenrisiko.
Auch ein Antrag auf Gutheissung der Verwaltungsgerichtsbeschwerde
befreit die beschwerdegegnerische Partei grundsätzlich
nicht vom Kostenrisiko (<ref-ruling>, 159
Erw. 4b; vgl. AHI 1998 S. 191 Erw. 4).
c) Vorliegend hat die letztinstanzlich formell unterliegende
SWICA selbst die Gutheissung der Verwaltungsgerichtsbeschwerde
beantragt. Auch wenn sie den vorinstanzlichen
Kostenentscheid nicht zu vertreten hat, sind ihr die
Gerichtskosten aufzuerlegen.

Demnach erkennt das Eidg. Versicherungsgericht:
I. In Gutheissung der Verwaltungsgerichtsbeschwerde wird
Dispositiv-Ziffer 2 des Entscheids des Versicherungsgerichts
des Kantons St. Gallen vom 28. Mai 1999 aufgehoben.
II. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin
auferlegt.
III. Der geleistete Kostenvorschuss von Fr. 500.- wird der
Beschwerdeführerin zurückerstattet.
IV. Dieses Urteil wird den Parteien, dem Versicherungsgericht
des Kantons St. Gallen und dem Bundesamt für
Sozialversicherung zugestellt.
Luzern, 16. Juli 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Die Gerichtsschreiberin: