A.- Der 1956 geborene J._ war seit 1977 bei der Firma X._ angestellt und bei der Schweizerischen Unfallversicherungsanstalt (SUVA) obligatorisch gegen die Folgen von Unfall und Berufskrankheit versichert. Laut Unfallmeldung vom 19. Februar 1996 verletzte er sich an der rechten Schulter und am rechten Oberarm, als er am 24. Januar 1996 beim Abladen von Trennwand-Paletten auf einer Baustelle ein ins Rutschen geratenes Palett stoppen wollte. Der Hausarzt Dr. med. L._, Allgemeine Medizin FMH, diagnostizierte in einem Arztzeugnis vom 5. März 1996 eine posttraumatische Periarthropathie der rechten Schulter nach Kapsel-Bandüberdehnung und attestierte dem Versicherten eine Arbeitsunfähigkeit von 50 % ab 10. Februar 1996 (Datum der Erstbehandlung). Am 20. März 1996 berichtete Dr. med. L._ über einen guten Heilverlauf. Der Versicherte habe die Arbeit am 18. März 1996 wieder zu 100 % aufgenommen. Die SUVA holte zusätzliche Angaben des Versicherten vom 19. März 1996 und eine Stellungnahme des Kreisarztes Dr. med. C._ vom 25. März 1996 ein. Daraufhin lehnte sie es ab, Versicherungsleistungen zu erbringen, da weder ein Unfall noch eine unfallähnliche Körperschädigung vorliege (Verfügung vom 28. März 1996). An dieser Auffassung hielt die Anstalt mit Einspracheentscheid vom 29. Oktober 1996 fest, nachdem sie eine weitere Stellungnahme des Dr. med. K._, Orthopädische Chirurgie FMH, Ärzteteam Unfallmedizin der SUVA, vom 16. September 1996 beigezogen hatte.
B.- Die dagegen von der SWICA Gesundheitsorganisation (nachfolgend: SWICA) erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 28. Mai 1999 ab (Dispositiv-Ziffer 1), wobei es der SWICA eine Gerichtsgebühr von Fr. 2500.- auferlegte (Dispositiv-Ziffer 2).
C.- Die SWICA führt Verwaltungsgerichtsbeschwerde mit dem sinngemässen Rechtsbegehren, der kantonale Entscheid und der Einspracheentscheid seien aufzuheben und es sei festzustellen, dass die SUVA auf Grund des Ereignisses vom 24. Januar 1996 leistungspflichtig sei.
Die SUVA schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Der als Mitinteressierter beigeladene J._ und das Bundesamt für Sozialversicherung haben sich nicht vernehmen lassen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Das Eidgenössische Versicherungsgericht hat im noch nicht in der Amtlichen Sammlung veröffentlichten Urteil W. vom 4. Mai 2001, U 60/00, erkannt, es sei nach <ref-law> unzulässig, in einem kantonalen Beschwerdeverfahren, in dem sich zwei Versicherer gegenüberstehen, dem unterliegenden Versicherer Verfahrenskosten bzw. eine Spruchgebühr aufzuerlegen, wenn er sich nicht leichtsinnig oder mutwillig verhalten hat. Da die Vorinstanz zu Recht nicht von einem leichtsinnigen oder mutwilligen Verhalten der SWICA ausging, ist ihr Entscheid aufzuheben, soweit er die Beschwerdeführerin zur Bezahlung einer Gerichtsgebühr verpflichtet (Dispositiv-Ziffer 2).
2.- In materieller Hinsicht ist streitig, ob die SUVA als obligatorischer Unfallversicherer für die Folgen des Vorfalls vom 24. Januar 1996 leistungspflichtig ist. Dies hängt davon ab, ob es sich dabei um ein versichertes Ereignis handelt, wobei als solches ein Unfall oder eine unfallähnliche Körperschädigung in Frage kommt.
3.- a) Unfall ist die plötzliche, nicht beabsichtigte schädigende Einwirkung eines ungewöhnlichen äusseren Faktors auf den menschlichen Körper, die eine Beeinträchtigung der körperlichen oder geistigen Gesundheit zur Folge hat (<ref-law>; <ref-law>; <ref-ruling> Erw. 1 mit Hinweisen).
b) Nach der Definition des Unfalls bezieht sich das Begriffsmerkmal der Ungewöhnlichkeit nicht auf die Wirkung des äusseren Faktors, sondern nur auf diesen selber. Ohne Belang für die Prüfung der Ungewöhnlichkeit ist somit, dass der äussere Faktor allenfalls schwerwiegende, unerwartete Folgen nach sich zog. Der äussere Faktor ist ungewöhnlich, wenn er den Rahmen des im jeweiligen Lebensbereich Alltäglichen oder Üblichen überschreitet. Ob dies zutrifft, beurteilt sich im Einzelfall, wobei grundsätzlich nur die objektiven Verumständungen in Betracht fallen (<ref-ruling> Erw. 1, 121 V 38 Erw. 1a, je mit Hinweisen).
c) Das für den Unfallbegriff wesentliche Merkmal des ungewöhnlichen äusseren Faktors kann nach Lehre und Praxis auch in einer unkoordinierten Bewegung bestehen. Der ungewöhnliche äussere Faktor liegt in solchen Fällen darin, dass die körperliche Bewegung durch etwas "Programmwidriges", "Sinnfälliges" gestört wird, sodass einzelne Muskeln oder Muskelgruppen übermässig oder in unphysiologischer Weise beansprucht werden. Dies trifft beispielsweise dann zu, wenn die versicherte Person stolpert, ausgleitet oder an einem Gegenstand anstösst, oder wenn sie, um ein Ausgleiten zu verhindern, eine reflexartige Abwehrbewegung ausführt oder auszuführen versucht. Wo sich die Schädigung auf das Körperinnere beschränkt und sie erfahrungsgemäss auch als alleinige Folge von Krankheiten, namentlich von degenerativen Veränderungen eines Körperteils innerhalb eines durchaus normalen Geschehensablaufs, auftreten kann, muss die unkoordinierte Bewegung als unmittelbare Ursache der Schädigung indessen unter besonders sinnfälligen Umständen (z.B. Ausgleiten, Schlag) gesetzt worden sein (vgl. RKUV 1999 Nr. U 345 S. 422 Erw. 2b mit Hinweisen).
d) Über den Ablauf des Ereignisses vom 24. Januar 1996 sind den Akten die folgenden Angaben zu entnehmen:
aa) In der Unfallmeldung vom 19. Februar 1996 wird ausgeführt, beim Abladen von Trennwand-Paletten sei ein Palett ins Rutschen gekommen. Der Versicherte habe es stoppen wollen; dabei habe er einen "Zwick" in der Achsel verspürt.
bb) Gemäss der Schilderung im Arztzeugnis des Dr. med. L._ vom 5. März 1996 zog sich der Beschwerdeführer "durch Auffangen eines herabfallenden Paletts" eine Kapselbandüberdehnung im rechten Schultergelenk zu.
cc) Am 19. März 1996 sagte der Versicherte gegenüber dem SUVA-Sachbearbeiter aus, er habe den Monteuren beim Abladen von Paletten geholfen. Dabei seien mit der Hebebühne zwei aufeinander stehende Paletten abgeladen worden. Beim Abladen sei die obere Palette etwas ins Rutschen gekommen. Er habe deswegen eine sehr schnelle, ruckartige Bewegung mit dem rechten Arm ausgeführt und sich gegen die Palette gestemmt. Dabei, als er die sehr schnelle Armbewegung nach vorne gemacht habe, habe er einen "Zwick" im rechten Oberarm bis gegen die Schulter hinauf verspürt. Er habe dann gegen die obere Palette gestemmt. Das Gewicht beider Paletten habe ungefähr eineinhalb bis zwei Tonnen betragen.
e) Die Vorinstanz ist gestützt auf die zuletzt zitierten Aussagen des Versicherten zu Recht davon ausgegangen, dass dieser sich die Verletzung nicht beim Auffangen eines Paletts zuzog, sondern im Verlauf einer Armbewegung, die er in Richtung des Paletts ausführte. Unmittelbarer Auslöser der Verletzung war somit nicht eine übermässige Belastung, sondern die rasch ausgeführte, reflexartige Bewegung. Der ungewöhnliche äussere Faktor als ein Begriffsmerkmal des Unfalls wäre demzufolge zu bejahen, falls eine unkoordinierte Bewegung im vorstehend dargelegten Sinn (Erw. 3c) vorläge. Dies ist jedoch nicht der Fall, fehlt es doch an einer den normalen, üblichen Bewegungsablauf störenden Programmwidrigkeit, welche zu einer übermässigen oder unphysiologischen Beanspruchung einzelner Muskeln oder Muskelgruppen geführt hätte. Die vom Versicherten ausgeführte Abwehrbewegung mit dem rechten Arm ist als solche weder ungewöhnlich noch in besonderer, einem Ausgleiten oder einem Sturz vergleichbarer Weise geeignet, zu einer unphysiologischen Belastung einzelner Muskeln zu führen. Das Vorliegen eines ungewöhnlichen äusseren Faktors ist auch nicht bereits deshalb zu bejahen, weil die Bewegung reflexartig ausgeführt wurde (Urteil N. vom 12. April 2000, U 110/99). Das Ereignis vom 24. Januar 1996 ist daher nicht als Unfall zu qualifizieren.
4.- Zu prüfen bleibt, ob der Versicherte anlässlich des Vorfalls vom 24. Januar 1996 eine unfallähnliche Körperschädigung erlitten hat.
a) In zeitlicher Hinsicht sind grundsätzlich diejenigen Rechtssätze massgeblich, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben (<ref-ruling> Erw. 2 mit Hinweis). Vorliegend sind demnach die am 24. Januar 1996 in Kraft stehenden Normen anwendbar.
b) Gemäss <ref-law> kann der Bundesrat Körperschädigungen, die den Folgen eines Unfalles ähnlich sind, in die Versicherung einbeziehen. Von dieser Kompetenz hat der Bundesrat Gebrauch gemacht und folgende Körperschädigungen auch ohne ungewöhnliche äussere Einwirkung den Unfällen gleichgestellt (<ref-law> in der bis 31. Dezember 1997 geltenden Fassung):
a. Knochenbrüche, sofern sie nicht eindeutig auf eine Erkrankung zurückzuführen sind;
b. Verrenkungen von Gelenken;
c. Meniskusrisse;
d. Muskelrisse;
e. Muskelzerrungen;
f. Sehnenrisse;
g. Bandläsionen;
h. Trommelfellverletzungen.
Diese Aufzählung der den Unfällen gleichgestellten Körperschädigungen ist abschliessend (<ref-ruling> Erw. 4a, 147 Erw. 2b, je mit Hinweisen; Maurer, Schweizerisches Unfallversicherungsrecht, 2. Aufl., 1989, S. 202; so jetzt ausdrücklich <ref-law> in der seit 1. Januar 1998 geltenden Fassung).
Erforderlich ist ausserdem, dass ein plötzliches Ereignis, beispielsweise eine heftige Bewegung, einen der in Art. 9 Abs. 2 lit. b bis h UVV erwähnten Verletzungszustände hervorruft (<ref-ruling> Erw. 3c; RKUV 1990 Nr. U 112 S. 375 Erw. 3).
c) Mit dem Ausdruck "Bandläsionen" gemäss <ref-law> wollte der Verordnungsgeber nicht nur die Bandrupturen, sondern auch die Bänderzerrungen und die Bänderdehnungen erfassen. Damit gelten alle Formen der traumatischen Gelenksdistorsionen als unfallähnliche Körperschädigung (RKUV 1990 Nr. U 112 S. 374 f. Erw. 2b mit Hinweisen).
Dagegen stellt eine Sehnenverletzung nur dann eine unfallähnliche Körperschädigung dar, wenn ein (zumindest teilweiser) Sehnenriss vorliegt (<ref-ruling> Erw. 5c).
d) Zur Art der Verletzung, welche sich der Versicherte anlässlich des Ereignisses vom 24. Januar 1996 zuzog, liegen die folgenden ärztlichen Stellungnahmen vor:
aa) Dr. med. L._ führt im Arztzeugnis UVG vom 5. März 1996 aus, er habe den Versicherten erstmals am 10. Februar 1996 als Notfall behandelt. Er diagnostiziert eine posttraumatische Periarthropathie der rechten Schulter nach Kapsel-Bandüberdehnung. Als Befunde werden eine posttraumatische diffuse Periarthritis mit schmerzhafter Bewegungseinschränkung in allen Richtungen, eine leichte Kapsel- und Bandschwellung sowie eine Tendovaginitis am langen Biceps angegeben. Im Zwischenbericht vom 20. März 1996 nennt Dr. med. L._ als Diagnose eine posttraumatische Tendovaginitis des Biceps an der rechten Schulter.
bb) Der SUVA-Kreisarzt Dr. med. C._ stellte am 25. März 1996 den Antrag auf Ablehnung des Leistungsbegehrens für den Fall, dass kein Unfallereignis im Rechtssinne vorliege. Eine Übernahme als unfallähnliche Körperschädigung sei bei einer Periarthropathie der Schulter nicht möglich.
cc) Dr. med. U._, Vertrauensarzt der Beschwerdeführerin, erklärt in seiner auf Grund der Akten abgegebenen Stellungnahme vom 23. April 1996, der Hausarzt schreibe im Arztzeugnis UVG, dass es sich um eine Kapsel-Bandüberdehnung der rechten Schulter handle, und zwar posttraumatisch. Man könne hier wohl auch von einer "Distorsion" sprechen. Schmerzhaft sei ja nicht nur der Ansatz der langen Bicepssehne gewesen, sondern es habe eine diffuse Kapsel- und Bandschwellung mit entsprechender Druckdolenz bestanden. Der Versicherte habe früher nie mit der Schulter zu tun gehabt. Mittlerweile sei er wieder geheilt. Anamnese, Bericht des behandelnden Arztes und Verlauf sprächen für eine Schulterdistorsion, und damit sei der Unfallbegriff erfüllt.
dd) Dr. med. I._ führt in seiner ebenfalls gestützt auf die Aktenlage verfassten Stellungnahme vom 16. September 1996 aus, es sei unklar, wie Dr. med. L._ in der Lage gewesen sei, eine Kapsel- und Bandschwellung leichten Grades festzustellen, denn auf Grund der anatomischen Verhältnisse sei der Kapsel-/Bandapparat der Palpation nicht zugänglich. Auch wenn jedoch davon ausgegangen werde, dass eine Überdehnung der Gelenkkapsel stattgefunden habe, könne daraus nicht geschlossen werden, dass es sich um eine Bandläsion gemäss <ref-law> handle. Bei den glenohumeralen Ligamenten handle es sich nämlich nicht um Gelenkbänder, auf welche sich die genannte Bestimmung beziehe. Weiter sei zu berücksichtigen, dass die Schultergelenkkapsel anlagemässig über eine ausgesprochene Dehnbarkeit verfüge, und dass eine abrupte Bewegung untauglich sei, diese Strukturen zu rupturieren. Dazu seien starke Drehkräfte auf den abgespreizten Arm erforderlich. Deshalb erscheine es auf Grund des vom Versicherten geschilderten Mechanismus als undenkbar, dass er sich eine Kapsel-/Bandläsion zugezogen habe, umso mehr, da die anamnestischen Daten eher darauf hinwiesen, dass die Schmerzen erst nach einer gewissen Latenz massiv exazerbiert hätten. Als plausibler erscheine die Diagnose einer Tendovaginitis der langen Bicepssehne, wie sie Dr. med. L._ im Zwischenbericht vom 20. März 1996 gestellt habe. Eine Untersuchung habe ergeben, dass dieses Beschwerdebild bisweilen auf ein "Trauma", auf sportliche Aktivitäten oder auf repetitive Bewegungen zurückgeführt werde. Typisch für das Krankheitsbild sei ausser der Druckdolenz der Sehne im Sulkus die Tatsache, dass die Bewegungen, welche die Sehne unter Spannung bringen, wie Abduktion, Aussenrotation oder Hyperextension den Schmerz verstärkten. Bei einer Tendovaginitis der Bicepssehne handle es sich nicht um eine unfallähnliche Körperschädigung, da die Kontinuität der Sehne erhalten sei.
e) Dr. med. I._ gelangt in seiner Beurteilung vom 16. September 1996 in Auseinandersetzung mit den bereits vorhandenen ärztlichen Aussagen, insbesondere denjenigen des Dr. med. L._, zum Ergebnis, auf Grund des vom Versicherten geschilderten Geschehensablaufs könne eine Bandläsion im Rechtssinne ausgeschlossen werden, und die von Dr. med. L._ in seinem Zwischenbericht vom 20. März 1996 diagnostizierte Tendovaginitis erscheine demgegenüber als wesentlich wahrscheinlicher. Diese Stellungnahme, die auf der Grundlage der Vorakten zu schlüssigen, einlässlich begründeten und einleuchtenden Befunden gelangt, wird den von der Rechtsprechung formulierten Anforderungen an ein beweiskräftiges medizinisches Gutachten (<ref-ruling> Erw. 3a) gerecht. Sie enthält, entgegen der Auffassung der Beschwerdeführerin, nicht nur Vermutungen, sondern die klare Aussage, es erscheine auf Grund des vom Versicherten geschilderten Mechanismus als undenkbar, dass er sich eine Kapsel-/Bandläsion zugezogen habe. Der Beweiswert dieser Ausführungen wird durch die teilweise entgegen stehenden Aussagen des Dr. med. L._ (Zeugnis vom 5. März und Zwischenbericht vom 20. März 1996) und des Dr. med. U._ (Stellungnahme vom 23. April 1996) nicht in Frage gestellt, denn die Aussagekraft dieser Stellungnahmen wird dadurch stark geschmälert, dass beide Ärzte von einem unzutreffenden Geschehensablauf ausgehen, indem Dr. med. L._ annimmt, die Verletzung sei "durch Auffangen eines herabfallenden Paletts" entstanden, während sich Dr. med. U._ weitgehend auf die Erkenntnisse des Dr. med. L._ abstützt. Auf Grund der Aussagen des Versicherten kann ein Auffangen des Paletts, welches ein enormes Gewicht aufwies, ausgeschlossen werden. Vielmehr ist, wie bereits dargelegt, davon auszugehen, er habe den "Zwick" bereits im Verlauf der Armbewegung, vor einer Berührung des Paletts, verspürt. Es liegt auf der Hand, dass sich das Zugrundelegen eines andern Sachverhalts auf die medizinische Beurteilung auswirken kann. Insbesondere konnte sich die durch Dr. med. I._ verneinte Frage, ob der Geschehensablauf überhaupt geeignet sei, eine Bandläsion zu verursachen, für Dr. med. L._ und Dr. med. U._ nicht stellen. Zudem wird die durch Dr. med. L._ zunächst (Zeugnis vom 5. März 1996) gestellte Diagnose einer posttraumatischen Periarthropathie nach Kapsel-Bandüberdehnung im Zwischenbericht vom 20. März 1996 nicht mehr aufrecht erhalten, sondern nurmehr eine posttraumatische Tendovaginitis diagnostiziert, wobei der Zusatz "posttraumatisch" durch Dr. med. I._ einleuchtend erklärt wird. Unter diesen Umständen ist nicht zu beanstanden, dass das kantonale Gericht der Stellungnahme des Dr. med. I._ volle Beweiskraft zusprach und in zulässiger antizipierter Beweiswürdigung (vgl. dazu <ref-ruling> Erw. 4b, 122 V 162 Erw. 1d mit Hinweis) davon ausging, dass zusätzliche Abklärungen nicht geeignet wären, das Vorliegen einer der in <ref-law> abschliessend aufgezählten Verletzungsarten als überwiegend wahrscheinlich erscheinen zu lassen.
5.- a) Da der in Art. 134 OG verankerte Grundsatz der Unentgeltlichkeit des Verfahrens vor dem Eidgenössischen Versicherungsgericht nicht gilt, wenn wie vorliegend eine Krankenkasse und ein Unfallversicherer im Streit über die Leistungspflicht liegen (<ref-ruling> Erw. 6), haben die Parteien die letztinstanzlichen Gerichtskosten nach Massgabe ihres Unterliegens zu tragen (Art. 135 in Verbindung mit Art. 156 Abs. 1 und 3 OG).
b) Nach Art. 159 Abs. 2 OG darf im Verfahren der Verwaltungsgerichtsbeschwerde obsiegenden Behörden oder mit öffentlich-rechtlichen Aufgaben betrauten Organisationen in der Regel keine Parteientschädigung zugesprochen werden. In Anwendung dieser Bestimmung hat das Eidgenössische Versicherungsgericht der SUVA und den privaten UVG-Versicherern sowie - von Sonderfällen abgesehen - den Krankenkassen keine Parteientschädigungen zugesprochen, weil sie als Organisationen mit öffentlich-rechtlichen Aufgaben zu qualifizieren sind (<ref-ruling> Erw. 10 mit Hinweisen).

Demnach erkennt das Eidg. Versicherungsgericht:
I. In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde wird Dispositiv-Ziffer 2 des Entscheids des Versicherungsgerichts des Kantons St. Gallen vom 28. Mai 1999 aufgehoben. Im Übrigen wird die Verwaltungsgerichtsbeschwerde abgewiesen.
II. Die Gerichtskosten von Fr. 2000.- werden zu einem Viertel der SUVA und zu drei Vierteln der SWICA auferlegt.
Deren Anteil ist durch den geleisteten Kostenvorschuss von Fr. 2000.- gedeckt; der Differenzbetrag von Fr. 500.- wird ihr zurückerstattet.
III. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, dem Bundesamt für Sozialversicherung und J._ zugestellt.
Luzern, 30. August 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Der Gerichtsschreiber: