A.- G._ war gemäss Handelsregisterauszug vom 19. November 1997 seit der Eintragung der Firma X._ AG Verwaltungsratspräsident. Der Verwaltungsratsdelegierte K._ führte während dieser Zeit die Geschäfte der Firma, wofür er eine Entschädigung nach Aufwand erhielt.
Als weiteres Verwaltungsratsmitglied war H._ eingetragen.
Am 27. Februar 1995 schied G._ aus dem Verwaltungsrat aus, während die beiden anderen Personen ihre Mandate weiterführten.
Gestützt auf die Ergebnisse einer Arbeitgeberkontrolle vom 16. April 1996 verpflichtete die Ausgleichskasse des Kantons St. Gallen die Firma zur Nachzahlung paritätischer AHV/IV/EO/ALV-Beiträge sowie von Beiträgen an die Familienausgleichskasse in der Höhe von Fr. 20'418. 05, einschliesslich Verzugszinsen und Verwaltungskosten, auf Entgelten, welche in den Jahren 1992 bis 1995 an K._ ausgerichtet worden waren (Verfügungen vom 7. Mai 1996). Nachdem die Ausgleichskasse auf dem betreibungsrechtlichen Wege noch Fr. 4975. 10 erhältlich machen konnte, wurde ihr am 11. Dezember 1997 ein definitiver Verlustschein in der Höhe von Fr. 17'116. 70 ausgestellt. Am 14. Januar 1998 wurde über die Firma der Konkurs eröffnet, welcher mangels Aktiven wieder eingestellt werden musste. Für die aus den Beitragsjahren 1992 bis 1994 aufgelaufenen Ausstände der Firma in der Höhe vom Fr. 11'657. 65 erklärte die Kasse die Verwaltungsräte G._, K._ sowie H._ solidarisch haftbar und forderte sie mit separaten Verfügungen vom 29. Juni 1998 zur Leistung von Schadenersatz auf. Die beiden letztgenannten Personen wurden darüber hinaus für die das Beitragsjahr 1995 betreffenden Ausstände in die Pflicht genommen, was ein Forderungstotal von Fr. 17'116. 70 ergab.
B.- Auf Einspruch der Belangten hin klagte die Ausgleichskasse auf Bezahlung der erwähnten Beträge. Mit Entscheid vom 17. Dezember 1999 wies das Versicherungsgericht des Kantons St. Gallen die Klage, soweit G._ betreffend, ab.
C.- Die Ausgleichskasse erhebt Verwaltungsgerichtsbeschwerde mit dem Antrag, der kantonale Entscheid sei aufzuheben, soweit er den bundesrechtlichen Teil der Klage betreffe, und G._ sei zu verpflichten, der Ausgleichskasse Fr. 9677. 30 zu bezahlen.
Während G._ auf Abweisung der Verwaltungsgerichtsbeschwerde schliessen lässt, hat sich das Bundesamt für Sozialversicherung nicht vernehmen lassen. Die als Mitinteressierte beigeladenen K._ und H._ unterstützen das Rechtsbegehren der Ausgleichskasse.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2.- Das kantonale Gericht hat die Voraussetzungen, unter denen ein Arbeitgeber der Ausgleichskasse den durch qualifizierte schuldhafte Missachtung der Vorschriften entstandenen Schaden zu ersetzen hat, zutreffend dargelegt (Art. 52 AHVG; Art. 81 und 82 AHVV). Darauf ist zu verweisen.
Ebenfalls hat es unter Hinweis auf AHI 1993 S. 81 Erw. 2 richtig festgestellt, dass gegebenenfalls auch subsidiär ein verantwortliches Organ der juristischen Person für den Schaden belangt werden kann (vgl. statt vieler auch <ref-ruling> Erw. 5b mit Hinweisen).
3.- a) Vorab ist festzuhalten, dass der von der Ausgleichskasse letztinstanzlich geltend gemachte Schadenersatz in der Höhe von Fr. 9677. 30 in betraglicher Hinsicht ausgewiesen ist. Gemäss den Nachzahlungsverfügungen vom 7. Mai 1996 setzt sich dieser aus unbezahlt gebliebenen bundesrechtlichen Beiträgen für die Jahre 1992 bis 1994 zusammen.
Die Nachzahlungsverfügungen, welche unangefochten in Rechtskraft erwachsen sind, beruhen auf einer Arbeitgeberkontrolle vom 16. April 1996, bei der festgestellt wurde, dass die Firma u.a. in den Jahren 1992 bis 1994 über die an den Geschäftsführer K._ ausgerichteten Entgelte nicht abgerechnet hatte.
b) Eine Überprüfung der von der Ausgleichskasse im Nachzahlungsverfahren rechtskräftig vorgenommenen Qualifikation der Arbeit des K._ als unselbstständige Erwerbstätigkeit und damit der Verpflichtung der Firma zur Bezahlung paritätischer Beiträge findet im vorliegenden Verfahren nicht mehr statt.
Wie das Eidgenössische Versicherungsgericht bereits in ZAK 1991 S. 126 Erw. II/1b erwogen hat, ist durch die Möglichkeit der Firma sowie des betroffenen Arbeitnehmers, gegen die Nachzahlungsverfügung Beschwerde zu führen, genügend Gewähr dafür geboten, dass die Organe der zahlungsunfähig gewordenen Arbeitgeberin nicht mit ungerechtfertigten Schadenersatzforderungen belastet werden. Deswegen haben sich die Organe im Schadenersatzverfahren eine vor der Konkurseröffnung eröffnete Nachzahlungsverfügung (vgl. AHI 1993 S. 173 Erw. 3b) entgegenhalten zu lassen. Vorbehalten bleiben einzig jene Fälle, in denen sich aus den Akten Anhaltspunkte für eine zweifellose Unrichtigkeit der durch die Nachzahlungsverfügung festgesetzten Beiträge ergeben.
Unerheblich ist in diesem Zusammenhang, dass den belangten Organen die Verfügung nicht persönlich eröffnet worden ist (ZAK a.a.O.). Dabei kann es in Präzisierung der bisherigen Rechtsprechung keinen Unterschied machen, ob diese Personen im Zeitpunkt des Verfügungserlasses noch eine Organstellung bekleideten oder nicht (diese Frage wurde in AHI 1993 S. 173 Erw. 3b noch offen gelassen). Ungeachtet der personellen Zusammensetzung der Organe besteht für das Unternehmen stets dasselbe Interesse, die Frage des Beitragsstatus korrekt beantwortet zu haben, da es als Arbeitgeber von Gesetzes wegen der Schuldner der Beiträge vom Einkommen aus unselbstständiger Erwerbstätigkeit ist (Art. 14 Abs. 1 AHVG). Die Gefahr, dass ein Verzicht der Firma, von der Anfechtungsbefugnis Gebrauch zu machen, auf sachfremden Motiven beruht, ist sehr gering. Sodann können Personen mit Organstellung eine Nachzahlungsverfügung im eigenen Namen nur dann anfechten, wenn sie von dieser selbst betroffen sind. Diesfalls ist ihnen die Verfügung aber ohnehin persönlich zu eröffnen.
Anhaltspunkte, welche die Erfassung der an K._ für seine Geschäftsführerarbeiten ausgerichteten Entgelte als Einkommen aus unselbstständiger Erwerbstätigkeit als zweifellos unrichtig erscheinen lassen, finden sich in den Akten keine (vgl. auch Erw. 6a hienach).
4.- a) Die Vorinstanz hat die Klage der Ausgleichskasse, soweit die bundesrechtlichen Sozialversicherungsbeiträge betreffend, mit der Begründung abgewiesen, der Beschwerdegegner könne deshalb nicht für die fraglichen Beitragsausstände aus den Jahren 1992 bis 1994 in die Pflicht genommen werden, weil diese erst nach seinem Ausscheiden aus dem Verwaltungsrat mit Nachzahlungsverfügungen vom 7. Mai 1996 festgelegt worden seien.
b) Zwar trifft zu, dass der Beschwerdegegner mit dem Ausscheiden aus dem Verwaltungsrat im Februar 1996 keine Möglichkeit mehr besass, Zahlungen an die Ausgleichskasse zu veranlassen (vgl. <ref-ruling> Erw. 3b-d). Auch können ein Arbeitgeber oder seine Organe nur für jenen Schaden in die Pflicht genommen werden, der durch die Nichtbezahlung von paritätischen Beiträgen entstanden ist, die zu einem Zeitpunkt fällig waren, als er oder sie über allenfalls vorhandenes Vermögen disponieren und Zahlungen an die Ausgleichskasse veranlassen konnten (AHI 1994 S. 36 Erw. 6b).
Indessen sind weder Abrechnungspflicht, Beitragsschuld noch Fälligkeit von der Zustellung einer Rechnung, einer Veranlagungs- oder Nachzahlungsverfügung seitens der Ausgleichskasse abhängig. Die Abrechnungspflicht sowie die Beitragsschuld entstanden im Zeitpunkt der Lohnzahlung (Art. 14 und Art. 51 AHVG; <ref-ruling> Erw. 3a). Die geschuldeten Beiträge wurden mit dem Ablauf der Zahlungsperiode fällig (Art. 34 Abs. 4 AHVV). Aus diesem Grund hat die Beschwerdeführerin denn auch ihre Schadenersatzforderungen - anders als etwa bei den weiteren, ebenfalls zur Schadensbegleichung eingeklagten Verwaltungsräten - auf die bis Ende 1994 erfolgten (Lohn-)Zahlungen an K._ beschränkt.
Bis zu diesem Zeitpunkt hätte der Beschwerdegegner aber noch Einfluss auf das Abrechnungs- und Zahlungswesen nehmen können.
5.- Die Nichterfüllung der Abrechnungs- und Beitragszahlungspflicht des Arbeitgebers gemäss Art. 14 Abs. 1 AHVG in Verbindung mit Art. 34 ff. AHVV bedeutet eine Missachtung von Vorschriften im Sinne von Art. 52 AHVG, welche in der Regel die volle Schadensdeckung nach sich zieht (<ref-ruling> Erw. 2a mit Hinweisen). Die Ausgleichskasse, welche feststellt, dass sie einen durch Missachtung von Vorschriften entstandenen Schaden erlitten hat, darf davon ausgehen, dass der Arbeitgeber die Vorschriften absichtlich oder grobfahrlässig verletzt hat, sofern keine Anhaltspunkte für eine Rechtmässigkeit des Handelns oder die Schuldlosigkeit des Arbeitgebers bestehen. Im Rahmen der ihm obliegenden Mitwirkungspflicht ist es grundsätzlich Sache des Schadenersatzpflichtigen, den Nachweis für allfällige Rechtfertigungs- und Exkulpationsgründe zu erbringen (<ref-ruling> Erw. 1 am Ende). Verwaltung und Gericht prüfen alsdann im Rahmen des Untersuchungsgrundsatzes die Berechtigung der erhobenen Einwände (vgl. ZAK 1985 S. 300 Erw. 5b).
6.- Die vom Beschwerdegegner zu seiner Entlastung vorgebrachten Gründe sind unbehelflich.
a) Er übersieht, dass im Zusammenhang mit der während oder kurze Zeit nach der Firmengründung im Verwaltungsrat getroffenen Aufgabenteilung das Unternehmen angesichts der Bedeutung des Beitragswesens auch hätte abklären müssen, wie die einzelnen Tätigkeiten aus beitragsrechtlicher Sicht zu qualifizieren sind. Keinesfalls durfte sich die Firma damit begnügen, den Parteiwillen als massgebend zu betrachten.
Bei der hier allein interessierenden Tätigkeit des K._ als geschäftsführendes Verwaltungsratsmitglied hätte sie bei gebotener Sorgfalt erkennen können und müssen, dass das für die Geschäftsführertätigkeit zu leistende Entgelt als massgebender Lohn im Sinne von Art. 5 Abs. 1 AHVG zu werten ist. Denn wenn eine Person faktisch die Funktion eines geschäftsführenden Direktors der Firma mit allen üblicherweise dazugehörenden Kompetenzen und Aufgaben einnimmt, so schliesst dies eine selbstständige und unabhängige Tätigkeit aus. Zumindest hätte es einem Mindestmass an Sorgfalt entsprochen, sich über das zutreffende Beitragsstatut des K._ zu informieren, ehe auf eine Abrechnung der Entgelte verzichtet wurde. Dies gilt umso mehr, als sich der Verwaltungsrat bereits zu diesem Zeitpunkt über die Problematik der von ihm getroffenen beitragsrechtlichen Qualifikation einzelner Entgelte im Klaren gewesen sein muss, widrigenfalls die Verwaltungsratsmitglieder untereinander kaum die persönliche Bezahlung der AHV-Beiträge für den Fall vereinbart hätten, dass die Ausgleichskasse Verwaltungsratsmitglieder nicht als Selbstständigerwerbende akzeptieren würde.
Dieses Fehlverhalten bewirkte, dass die Ausgleichskasse erst mit den Nachzahlungsverfügungen vom 7. Mai 1996 die u.a. für die Beitragsperioden 1992-1994 geschuldeten Sozialabgaben festsetzen und einfordern konnte, was sich letztlich als zu spät erwies.
b) Auch hat sich der Beschwerdegegner dieses grobfahrlässige Verhalten als subsidiär haftendes Organ anrechnen zu lassen. Zwar darf sich der nicht geschäftsführende Verwaltungsrat nach der Rechtsprechung auf die Überprüfung der Tätigkeit der Geschäftsleitung und des Geschäftsganges beschränken.
Dabei muss aber verlangt werden, dass er sich laufend über den Geschäftsgang informiert, Rapporte verlangt, sie sorgfältig studiert, nötigenfalls ergänzende Auskünfte einzieht und Irrtümer abzuklären versucht (<ref-ruling> Erw. 4a mit Hinweisen). Insofern konnte und durfte sich der Beschwerdegegner in seiner Eigenschaft als Verwaltungsratspräsident nicht an die geltend gemachte Aufgabenteilung halten. Vielmehr hätte er sich wegen der Bedeutung des Beitragswesens mit diesem selbst befassen müssen.
Zu besonderer Aufmerksamkeit hätte umso mehr Anlass bestanden, als unter den Verwaltungsratsmitgliedern offenbar eine Unsicherheit bestand, wie die Ausgleichskasse die Entgelte qualifizieren würde (vgl. Erw. 6a hievor). Sich auf eine Intervention des Buch führenden Treuhandbüros zu verlassen, genügt nicht.
7.- Eine Herabsetzung oder Aufhebung der Schadenersatzpflicht wegen Mitverschuldens der Verwaltung (<ref-ruling>; SZS 2000 S. 91; Pra 1997 Nr. 48 S. 251 Erw. 3a) steht angesichts der durch die Akten ausgewiesenen ständigen und intensiven Betreibungsbemühungen der Ausgleichskasse seit 1996 ausser Frage. Dass die Ausgleichskasse die Firma erst mit der Nachzahlungsverfügung vom 7. Mai 1996 zur Bezahlung der Beiträge gemahnt hat, ist - wie bereits unter Erw. 6a am Ende dargetan - auf die Verletzung der Abrechnungspflicht der Firma zurückzuführen und kann entgegen der Auffassung des Beschwerdegegners nicht der Ausgleichskasse angelastet werden.
8.- Da im vorliegenden Verfahren nicht die Bewilligung oder Verweigerung von Versicherungsleistungen streitig ist, fällt es nicht unter die Kostenfreiheit gemäss Art. 134 OG.
Entsprechend dem Verfahrensausgang werden die Gerichtskosten dem Beschwerdegegner auferlegt (Art. 156 in Verbindung mit Art. 135 OG). Im Weiteren hat er den als Mitinteressierte beigeladenen H._ und K._ eine Parteientschädigung zu bezahlen (Art. 159 OG; <ref-ruling> Erw. 5; Gygi, Bundesverwaltungsrechtspflege, 2. Aufl. , S. 184).

Demnach erkennt das Eidg. Versicherungsgericht:
I.In Gutheissung der Verwaltungsgerichtsbeschwerde wird
der Entscheid des Versicherungsgerichts des Kantons
St. Gallen vom 17. Dezember 1999 hinsichtlich der Sozialversicherungsbeiträge
kraft Bundesrecht aufgehoben,
und es wird der Beschwerdegegner in teilweiser
Gutheissung der Klage der Ausgleichskasse des Kantons
St. Gallen vom 19. August 1998 zur Bezahlung von
Schadenersatz in Höhe von Fr. 9677. 30 verpflichtet.
II.Die Gerichtskosten von Fr. 1000.- werden dem Beschwerdegegner auferlegt.
III. Der geleistete Kostenvorschuss von Fr. 1000.- wird der
Ausgleichskasse des Kantons St. Gallen zurückerstattet.
IV.Der Beschwerdegegner hat den beigeladenen H._ und K._ für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung
von je Fr. 250.- (einschliesslich Mehrwertsteuer)
zu bezahlen.
V.Dieses Urteil wird den Parteien, dem Versicherungsgericht
des Kantons St. Gallen, dem Bundesamt für Sozialversicherung
sowie H._ und K._ zugestellt.
Luzern, 29. Dezember 2000
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der I. Kammer:
Der Gerichtsschreiber: