A.- Die Firma R._ AG beschäftigt H._ als Handelsvertreter im Aussendienst auf Provisionsbasis. Anlässlich der Arbeitgeberkontrolle vom 8. Oktober 1992 stellte der Revisor der Ausgleichskasse des Kantons St. Gallen fest, dass in den Jahren 1990 bis 1992 50 % der Provisionsbezüge als Pauschalspesen ausbezahlt und darauf keine paritätischen Beiträge abgerechnet worden waren. Daraufhin teilte die Ausgleichskasse der R._ AG am 20. November 1992 mit, sie sei bereit, diesen Unkostensatz für die Jahre 1990 bis 1992 anzuerkennen, nachdem er zuvor bereits von der damals zuständigen Ausgleichskasse des Kantons Zug gebilligt worden sei und die Erläuterungen des Revisors auf hohe Unkosten hinweisen würden. Künftig müsse die Berechtigung von Pauschalspesen in einer derartigen Höhe aber durch Aufschriebe, Belege oder Spesenabrechnungen nachgewiesen werden. Falls die Unkosten ab 1. Januar 1993 nicht belegt werden könnten, akzeptiere die Ausgleichskasse nur noch einen Unkostensatz von höchstens 40 % der Provisionsbezüge.
Gemäss Bericht über die Arbeitgeberkontrolle vom 18. März 1997 rechnete die Firma in den Jahren 1992 bis 1995 wiederum einen Provisionsanteil von 50 % als Pauschalspesen ab. Am 4. April 1997 teilte die Ausgleichskasse der R._ AG und H._ mit, dass sie die übersetzten Spesen im Umfang von 10 % als AHV-pflichtigen Lohn taxiere, weil bei der Arbeitgeberkontrolle der geforderte Nachweis zur Begründung eines Spesenansatzes von 50 % nicht erbracht worden sei. Im Anschluss an dieses Schreiben erliess die Ausgleichskasse am 15. April 1997 drei Verfügungen, mit welchen die R._ AG verpflichtet wurde, für die Jahre 1993 bis 1995 paritätische AHV/IV/EO/ALV/FAK-Beiträge (inklusive Verwaltungskosten) in der Höhe von Fr. 3979. 60, 4210. 05 und 4760. 35 nachzuzahlen.
B.- Dagegen liess die R._ AG Beschwerde erheben und beantragen, die Nachzahlungsverfügungen für die Jahre 1993, 1994 und 1995 vom 15. April 1997 seien, soweit sie die Lohndifferenzen von H._ beträfen, aufzuheben. In teilweiser Gutheissung der Beschwerde hob das Versicherungsgericht des Kantons St. Gallen die Nachzahlungsverfügungen auf, soweit sie angefochten waren, und wies die Sache zur weiteren Abklärung des Sachverhalts und zum allfälligen Erlass neuer Verfügungen an die Ausgleichskasse zurück (Entscheid vom 17. November 1998).
C.- Die Ausgleichskasse führt Verwaltungsgerichtsbeschwerde mit den Rechtsbegehren, der vorinstanzliche Entscheid vom 17. November 1998 sei aufzuheben und die Verfügungen vom 15. April 1997 seien zu bestätigen; eventuell sei die Sache zur weiteren Abklärung des Sachverhalts an das kantonale Gericht zurückzuweisen; subeventuell sei Ziffer 4 des angefochtenen Entscheids aufzuheben.
Die R._ AG beantragt Abweisung der Verwaltungsgerichtsbeschwerde und weist darauf hin, dass sich H._ ihren Ausführungen ausdrücklich "auch als Privatperson" anschliesse. Der als Mitinteressierter beigeladene H._ reicht keine separate Stellungnahme ein. Das Bundesamt für Sozialversicherung lässt sich nicht vernehmen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Auf die Verwaltungsgerichtsbeschwerde kann nur so weit eingetreten werden, als Sozialversicherungsbeiträge kraft Bundesrechts streitig sind. Im vorliegenden Verfahren ist daher nicht zu prüfen, wie es sich bezüglich der Beitragsschuld gegenüber der Ausgleichskasse für kantonale Familienzulagen verhält (<ref-ruling> Erw. 1 mit Hinweis).
2.- Da keine Versicherungsleistungen streitig sind, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob der vorinstanzliche Entscheid Bundesrecht verletzt, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
Ferner ist Art. 114 Abs. 1 OG zu beachten, wonach das Eidgenössische Versicherungsgericht in Abgabestreitigkeiten an die Parteibegehren nicht gebunden ist, wenn es im Prozess um die Verletzung von Bundesrecht oder um die unrichtige oder unvollständige Feststellung des Sachverhalts geht.
3.- Die ursprünglich angefochtenen Verfügungen vom 15. April 1997 richten sich an die R._ AG. Aus dem Inhalt der Verwaltungsakte ergibt sich kein Anhaltspunkt dafür, dass diese auch dem mitbetroffenen H._ zugestellt worden sind. Das kantonale Gericht hat H._ im Anschluss an den Schriftenwechsel mit Schreiben vom 1. September 1998 die Gelegenheit eingeräumt, sich am Verfahren zu beteiligen und eine Stellungnahme einzureichen. Von dieser Möglichkeit hat er mit Eingabe vom 10. September 1998 Gebrauch gemacht. Seine Parteirechte wurden somit gewahrt.
4.- Das kantonale Gericht hat den Begriff des massgebenden Lohnes einer unselbstständigerwerbenden Person (<ref-law>) und die Bestimmungen und Grundsätze zur Behandlung von bei der Ausführung der Arbeit entstehenden Unkosten oder Spesen (<ref-law>, <ref-law> in der bis 1996 gültig gewesenen Fassung; <ref-ruling> Erw. 2; AHI 1996 S. 248 Erw. 3a mit Hinweisen) zutreffend dargelegt. Dasselbe gilt bezüglich der Ausführungen zum im Sozialversicherungsprozess in beweisrechtlicher Hinsicht allgemein geltenden Untersuchungsgrundsatz und der Mitwirkungspflicht der Parteien (<ref-ruling> Erw. 2 mit Hinweisen). Darauf kann verwiesen werden.
5.- a) Am 14. April 1993 wurde H._ bei der Ausgleichskasse vorstellig, um über die Problematik der pauschalen Spesenabzüge zu diskutieren. Mit Schreiben gleichen Datums hielt die Beschwerdeführerin daran fest, dass die Höhe von 40 % übersteigende Spesenansätze nur akzeptiert werden könnten, wenn die Unkosten tatsächlich belegt würden, und forderte von H._ ein weiteres Mal (vgl. das Schreiben der Ausgleichskasse vom 20. November 1992) entsprechende Aufschriebe, Belege oder Spesenabrechnungen. Im Anschluss an den weiteren Gesprächstermin vom 14. Mai 1993 schlug sie ihm vor, im laufenden und kommenden Halbjahr während sechs nicht aufeinander folgenden Monaten die Auslagen für geschäftliche Aufwendungen zu notieren (Schreiben vom 2. Juni 1993). Unter diesen Umständen sei sie bereit, gestützt auf die stichprobenweise Erfassung der Aufwendungen einen pauschalen Spesensatz zu vereinbaren. Falls H._ diesen Vorschlag nicht befolge, werde sie anlässlich der nächsten Arbeitgeberkontrolle den pauschalen Spesenabzug auf 40 % der Gesamtbezüge begrenzen. Nachdem die Ausgleichskasse im Rahmen des vorinstanzlichen Verfahrens auf ihren Brief vom 2. Juni 1993 hingewiesen hatte, gab die Beschwerdegegnerin an, sie habe dieses Schriftstück aus unbekannten Gründen nie erhalten.
b) Das kantonale Gericht führte in umfassender Würdigung dieser Tatsachenlage aus, zwar sei durchaus richtig, dass es nicht Aufgabe der Ausgleichskasse sei, für die Beschwerdegegnerin oder deren Mitarbeiter gewissermassen die Spesenbuchhaltung zu führen. Daher verlange diese zu Recht, dass ihr die Unterlagen geordnet zu übergeben seien. Selbst wenn die Firma das Schriftstück vom 2. Juni 1993 nicht erhalten haben sollte, stehe fest, dass sie mit Schreiben vom 20. November 1992 und 14. April 1993 von der Verwaltung darüber informiert worden sei, dass die Spesenbelege beizubringen seien, damit für ihren Mitarbeiter ein Spesensatz von mehr als 40 % akzeptiert werden könne. Es dürfe daher davon ausgegangen werden, dass es der Firma bzw. ihrem Mitarbeiter möglich gewesen sei, die Spesenbelege ab 1993 vollständig zu sammeln und eine überprüfbare Unkostenabrechnung zu erstellen. Die Beschwerdegegnerin lege denn auch Akten ins Recht, welche auf den Bestand einer geordneten Belegsammlung schliessen lasse. Zudem biete sie die Edition sämtlicher Belege an. Da die offerierten Beweise für die Festlegung des Unkostensatzes zweifellos erheblich seien und aus dem bisherigen Verhalten der Firma jedenfalls nicht der Schluss gezogen werden könne, sie wolle die Mitwirkung bei der Beweiserhebung grundsätzlich verweigern, sei sie zum verlangten Nachweis zuzulassen. Dies habe - zunächst - im Verwaltungsverfahren zu geschehen, weshalb die Angelegenheit zur weiteren Abklärung des Sachverhalts und zum Erlass neuer Verfügungen an die Ausgleichskasse zurückgewiesen werde.
c) Was in der Verwaltungsgerichtsbeschwerde dagegen vorgebracht wird, führt zu keiner anderen Beurteilung. So vermag die Ausgleichskasse insbesondere aus ZAK 1990 S. 37 ff. nichts zu ihren Gunsten abzuleiten. Wie in diesem Präjudiz hat die Beschwerdeführerin zwar auch im vorliegenden Fall die Beschwerdegegnerin frühzeitig darauf aufmerksam gemacht, dass sie die bisher praktizierte Regelung mit Pauschalspesenabzug nicht mehr akzeptiere, sofern entsprechende Spesen nicht nachgewiesen würden. Im vorliegenden Fall wusste die Ausgleichskasse jedoch, dass die Firma - beziehungsweise H._ - dagegen opponierte und das Gespräch mit ihr suchte. Die Beschwerdegegnerin hat im vorinstanzlichen Verfahren die Edition der umfangreichen Spesenbelege für die Jahre 1993 bis 1995 offeriert und präzisiert, dass die Spesenaufwendungen für die einzelnen Jahre in Ordnern zusammengefasst und mit Registern nach Themen unterteilt seien. Dazu wurde ein Inhaltsverzeichnis der Spesenbelege 1995 ins Recht gelegt. In Anbetracht der gesamten Umstände kann von einer offenkundigen Verletzung der Mitwirkungspflichten durch die Beschwerdegegnerin nicht gesprochen werden. Es lässt sich somit nichts dagegen einwenden, dass die Vorinstanz auf das Vorhandensein einer geordneten Belegsammlung schloss und die Sache an die Ausgleichskasse zurückwies, damit diese auf das Beweisangebot der Firma eingehe. Dem Eventualantrag der Beschwerdeführerin, die Sache sei an das kantonale Gericht zurückzuweisen, kann nicht stattgegeben werden. Denn die Vorinstanz hat ihr Ermessen mit der Rückweisung an die Verwaltung weder überschritten noch missbraucht. Nur auf diese Weise steht der Beschwerdegegnerin im Übrigen nach dem Erlass neuer Verfügungen durch die Ausgleichskasse wiederum der ungekürzte Rechtsweg offen. Nachdem keine offenkundige Verletzung der Mitwirkungspflichten durch die Firma vorliegt, rechtfertigt sich schliesslich auch die Aufhebung von Ziffer 4 des angefochtenen Entscheides nicht, mit welcher die Ausgleichskasse verpflichtet wird, der Beschwerdegegnerin für das kantonale Beschwerdeverfahren eine Parteientschädigung von Fr. 2500. - zu bezahlen.
6.- Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Dem Prozessausgang entsprechend sind die Gerichtskosten der Beschwerdeführerin aufzuerlegen (Art. 156 in Verbindung mit Art. 135 OG), welche überdies der Beschwerdegegnerin eine Parteientschädigung zu bezahlen hat (Art. 159 in Verbindung mit Art. 135 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
II.Die Gerichtskosten von Fr. 1200. - werden der Ausgleichskasse des Kantons St. Gallen auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
III. Die Ausgleichskasse des Kantons St. Gallen hat der Beschwerdegegnerin für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 2500. - (einschliesslich Mehrwertsteuer) zu bezahlen.
IV.Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, dem Bundesamt für Sozialversicherung und H._ zugestellt.
Luzern, 19. Dezember 2000
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Die Gerichtsschreiberin: