Sachverhalt:
A.
A._ (geb. 1968) absolvierte seit Oktober 2019 die Ausbildung "Dipl. Psychologische Beraterin Seminar B._" am Seminar B._ in U._. Am 10. September 2019 beantragte sie bei der Abteilung Stipendien und Studiendarlehen des Bildungsdepartements des Kantons St. Gallen (nachfolgend: Stipendienabteilung) ein Stipendium für das Ausbildungsjahr 2019/20. Mit Verfügung vom 3. Oktober 2019 lehnte die Stipendienabteilung ihr Gesuch ab.
B.
Den gegen die Verfügung der Stipendienabteilung erhobenen Rekurs vom 18. Oktober 2019 wies das Bildungsdepartement des Kantons St. Gallen am 7. Oktober 2020 ab. Zur Begründung hielt es im Wesentlichen fest, der Kurs "Dipl. Psychologische Beraterin Seminar B._" sei nicht als Erstausbildung zu werten und die Ausbildung sei nicht anerkannt. Sodann seien die Voraussetzungen für eine Anwendbarkeit der Ausnahmebestimmung von Art. 9 der kantonalen Stipendienverordnung vom 13. Mai 2003 (StipV/SG; sGS 211.51) nicht erfüllt.
Gegen den Entscheid des Bildungsdepartements erhob A._ Beschwerde, welche das Verwaltungsgericht am 7. Oktober 2020 teilweise guthiess. Es war der Auffassung, dass ungeachtet des der rechtsanwendenden Stelle eingeräumten Ermessens bei der Vergabe von Stipendien, ein Stipendienanspruch besteht, wenn die in Art. 9 StipV/SG verankerten Bedingungen erfüllt sind. Es wies infolgedessen die Angelegenheit zur Prüfung und neuem Entscheid über den Stipendienanspruch an die Stipendienabteilung zurück.
C.
Der Kanton St. Gallen vertreten durch die Bildungsdirektion, erhebt mit Eingabe vom 9. März 2021 beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, den vorinstanzlichen Entscheid aufzuheben und das Beitragsgesuch der Beschwerdegegnerin um Stipendien betreffend das Ausbildungsjahr 2019/20 vollumfänglich abzuweisen. Eventuell sei die Angelegenheit zum Neuentscheid an die Vorinstanz zurückzuweisen.
Das Verwaltungsgericht des Kantons St. Gallen und A._ beantragen die Abweisung der Beschwerde. Für das Verfahren vor dem Bundesgericht beantragt die Beschwerdegegnerin die unentgeltliche Rechtspflege.

Erwägungen:
1.
Dem angefochtenen Entscheid liegt die Frage zu Grunde, ob die Vorinstanz zu Recht die Überprüfung des Stipendienanspruchs der Beschwerdegegnerin an die Abteilung Stipendien und Studiendarlehen zurückgewiesen hat. Auf die Vergabe eines Stipendiums besteht gemäss der Vorinstanz ein Recht, wenn die Voraussetzungen von Art. 9 StipV/SG erfüllt sind. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist somit im Lichte von <ref-law> zulässig.
2.
2.1. Die beschwerdeführende Behörde - der Kanton St. Gallen - ist ein Gemeinwesen. Ihm steht kein besonderes Beschwerderecht nach <ref-law> zu. Als Grundlage für seine Beschwerdeberechtigung kommt somit nur die allgemeine Bestimmung von <ref-law> in Betracht. Die beschwerdeführende Behörde beruft sich denn auch allein auf diese Norm.
2.2. Nach <ref-law> ist zur Beschwerde in öffentlich-rechtlichen Angelegenheiten berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen hat oder keine Möglichkeit zur Teilnahme erhalten hat, durch den angefochtenen Entscheid besonders berührt ist und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung hat. Diese Regelung ist in erster Linie auf Privatpersonen zugeschnitten, doch kann sich auch das Gemeinwesen darauf stützen, falls es durch einen angefochtenen Entscheid gleich oder ähnlich wie ein Privater oder aber in spezifischer, schutzwürdiger Weise in der Wahrnehmung einer hoheitlichen Aufgabe betroffen wird, namentlich wenn einem Entscheid präjudizielle Bedeutung für die öffentliche Aufgabenerfüllung zukommt.
2.3. Die Beschwerdebefugnis zur Durchsetzung hoheitlicher Anliegen setzt eine erhebliche Betroffenheit in wichtigen öffentlichen Interessen voraus. Das allgemeine Interesse an der richtigen Rechtsanwendung begründet keine Beschwerdebefugnis im Sinne dieser Regelung. Gestützt auf die allgemeine Legitimationsklausel von <ref-law> sind Gemeinwesen nur restriktiv zur Beschwerdeführung zuzulassen. Insbesondere ist die im Rechtsmittelverfahren unterlegene Vorinstanz nicht berechtigt, gegen den sie desavouierenden Entscheid an das Bundesgericht zu gelangen (<ref-ruling> E. 2.1, mit Hinweisen).
2.4. Besondere Zurückhaltung ist geboten, wenn sich Organe desselben Gemeinwesens gegenüberstehen, namentlich die kantonalen Exekutivbehörden und das kantonale Verwaltungsgericht. Eine kantonale Exekutive, deren Verfügung von der kantonal letztinstanzlichen Justizbehörde aufgehoben wurde, ist grundsätzlich nicht befugt, Beschwerde in öffentlich-rechtlichen Angelegenheiten zur Wiederherstellung ihrer Verfügung zu führen, erst recht dann nicht, wenn es wie vorliegend um die Auslegung und Anwendung von kantonalem Recht geht (<ref-ruling> E. 2.2 mit Hinweisen).
Geht es um Entscheide mit finanziellen Auswirkungen, hat die Rechtsprechung zwar in verschiedenen Konstellationen die Legitimation des Kantons bejaht. Doch ist die Legitimation nicht schon dann zu bejahen, wenn ein Entscheid Auswirkungen auf das Vermögen des Gemeinwesens hat. Zur Begründung des allgemeinen Beschwerderechts genügt nicht jedes beliebige, mit der Erfüllung einer öffentlichen Aufgabe direkt oder indirekt verbundene finanzielle Interesse des Gemeinwesens (<ref-ruling> E. 4.2; <ref-ruling> E. 2.4; <ref-ruling> E. 2.2.1 mit Hinweisen). Bejaht hat das Bundesgericht die Legitimation in Konstellationen, in denen es um finanzielle Leistungen aus Rechtsverhältnissen geht, die zwar öffentlich-rechtlich geregelt sind, aber Analogien haben zu entsprechenden privatrechtlichen Instituten wie etwa das öffentliche Dienstrecht, das Staatshaftungsrecht oder das Enteignungsrecht. Im Übrigen ist das Gemeinwesen in seinen fiskalischen Interessen aber grundsätzlich nicht wie ein Privater betroffen, sondern in seiner Eigenschaft als Hoheitsträger (<ref-ruling> E. 2.3; <ref-ruling> E. 4.2; <ref-ruling> E. 3.3).
Verneint wird die Legitimation, wenn es einzig um die finanziellen Folgen der Verwaltungstätigkeit geht, welche das Gemeinwesen in seiner Stellung als hoheitlich verfügende Behörde trifft (<ref-ruling> E. 2.3; Urteil 1C_670/2013 vom 10. Februar 2014 E. 4.2). In solchen Fällen deckt sich das finanzielle Interesse des Gemeinwesens mit der Frage der richtigen Rechtsanwendung, was zur Legitimation im Sinne von <ref-law> nicht genügt, auch dann nicht, wenn der angefochtene Entscheid Präzedenzwirkung für weitere, sich auf die Kantonsfinanzen auswirkende Fälle hat. Das Gemeinwesen muss mit anderen Worten in qualifizierter Weise in seinen zentralen hoheitlichen Interessen berührt sein (<ref-ruling> E. 2.3; <ref-ruling> E. 2.4).
2.5. Vorliegend wehrt sich der Kanton gegen ein Urteil seines eigenen Verwaltungsgerichts, welches in Auslegung des kantonalen Rechts zu einem von ihm abweichenden Ergebnis gekommen ist. Der Streitgegenstand betrifft die Vergabe eines Stipendiums für das Ausbildungsjahr 2019/2020 der Beschwerdegegnerin am Seminar B._. Die beschwerdeführende Behörde bringt vor, dass die rechtliche Betrachtung der Vorinstanz zur Folge habe, dass sämtliche Kurse, welche zur Vorbereitung auf eine höhere Fachprüfung dienlich sein könnten, mit Stipendien durch den Staat zu unterstützen seien, sofern sie auf der Liste des Staatssekretariats für Bildung, Forschung und Innovation (SBFI) stünden und über ein Label des privaten Anbieters eduQua verfügten. Die Unterstützung nicht hoheitlich anerkannter Ausbildungen hätte grosse finanzielle Folgen für den Kanton, ohne dass dafür eine ausreichende gesetzliche Grundlage bestünde. Damit verstosse die Vorinstanz gegen den Grundsatz der Willkür.
2.6. Diese Argumentation zeigt auf, dass es der beschwerdeführenden Behörde vornehmlich um die Auswirkungen der Stipendienvergabe auf seine Finanzen geht. Dass der angefochtene Entscheid das Stipendienwesen als Ganzes in Frage stellen würde, wird nicht dargetan. Zudem ist nicht ersichtlich, inwiefern infolge des angefochtenen Entscheids über die finanziellen Auswirkungen hinaus die Erfüllung öffentlicher Aufgaben tangiert werden könnte (<ref-ruling> E. 2.4).
In dieser Konstellation ist nach dem Gesagten die Legitimation des Kantons zu verneinen. Anders als in den Entscheiden, in denen sich Gemeinden gegen kantonale Entscheide über die Aufgaben- und Kostenverteilung zwischen Kanton und Gemeinden oder die Kostentragung von Gemeinden wehrten und in denen das Bundesgericht die Legitimation bejaht hat (vgl. BGE <ref-ruling>; <ref-ruling>), wehrt sich hier der Kanton nicht gegen einen Entscheid, mit dem ihm eine hierarchisch höher stehende Körperschaft eine finanzielle Belastung direkt auferlegt (vgl. <ref-ruling> E. 1.2.3 und 1.2.4), sondern es bleibt bei einer Organstreitigkeit zwischen der kantonalen Exekutive und der kantonalen Judikative, für deren Beurteilung durch das Bundesgericht die vorne genannten Voraussetzungen fehlen.
3.
Auf die Beschwerde kann daher nicht eingetreten werden. Bei diesem Ausgang des Verfahrens hat der Kanton St. Gallen, um dessen Vermögensinteressen es geht, die Gerichtskosten zu tragen (Art. 66 Abs. 1 und 4 BGG). Das Gesuch der Beschwerdegegnerin um unentgeltliche Rechtspflege im bundesgerichtlichen Verfahren wird aufgrund des Unterliegens des Kantons St. Gallen gegenstandslos. Der nicht verbeiständeten Beschwerdegegnerin ist keine Parteientschädigung auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 1'000.-- werden der beschwerdeführenden Behörde auferlegt.
3.
Das Gesuch der Beschwerdegegnerin um unentgeltliche Rechtspflege wird als gegenstandlos geworden abgeschrieben.
4.
Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons St. Gallen, Abteilung III, schriftlich mitgeteilt.
Lausanne, 24. August 2021
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Die Gerichtsschreiberin: de Sépibus