Sachverhalt:
A.
Die 1973 geborene A._, Mutter dreier Kinder, bezieht gemäss Verfügung der IV-Stelle des Kantons Thurgau seit 1. Mai 2003 eine Invalidenrente zuzüglich dreier Kinderrenten. Ab Januar 2009 sprach ihr die Ausgleichskasse des Kantons Thurgau eine betraglich variierende Ergänzungsleistung zur Invalidenrente zu.
A._ war bis Januar 2016 im Kanton Thurgau, seit Februar 2016 im Kanton St. Gallen wohnhaft. Nach einem längeren Verfahren, in dem es um Kinderzulagen für die drei Kinder ging, die der geschiedene Ehemann und Vater der Kinder nicht an A._ weitergeleitet hatte, sowie um Alimente für die beiden jüngeren Kinder, welche die Leistungsbezügerin im Jahre 2015 nicht habe bevorschussen lassen, was von der Verwaltung als Einkommensverzicht qualifiziert wurde, erliess die Ausgleichskasse nach vorgängiger Verfügung am 14. März 2016 einen Einspracheentscheid; mit diesem forderte sie von A._ Ergänzungsleistungen in der Höhe von Fr. 4'135.- (entfallend auf Kinderzulagen) und Fr. 3'906.- (entfallend auf Kinderalimente) zurück.
B.
Auf die gegen diesen Einspracheentscheid von A._ am 28. April 2016 eingereichte Beschwerde trat das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 23. November 2016 mangels örtlicher Zuständigkeit nicht ein, weil die EL-Bezügerin bei Einreichung der Beschwerde ihren Wohnsitz bereits im Kanton St. Gallen gehabt habe. Es überwies die Beschwerde an das Versicherungsgericht des Kantons St. Gallen.
C.
Auf die Beschwerde von A._ trat das Versicherungsgericht des Kantons St. Gallen mangels örtlicher Zuständigkeit ebenfalls nicht ein (Entscheid vom 15. Januar 2018).
D.
A._ liess Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung der Nichteintretensentscheide des Versicherungsgerichts des Kantons St. Gallen vom 15. Januar 2018 und des Verwaltungsgerichts des Kantons Thurgau vom 23. November 2016 sei über die Zuständigkeit zur Beurteilung der Beschwerde gegen die Ausgleichskasse des Kantons Thurgau zu entscheiden und es sei die Sache zu materieller Beurteilung an die zuständige Instanz zu überweisen. Mit Urteil vom 18. Dezember 2018 hiess das Bundesgericht die Beschwerde gut, hob den Entscheid des Versicherungsgerichts des Kantons St. Gallen auf und wies die Sache an dieses zurück, damit es materiell über die Beschwerde gegen den Einspracheentscheid der Ausgleichskasse des Kantons Thurgau vom 14. März 2016 entscheide.
Mit Entscheid vom 26. April 2019 hiess das Versicherungsgericht des Kantons St. Gallen die Beschwerde teilweise gut, hob den Einspracheentscheid vom 14. März 2016 auf und wies die Sache zu weiterer Abklärung und neuer Verfügung im Sinne der Erwägungen an die Ausgleichskasse des Kantons Thurgau zurück.
E.
Die Ausgleichskasse des Kantons Thurgau führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, der vorinstanzliche Rückweisungsentscheid sei aufzuheben und die Sache sei materiell zu entscheiden. Eventuell sei das kantonale Gericht anzuweisen, seinen Einspracheentscheid auf Konformität mit dem Bundesrecht und dem Recht des Kantons Thurgau zu beurteilen.
A._ schliesst sich Antrag Ziffer 1 der Ausgleichskasse, über den Rückforderungsanspruch materiell zu entscheiden, an. Eventuell sei die Beschwerde abzuweisen. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Beim angefochtenen Entscheid handelt es sich um einen selbstständig anfechtbaren Zwischenentscheid im Sinne von <ref-law>. Der Rückweisungsentscheid enthält verbindliche materiellrechtliche Anordnungen zur Entscheidung unter anderem nach Massgabe des EL-Rechts des Kantons St. Gallen und stellt damit für die Ausgleichskasse einen nicht wieder gutzumachenden Nachteil dar (<ref-ruling> E. 4.2 S. 285 mit Hinweisen), weshalb er selbstständig anfechtbar ist.
1.2. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>), die Feststellung des Sachverhalts durch die Vorinstanz nur, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
2.1. Die Vorinstanz führte zunächst aus, dass sie aufgrund des Urteils des Bundesgerichts vom 18. Dezember 2018 einen Einspracheentscheid überprüfen müsse, der teilweise auf Thurgauer Recht beruht. Da ihr dies gemäss kantonaler Verfassung untersagt sei, bleibe ihr nichts anderes übrig, als das EL-Recht des Kantons St. Gallen anzuwenden. Bei der Verfügung vom 17. Juni 2015, mit der die laufende Ergänzungsleistung rückwirkend ab 1. Mai 2013 neu festgesetzt wurde, habe es sich um eine Wiedererwägung der Revisionsverfügung vom 26. Juni 2013 gehandelt, mit der die Ausgleichskasse die Ergänzungsleistung ursprünglich per 1. Mai 2013 erhöht hatte. Sie habe die ursprüngliche Revisionsverfügung vom 26. Juni 2013 als zweifellos unrichtig erachtet, weil bei der Anspruchsberechnung keine Kinderzulagen berücksichtigt wurden, obwohl die Beschwerdegegnerin ab 1. Mai 2013 effektiv Kinderzulagen bezogen habe. Nach Auffassung der Vorinstanz können die Akten jedoch Bezug oder Nichtbezug von Kinderzulagen im Zeitraum ab 1. Mai 2013 nicht mit der erforderlichen Wahrscheinlichkeit belegen. Die Antwort der Familienausgleichskasse auf eine Anfrage der Ausgleichskasse betreffend Ausrichtung von Kinderzulagen sei von der Sachbearbeiterin nicht unterschrieben worden. Da der Sachverhalt in diesem Punkt nicht hinreichend erstellt sei, habe die Ausgleichskasse zusätzliche Abklärungen zu treffen. Weiter hielt die Vorinstanz fest, die Beschwerdeführerin hätte gemäss EL-Gesetz des Kantons St. Gallen erstmals ab 1. Mai 2013 Anspruch auf eine ausserordentliche kantonalrechtliche Ergänzungsleistung, weil der Mietzins ab diesem Datum das bundesrechtliche Mietzinsmaximum überschritten hatte. Die entsprechende Bestimmung sei Ende 2015 aufgehoben worden.
2.2. Die Ausgleichskasse wirft der Vorinstanz vor, sie habe den Untersuchungsgrundsatz verletzt und die Beweise willkürlich gewürdigt, indem sie die Bestätigung der Familienausgleichskasse über die Auszahlung von Familienzulagen ohne sachlichen Grund nicht beachtet habe. Die erforderlichen Abklärungen habe sie bereits vollständig getroffen, weshalb eine Rückweisung ausgeschlossen sei. Eine fehlende Unterschrift auf der Bestätigung und Auflistung der Ansprüche auf Kinderzulagen mittels E-Mail lasse nicht an der Richtigkeit der Aufzählung zweifeln, zumal die Ausgleichskasse die Akten elektronisch führt. Im Weiteren weist die Beschwerdeführerin darauf hin, dass sich aus Art. 21 ELG die Zuständigkeit des jeweiligen Kantons zur Festsetzung und Auszahlung der Ergänzungsleistungen nach dem Wohnsitzprinzip ergebe. Die Anwendung von EL-Recht des Kantons St. Gallen würde zu Rechtsungleichheit führen, da der Kanton Thurgau keine ausserordentlichen Ergänzungsleistungen kenne.
3.
3.1. Aufgrund des Urteils des Bundesgerichts vom 18. Dezember 2018 (9C_260/2018) steht fest, dass das Versicherungsgericht des Kantons St. Gallen zur Beurteilung der Beschwerde der EL-Bezügerin zuständig ist. <ref-law>, der den Wohnsitz der Beschwerde führenden Person als massgebenden Anknüpfungspunkt für die örtliche Zuständigkeit des kantonalen Versicherungsgerichts bestimmt, betrifft nur diesen formellen Gesichtspunkt.
Davon unterschieden werden muss die Zuständigkeit zur Festlegung und Gewährung der Leistungen, die im materiellen EL-Recht geregelt ist. Wie die Ausgleichskasse zutreffend geltend macht, bestimmt Art. 21 Abs. 1 Satz 1 ELG, dass für die Festsetzung und die Auszahlung der Ergänzungsleistung der Kanton zuständig ist, in dem der Bezüger oder die Bezügerin Wohnsitz hat.
3.2. Bezogen auf den vorliegenden Fall bedeutet dies, dass bis Januar 2016 die Ausgleichskasse des Kantons Thurgau zur Festsetzung und Auszahlung der Ergänzungsleistung zuständig war, ab Februar 2016 die Ausgleichskasse des Kantons St. Gallen. Im Zusammenhang mit der Festlegung der Leistungen ist nebst dem Bundesrecht allenfalls das jeweilige kantonale Recht mit zu berücksichtigen, soweit dieses vom ELG abweichende Bestimmungen kennt. Dass ab Februar 2016 im vorliegenden Fall eine andere Rechtslage bestanden hat als in der Zeit, als die Leistungsbezügerin im Kanton Thurgau Wohnsitz hatte, trifft entgegen den Ausführungen im angefochtenen Gerichtsentscheid nicht zu. Eine ausserordentliche Ergänzungsleistung bei Überschreiten der bundesrechtlichen Höchstbeträge für den Mietzins im Sinne von Art. 10 lit. b ELG ist infolge einer Änderung des Ergänzungsleistungsgesetzes des Kantons St. Gallen auf den 31. Dezember 2015 dahingefallen. Vor diesem Zeitpunkt hatte die Beschwerdegegnerin indessen nie Wohnsitz im Kanton St. Gallen und demnach auch keinen Anspruch auf eine ausserordentliche Ergänzungsleistung nach der bis Ende 2015 geltenden Gesetzgebung dieses Kantons. Dass der tatsächlich bezahlte Mietzins im Zeitraum vom 1. Mai 2013 bis 31. März 2014 wesentlich höher war als das bundesrechtliche Mietzinsmaximum, ist daher unerheblich. Der Umstand, dass die EL-Durchführungsstelle laut Ausführungen der Vorinstanz trotz Wegfalls der ausserordentlichen Ergänzungsleistung nach ständiger Praxis rückwirkend für die Zeitdauer bis 31. Dezember 2015 offenbar immer noch eine ausserordentliche Ergänzungsleistung ausrichtet, ist nicht entscheidend. Diese vom kantonalen Gericht erwähnte Verwaltungspraxis ist weder belegt noch wäre sie für die gerichtlichen Instanzen verbindlich. Daher kann die von der Ausgleichskasse beschwerdeweise aufgeworfene Grundsatzfrage hier offenbleiben.
3.3. Die in Dispositiv-Ziffer 1 des angefochtenen Entscheids angeordnete Rückweisung der Sache zur Ergänzung des Sachverhalts und neuer Verfügung an die Ausgleichskasse betrifft zunächst die ausserordentliche EL nach dem Recht des Kantons St. Gallen, die - wie vorstehend (E. 3.2 hievor) dargelegt - nicht ausgerichtet werden muss. Im Weiteren erachtete die Vorinstanz die Frage, ob die Beschwerdegegnerin ab Mai 2013 Kinderzulagen erhalten habe, als nicht genügend geklärt.
3.4. Soweit das kantonale Gericht es als fraglich bezeichnet, dass die Beschwerdegegnerin ab 1. Mai 2013 Kinderzulagen bezogen hat, ist ihre Würdigung der Beweislage haltlos, willkürlich und damit für das Bundesgericht nicht verbindlich (E. 1.2 hiervor), wie aus den nachstehenden Darlegungen erhellt: Die Mitarbeiterin des Sozialversicherungszentrums Thurgau (Familienausgleichskasse) hat die für die drei Kinder der Beschwerdegegnerin in der Zeit vom 1. Januar 2013 bis 31. März 2014 ausbezahlten Kinderzulagen in einer E-Mail vom 20. Mai 2015 an ihre Arbeitskollegin von der EL-Durchführungsstelle aufgelistet. Damit ist mit der erforderlichen Wahrscheinlichkeit erwiesen, dass die fraglichen Kinderzulagen ausgerichtet wurden. Weshalb gerade mit Bezug auf diese Leistungen eine E-Mail keinen hinreichenden Beweis erbringen sollte, ist nicht erkennbar. Die E-Mail trägt die Namen von Absenderin und Empfängerin, beide beim Sozialversicherungszentrum Thurgau tätig, das Datum und die Uhrzeit. Die Tatsache, dass die Bestätigung nicht unterschrieben wurde, ändert an deren Beweiskraft nichts. Vielmehr ist aus der E-Mail (Namen, Betreff) ohne weiteres ersichtlich, dass es sich um die Antwort der Angestellten der Familienausgleichskasse an die Mitarbeiterin der EL-Durchführungsstelle handelt. Es besteht damit kein sachlicher Grund, nicht auf diese E-Mail abzustellen. Im Rahmen der elektronischen Aktenführung von der Verwaltung unterschriftlich bestätigte Abrechnungen, Auflistungen und vergleichbare Dokumente zu verlangen, würde die Anforderungen an den Verwaltungsaufwand und die Beweisführung übersteigen.
Der in den übrigen Punkten vorinstanzlich bestätigte Einspracheentscheid der EL-Durchführungsstelle des Kantons Thurgau vom 14. März 2016, womit diese die Ergänzungsleistung ab 1. April 2015 auf Fr. 554.- im Monat festsetzte und Ergänzungsleistungen von Fr. 4'135.- (Kinderzulagen vom 1. Mai 2013 bis 31. März 2014) und Fr. 3'906.- (Alimentenbevorschussung vom 1. April bis 31. Dezember 2015) zurückgefordert hat, ist somit rechtens. Auf die weiteren Ausführungen im angefochtenen Entscheid ist nicht einzugehen.
4.
Dem Verfahrensausgang entsprechend sind die Gerichtskosten der unterliegenden Beschwerdegegnerin aufzuerlegen (<ref-law>). Deren Gesuch um unentgeltliche Rechtspflege ist indessen stattzugeben, da die gesetzlichen Voraussetzungen erfüllt sind (<ref-law>). Die Beschwerdegegnerin wird jedoch auf <ref-law> hingewiesen. Danach hat sie der Bundesgerichtskasse Ersatz zu leisten, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1.
In Gutheissung der Beschwerde wird der Entscheid des Versicherungsgerichts des Kantons St. Gallen vom 26. April 2019 aufgehoben.
2.
Der Beschwerdegegnerin wird die unentgeltliche Rechtspflege gewährt.
3.
Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Dem Rechtsdienst Inclusion Handicap wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2'000.- ausgerichtet.
5.
Die Sache wird zur Neuverlegung der Parteientschädigung des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons St. Gallen zurückgewiesen.
6.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 27. August 2019
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Der Gerichtsschreiber: Widmer