Sachverhalt: A. Der 1925 geborene A._ lebte in X._ (Kanton St. Gallen), bevor er Anfang Juli 1997 als Pensionär in das im Kanton Thurgau gelegene Kurheim Y._ in Z._ eintrat. Mit Verfügung vom 27. Juni 2011 lehnte die Sozialversicherungsanstalt des Kantons St. Gallen (nachfolgend: SVA St. Gallen) ein erstes Gesuch des Versicherten um Ausrichtung von Ergänzungsleistungen zur Altersrente ab, weil ein Einnahmenüberschuss vorliege. Diese Verfügung erwuchs unangefochten in Rechtskraft. Im März 2012 ersuchte A._ erneut um Zusprechung von Ergänzungsleistungen (EL). Mit Verfügung vom 5. Juni 2012 und Einspracheentscheid vom 23. Oktober 2012 lehnte die SVA St. Gallen das Gesuch wiederum ab, wobei aus der Begründung des Einspracheentscheids hervorgeht, dass sich die Sozialversicherungsanstalt für örtlich unzuständig erachtet. Weil der Versicherte am Ort des Kurheims zivilrechtlichen Wohnsitz begründet habe, sei der Kanton Thurgau für die Festsetzung und Auszahlung der Ergänzungsleistung zuständig. B. Das Versicherungsgericht des Kantons St. Gallen hiess die von A._ erhobene Beschwerde, soweit es darauf eintrat, dahin gehend gut, dass es den als Nichteintreten auf das EL-Gesuch qualifizierten Einspracheentscheid vom 23. Oktober 2012 aufhob und die Sache zu materieller Prüfung des geltend gemachten Anspruchs auf Ergänzungsleistungen und zu neuer Verfügung an die SVA St. Gallen zurückwies (Dispositiv-Ziffer 1 des vorinstanzlichen Entscheids vom 30. Januar 2014 mit Verweis auf die Erwägungen). C. Die SVA St. Gallen führt Beschwerde ans Bundesgericht mit dem Antrag auf Aufhebung des angefochtenen Entscheids und Bestätigung ihres Nichteintretensentscheids vom 23. Oktober 2012; die örtliche Zuständigkeit liege bei den EL-Behörden des Kantons Thurgau. A._ beantragt Abweisung der Beschwerde und ersucht um Gewährung der unentgeltlichen Prozessführung. Das Versicherungsgericht schliesst ebenfalls auf Abweisung, während das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung verzichtet.