Sachverhalt:
A.
Der 1989 geborene A._, Bezüger einer Rente der Invalidenversicherung, meldete sich im März 2016 bei der Sozialversicherungsanstalt des Kantons St. Gallen, EL-Durchführungsstelle, zum Bezug von Ergänzungsleistungen an. Mit Verfügung vom 1. September 2016 sprach ihm die EL-Durchführungsstelle ab 1. Juli 2013 betraglich variierende (bundesrechtliche) Ergänzungsleistungen zu, wobei sie in ihrer Berechnung ausgabenseitig beim Mietzins einen Abzug von Fr. 20.- für den Radio- und TV-Anschluss vornahm. Diese Verfügung erwuchs unangefochten in Rechtskraft. Anfangs Juni 2019 ersuchte A._ um Wiedererwägung der Verfügung vom 1. September 2016. Mit Schreiben vom 18. Juni 2019 antwortete die EL-Durchführungsstelle dem Versicherten, dass sie auf das Wiedererwägungsgesuch nicht eintrete. Mit Verfügung vom 19. Juni 2019 berechnete sie die Ergänzungsleistungen per 1. Juni 2019 neu und berücksichtigte dabei bei den Ausgaben einen um Fr. 20.- erhöhten Mietzins; eine rückwirkende Korrektur nahm sie indes nicht vor. Mit Einspracheentscheid vom 24. Februar 2020 wies die EL-Durchführungsstelle die dagegen erhobene Einsprache ab.
B.
Die gegen diesen Entscheid von A._ am 12. März 2020 eingereichte Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 29. Juli 2021 gut. Es hob den Einspracheentscheid vom 24. Februar 2020 auf und sprach dem Versicherten ab 1. Juli 2013 betraglich variierende Ergänzungsleistungen zu, wobei es ausgabenseitig zusätzlich für den gesamten Zeitraum monatlich Fr. 20.- resp. für die Zeit vom 1. Februar 2014 bis 31. Juli 2015 monatlich Fr. 125.- berücksichtigte.
C.
Die EL-Durchf ührungsstelle führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Hauptantrag, der Entscheid vom 29. Juli 2021 sei aufzuheben, mit einem Nichteintretensentscheid zu ersetzen und die Vorinstanz anzuweisen, die Angelegenheit an das örtlich zuständige Verwaltungsgericht des Kantons Thurgau als Versicherungsgericht zu überweisen. Ferner sei der Beschwerde die aufschiebende Wirkung zu erteilen.
Während sich das Versicherungsgericht des Kantons St. Gallen vernehmen lässt, ohne einen formellen Antrag zu stellen, verzichten A._ und das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es prüft unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 2 BGG) grundsätzlich nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.3; <ref-ruling> E. 1).
1.2. Ob die Eintretensvoraussetzungen des vorinstanzlichen Verfahrens gegeben waren, prüft das Bundesgericht von Amtes wegen und mit freier Kognition (<ref-ruling> E. 4.1; <ref-ruling> E. 3.4.1; <ref-ruling> E. 4; Urteil 9C_814/2018 vom 23. Mai 2019 E. 1.2).
2.
Streitig ist der Anspruch auf Ergänzungsleistungen nach Bundesrecht (EL). Vorab zu prüfen ist, ob das kantonale Gericht Bundesrecht verletzte, als es seine örtliche Zuständigkeit bejahte und auf die Beschwerde des Versicherten vom 12. März 2020 eintrat.
3.
Gemäss Art. 58 Abs. 1 ATSG (in Verbindung mit Art. 1 ELG) ist das Versicherungsgericht desjenigen Kantons zuständig, in dem die versicherte Person oder der Beschwerde führende Dritte zur Zeit der Beschwerdeerhebung Wohnsitz hat. In <ref-ruling> E. 5.3 hat das Bundesgericht bestätigt, dass zur Bestimmung der örtlichen Zuständigkeit an den Wohnsitz der versicherten Person anzuknüpfen ist.
4.
4.1. Die Vorinstanz erwog, der Versicherte habe seinen Wohnsitz im Zeitpunkt der Beschwerdeerhebung im Kanton Thurgau gehabt. Bei einer sich nur am Wortlaut des Art. 58 Abs. 1 ATSG orientierenden Auslegung müsste das Versicherungsgericht des Kantons St. Gallen seine örtliche Zuständigkeit somit verneinen, einen Nichteintretensentscheid erlassen und die Beschwerde an das Verwaltungsgericht des Kantons Thurgau als Versicherungsgericht überweisen. Die historische, systematische und teleologische Interpretation der genannten Bestimmung liessen für den vorliegenden Fall, in welchem der Versicherte seinen Wohnsitz nach der Einspracheerhebung, aber vor der Beschwerdeerhebung in einen anderen Kanton (vom Kanton St. Gallen in den Kanton Thurgau) verlegt habe, nur die Lösung zu, dass vom Wortlaut des Art. 58 Abs. 1 ATSG abgewichen werde und das Versicherungsgericht des Kantons St. Gallen örtlich zuständig sei.
4.2.
4.2.1. Im Urteil 9C_260/2018 vom 18. Dezember 2018 (in: SVR 2019 EL Nr. 7 S. 15) hat sich das Bundesgericht mit der von der Vorinstanz vertretenen Auffassung bereits einlässlich auseinandergesetzt (vgl. insbesondere E. 2.1 und 3.2; vgl. auch Urteil 9C_441/2018 vom 10. April 2019 E. 3.1). Demnach lassen sich aus dem Umstand, dass im Bereich der Ergänzungsleistungen ein wesentlicher Teil kantonal geregelt ist, keine Argumente zu Gunsten einer Änderung der Rechtsprechung nach <ref-ruling> (und <ref-ruling>) gewinnen. Die formelle Frage der örtlichen Zuständigkeit kann nicht unter Berufung auf einzelne materielle Bestimmungen aus dem Ergänzungsleistungsrecht abweichend von der im ATSG getroffenen Lösung geregelt werden. Gestützt darauf hat das Bundesgericht das Vorliegen einer (unechten) Gesetzeslücke explizit verneint (vgl. zum Begriff <ref-ruling> E. 3 mit Hinweisen) und bestätigt, dass Art. 58 Abs. 1 ATSG die Zuständigkeit der kantonalen Versicherungsgerichte umfassend (integral) regelt.
4.2.2. Die Ausführungen im angefochtenen Entscheid resp. in der Vernehmlassung der Vorinstanz vom 22. Oktober 2021 geben keinen Anlass, diese Rechtsprechung in Frage zu stellen (zu den Voraussetzungen für eine Praxisänderung <ref-ruling> E. 5.2; <ref-ruling> E. 5.5.1; <ref-ruling> E. 2.2.2). Dies gilt umso mehr, als vorliegend einzig der Anspruch auf bundesrechtliche Ergänzungsleistungen Streitgegenstand bildet (E. 2; vgl. Urteil 9C_192/2019 vom 25. April 2019 E. 2.1 und 2.2). Auf Weiterungen kann daher verzichtet werden.
4.3. Unbestrittenermassen hatte der Versicherte im Zeitpunkt der vorinstanzlichen Beschwerdeerhebung am 12. März 2020 Wohnsitz im Kanton Thurgau. Folglich ist in Anwendung von Art. 58 Abs. 1 ATSG das Verwaltungsgericht des Kantons Thurgau für die Beurteilung der Beschwerde zuständig. Indem das Versicherungsgericht des Kantons St. Gallen auf die Beschwerde eintrat, verletzte es Bundesrecht. Der angefochtene Entscheid ist daher aufzuheben und die Sache ist an das Verwaltungsgericht des Kantons Thurgau zu überweisen, damit dieses über die Beschwerde des Versicherten gegen den Einspracheentscheid vom 24. Februar 2020 befinde.
5.
Mit dem Entscheid in der Sache wird das Gesuch der Beschwerdeführerin um aufschiebende Wirkung gegenstandslos.
6.
Umständehalber wird auf die Erhebung der Gerichtskosten verzichtet (Art. 66 Abs. 1 Satz 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen und der Entscheid des Versicherungsgerichts des Kantons St. Gallen vom 29. Juli 2021 wird aufgehoben. Die Sache wird an das Verwaltungsgericht des Kantons Thurgau überwiesen, damit dieses über die Beschwerde des A._ vom 12. März 2020 gegen den Einspracheentscheid vom 24. Februar 2020 befinde.
2.
Es werden keine Gerichtskosten erhoben.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, dem Verwaltungsgericht des Kantons Thurgau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 22. Dezember 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Stanger