Sachverhalt:
A.
Dem aus B._ stammenden A._ entrichtete die Sozialversicherungsanstalt des Kantons St. Gallen, EL-Durchführungsstelle, ab April 2012 Ergänzungsleistungen zur Invalidenrente. Am 4. September 2017 ging bei der Verwaltung ein Hinweis ein, der Versicherte halte sich mehrheitlich im Ausland auf. Daraufhin forderte die EL-Durchführungsstelle von A._ verschiedene Auskünfte und Unterlagen. Nachdem der Versicherte seinen Reisepass, der die Ein- und Ausreise in sein Heimatland dokumentiert hätte, verloren gemeldet hatte, schloss die Verwaltung aufgrund der Bankauszüge, dass von einem gewöhnlichen Aufenthalt im Ausland ausgegangen werden müsse. Mit Verfügung vom 27. November 2017 hob die Verwaltung daher die Ergänzungsleistungen rückwirkend per 1. Februar 2015 auf und forderte Fr. 25'202.- zurück. Dagegen liess A._ Einsprache erheben. Nach weiteren Abklärungen hielt die EL-Durchführungsstelle fest, dass die Ergänzungsleistungen für das Jahr 2015 nicht zurückgefordert würden und reduzierte die Rückforderung auf Fr. 15'994.-. Für die Periode ab Dezember 2017 erfolge eine separate Verfügung (Einspracheentscheid vom 21. Januar 2019).
B.
Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 3. September 2020 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, der vorinstanzliche Entscheid sei aufzuheben. Zudem seien der Einspracheentscheid vom 21. Januar 2019, sofern die Einsprache abgewiesen worden sei, und die Verfügung vom 27. November 2017 aufzuheben.

Erwägungen:
1.
1.1. Das Bundesgericht entscheidet kassatorisch oder reformatorisch. Ein blosser Antrag auf Aufhebung des angefochtenen Entscheids ist nicht zulässig, ausser wenn das Bundesgericht ohnehin nicht reformatorisch entscheiden könnte (<ref-ruling> E. 1.3 S. 383). Mit seinem formellen Begehren stellt der Beschwerdeführer an sich ein rein kassatorisches Rechtsbegehren (<ref-law>). Der Beschwerdebegründung ist jedoch auch der sinngemässe reformatorische Antrag auf Verneinung eines Rückforderungsanspruchs zu entnehmen (<ref-law>; vgl. <ref-ruling> E. 1.3 S. 383 f.). Das Rechtsbegehren ist in diesem Sinn aufzufassen (<ref-ruling> E. 1.2 S. 135).
1.2. Der Beschwerdeführer beantragt unter anderem die Aufhebung der Verfügung vom 27. November 2017. Damit verkennt er, dass Anfechtungsgegenstand des vorinstanzlichen Verfahrens einzig der an deren Stelle getretene Einspracheentscheid vom 21. Januar 2019 bildete (<ref-ruling> E. 4.2.2 S. 55; <ref-ruling> E. 2.1.2.1 S. 411 f.). Demnach ist auf die Beschwerde nicht einzutreten, soweit sie sich gegen die Verfügung vom 27. November 2017 richtet.
2.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
3.
3.1. Die Vorinstanz bestätigte den Einspracheentscheid der EL-Durchführungsstelle vom 21. Januar 2019, womit diese die von Januar 2016 bis November 2017 erbrachten Ergänzungsleistungen zurückforderte. Streitig und zu prüfen ist in diesem Zusammenhang die Frage, ob der Beschwerdeführer in diesem Zeitraum seinen gewöhnlichen Aufenthalt in der Schweiz hatte.
3.2.
3.2.1. Laut <ref-law> sind unrechtmässig bezogene Leistungen zurückzuerstatten. Deren Rückforderung ist nur unter den Voraussetzungen zulässig, die für die Wiedererwägung oder die prozessuale Revision formell rechtskräftiger Verfügungen massgebend sind (<ref-law>; Urteil 9C_158/2019 vom 17. Mai 2019 E. 3.1).
3.2.2. Personen mit Wohnsitz und gewöhnlichem Aufenthalt (<ref-law>) in der Schweiz, die Anspruch haben auf eine Rente oder eine Hilflosenentschädigung der Invalidenversicherung (IV), haben Anspruch auf Ergänzungsleistungen (Art. 4 Abs. 1 lit. c ELG).
Unter gewöhnlichem Aufenthalt im Sinne von Art. 4 Abs. 1 Ingress ELG und <ref-law> ist der tatsächliche Aufenthalt in der Schweiz und der Wille, diesen Aufenthalt beizubehalten, zu verstehen; ausserdem muss sich der Mittelpunkt aller Beziehungen des Betreffenden in der Schweiz befinden. Der Begriff des Aufenthalts muss in einem objektiven Sinne verstanden werden, sodass die Voraussetzung des tatsächlichen Aufenthalts in der Schweiz grundsätzlich nach einem Wegzug ins Ausland nicht mehr erfüllt ist. Im Falle eines vorübergehenden Aufenthalts im Ausland ohne Absicht, die Schweiz endgültig zu verlassen, duldet das Prinzip des tatsächlichen Aufenthalts zwei Ausnahmen. Die erste betrifft die Aufenthalte von kurzer Dauer im Ausland, wenn sie den Rahmen des allgemein Zugelassenen nicht überschreiten und wenn sie auf gültigen Gründen beruhen (Besuch, Ferien, Geschäfte, Kur, Ausbildung); ihre Dauer darf ein Jahr nicht überschreiten, wobei zu präzisieren ist, dass eine solche Dauer nur unter ganz besonderen Umständen gerechtfertigt sein kann. Die zweite betrifft die langdauernden Aufenthalte im Ausland, wenn der, ursprünglich für kurze Zeit vorgesehene Aufenthalt, über ein Jahr hinaus verlängert werden muss wegen unvorhergesehener Umstände wie Krankheit oder Unfall, oder wenn zwingende Gründe (Pflichten der Hilfeleistung, Ausbildung, Behandlung einer Krankheit) von vornherein einen voraussichtlich längeren Aufenthalt als ein Jahr erfordern (zum Ganzen vgl. <ref-ruling> E. 5.3 S. 535 f. und Urteil P 25/06 vom 23. August 2007 E. 4.1, jeweils mit Hinweisen).
4.
4.1. Die Vorinstanz erwog, der Beschwerdeführer habe von seinen Konti im Jahr 2016 Fr. 15'969.- im Ausland und Fr. 10'199.- in der Schweiz bezogen. Von Januar bis Oktober 2017 stünden Bezüge im Ausland von Fr. 14'642.- solchen in der Schweiz von Fr. 7116.- gegenüber. Der Beschwerdeführer müsste folglich seinen gewöhnlichen Aufenthalt in der Schweiz mit 39 % bzw. 33 % des ergänzungsleistungsrechtlichen Existenzminimums mithin Fr. 850.- bzw. Fr. 712.- bestritten haben, wobei der Untermietzins für das angeblich in der Wohnung des Sohnes bewohnte Zimmer schon Fr. 720.- gekostet haben soll. Die geltend gemachte finanzielle Unterstützung durch die Schwester hätte somit beträchtlich sein müssen. Umgekehrt - wenn die Behauptungen des Beschwerdeführers zuträfen - habe der Beschwerdeführer in wenigen Wochen Ferien pro Jahr in seinem Herkunftsland rund doppelt bzw. unter Berücksichtigung des Preisniveaus sechsmal so viel Geld ausgegeben wie im ganzen übrigen Jahr. Anders als im 2015 habe der Beschwerdeführer von Januar 2016 bis November 2017 auch nur verhältnismässig wenig Termine für medizinische Behandlungen (in der Schweiz) wahrgenommen. Damit stehe mit dem erforderlichen Beweisgrad fest, dass sich der Beschwerdeführer im massgebenden Zeitraum in seinem Herkunftsland aufgehalten habe. Weitere Sachverhaltsabklärungen seien unnötig.
4.2. Der Beschwerdeführer bringt dagegen vor, mangels Auseinandersetzung mit den eingereichten und mangels Abnahme der beantragten sowie zur Sachverhaltsvervollständigung notwendigen Beweismitteln habe die Vorinstanz das rechtliche Gehör und den Untersuchungsgrundsatz verletzt. Indem das kantonale Gericht einzig auf die Kontobewegungen abstellte, habe es entscheidwesentliche Beweismittel ausser Acht gelassen und unhaltbare Schlussfolgerungen gezogen. Die erfolgte Beweiswürdigung und Sachverhaltsfeststellung seien willkürlich.
5.
Zur behaupteten Gehörsverletzung ist festzuhalten, dass sich aus dem Anspruch auf rechtliches Gehör (<ref-law>) keine allgemeine Pflicht der Behörde zur Abnahme aller angebotenen Beweise ableiten lässt, sondern in antizipierter Beweiswürdigung auf Weiterungen verzichtet werden darf (vgl. <ref-ruling> E. 5.3 S. 236). Ebenso wenig besteht aufgrund der verfassungsrechtlichen Begründungspflicht Anspruch darauf, dass sich die Behörde im Rahmen ihrer Würdigung mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt; vielmehr genügt es, wenn der Entscheid gegebenenfalls sachgerecht angefochten werden kann (<ref-ruling> E. 2.2.1 S. 188; <ref-ruling> E. 4.1 S. 88; <ref-ruling> E. 3.3 S. 445; je mit Hinweisen). Die Begründung muss kurz die wesentlichen Überlegungen nennen, von denen sich das Gericht hat leiten lassen und auf die es seinen Entscheid stützt (zum Ganzen: <ref-ruling> E. 9.2 S. 65; <ref-ruling> E. 4.3.2 S. 436 f. mit Hinweisen). Diesen Anforderungen genügt der vorinstanzliche Entscheid (vgl. E. 4.1 hiervor).
6.
6.1. Der Beschwerdeführer konnte sich sowohl im Verwaltungs- als auch im Beschwerdeverfahren umfassend zu seinem gewöhnlichen Aufenthalt äussern. Es ist nicht ersichtlich, dass durch eine Parteibefragung weitere Erkenntnisse zu gewinnen gewesen wären. Gleiches gilt bezüglich der im vorinstanzlichen Verfahren beantragten Beweisaussage des Sohnes, liegen doch von diesem und weiteren Personen bereits schriftliche Bestätigungen vor. Die Vorinstanz hat somit den Untersuchungsgrundsatz nicht verletzt, indem sie auf diese Einvernahmen verzichtete.
6.2.
6.2.1. Das kantonale Gericht hielt zutreffend fest, dass (der anwaltlich vertretene) Beschwerdeführer wider den Ausführungen in der Beschwerde im Verwaltungsverfahren (bei zwei verschiedenen Gelegenheiten) behauptet hatte, dem Sohn Miete zu bezahlen. Zudem erwog das kantonale Gericht, auch wenn der Beschwerdeführer keine Miete bezahlt hätte, hätte die Unterstützung durch die Schwester beträchtlich sein müssen. Dem Beschwerdeführer kann somit nicht gefolgt werden, die Vorinstanz habe eine mögliche finanzielle Unterstützung durch Dritte nicht in Erwägung gezogen.
6.2.2. Das kantonale Gericht berücksichtigte weiter, dass sich regelmässige und hohe Ausgaben von den Konten des Beschwerdeführers im Jahr 2016 sowie 2017 im Ausland nachweisen lassen und Mittel zur Finanzierung eines Lebens in der Schweiz fehlten. Das ist ein starkes Indiz gegen einen gewöhnlichen Aufenthalt des Beschwerdeführers in der Schweiz (vgl. Urteil 9C_341/2020 vom 4. September 2020 E. 4.2.1). Die Vorinstanz wies zudem zu Recht darauf hin, dass die Aussagen des Beschwerdeführers zur ausschliesslichen Nutzung der Bankkarte durch den im Ausland wohnhaften Cousin mit Blick auf die getätigten Bezüge in der Schweiz nicht stimmig sind, so "reiste" diese Karte im September 2016, November 2016 und September 2017o ffenbar mit dem Beschwerdeführer zu den (wenigen) ärztlichen Behandlungen in die Schweiz. Wie das kantonale Gericht weiter zutreffend festhielt, ändert eine allfällige Benutzung der Karte durch den Cousin auch nichts daran, dass mit den im Ausland getätigten Auszahlungen im Ausland entstandene Auslagen des Beschwerdeführers gedeckt wurden. Der Beschwerdeführer brachte trotz Aufforderung der EL-Durchführungsstelle keine Belege bei, welche - abgesehen eines gewöhnlichen Aufenthalts in der Heimat - die hohen Bezüge im Ausland erklären; Quittungen für die Bezahlung von Schulden, Medikamenten, Arzt- oder Spitalrechnungen fehlen. Wenn die Vorinstanz bei dieser Ausgangslage schloss, es sei mit dem erforderlichen Beweisgrad der überwiegenden Wahrscheinlichkeit erstellt, dass sich der Beschwerdeführer im massgebenden Zeitraum (gewöhnlicherweise) in seinem Herkunftsland aufgehalten hat, ist dies nicht willkürlich. Dies scheint auch mit Blick auf die Bestätigungen des Sohnes, der Schwester und einer Bekannten des Beschwerdeführers, wonach der Versicherte mehrheitlich in der Schweiz wohnen soll, nicht offensichtlich unrichtig, widersprechen diese Erklärungen doch den Angaben im Bericht der Polizeidirektion B._ vom 3. Oktober 2017 betreffend den verlorenen Reisepass (der die Ein- und Ausreise in das Heimatland dokumentiert hätte), dass der Beschwerdeführer in B._ wohnhaft sei. Die vorinstanzlichen Schlussfolgerungen sind auch mit Blick auf die Wohnsitzbestätigung der Gemeinde C._ und der Steuerpflicht in der Schweiz nicht willkürlich, geben diese Unterlagen doch keine Auskunft, wo sich der Beschwerdeführer effektiv aufgehalten hat.
6.3. Die vorinstanzlichen Feststellungen zum gewöhnlichen Aufenthalt des Beschwerdeführers verletzen kein Bundesrecht. Das Zurückkommen auf die Zusprache der Ergänzungsleistungen von Januar 2016 bis November 2017 und deren Rückforderung sind rechtens.
7.
Als unterliegende Partei hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 21. Januar 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Möckli