Sachverhalt:
A.
Der 1973 geborene A._ war seit 12. Juli 2013 Mitglied des Verwaltungsrates mit Einzelunterschrift im Unternehmen B._. Am 23. Dezember 2013 hatte er ein erstes Mal Antrag auf Arbeitslosenentschädigung gestellt. Im Weiteren bezog er vom 1. März 2016 bis 28. Februar 2017 und vom 1. November 2017 bis 28. Februar 2018 Arbeitslosenentschädigung. Am 8. April 2019 meldete er sich beim Regionalen Arbeitsvermittlungszentrum Sargans erneut zur Arbeitsvermittlung an und stellte bei der Arbeitslosenkasse des Kantons St. Gallen (nachfolgend Kasse) Antrag auf Arbeitslosenentschädigung ab 1. Mai 2019. Mit Verfügung vom 7. Mai 2019 lehnte die Kasse diesen Anspruch ab. Zudem forderte sie die ihm vom 1. März 2016 bis 28. Februar 2017 und vom 1. November 2017 bis 28. Februar 2018 ausgerichtete Arbeitslosenentschädigung von total Fr. 31'476.05 zurück. Hieran hielt sie mit Einspracheentscheid vom 18. Juni 2019 fest.
B.
Das Versicherungsgericht des Kantons St. Gallen wies die Beschwerde des A._ mit Entscheid vom 2. November 2020 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, in Aufhebung des kantonalen Entscheides sei von der Rückforderung der Arbeitslosenentschädigung ab 1. März 2016 abzusehen. Eventuell sei die Sache in diesem Punkt zur neuerlichen Verhandlung und Entscheidung an die Vorinstanz zurückzuweisen.
Die Kasse und das Staatssekretariat für Wirtschaft (SECO) verzichten auf eine Vernehmlassung.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
2.
Die Vorinstanz hat die analog zu <ref-law> ergangene Rechtsprechung, wonach Personen mit arbeitgeberähnlicher Stellung und ihre im Betrieb mitarbeitenden Ehegatten keinen Anspruch auf Arbeitslosenentschädigung haben (<ref-ruling> E. 4.1 f. S. 203; vgl. auch <ref-ruling> E. 4.1 S. 266; Urteil 8C_146/2020 vom 17. April 2020 E. 3), richtig dargelegt. Gleiches gilt betreffend die gesetzlichen Bestimmungen und die Rechtsprechung zur Rückforderung unrechtmässig ausgerichteter Leistungen der Arbeitslosenversicherung (<ref-law> in Verbindung mit Art. 25 Abs. 1 und 2 ATSG) und die dazu notwendigen Voraussetzungen für ein wiedererwägungs- oder revisionsweises Zurückkommen auf die formell rechtskräftig verfügte oder formlos erfolgte Leistungszusprache (<ref-law>; <ref-ruling> E. 1.1 S. 110). Darauf wird verwiesen.
3.
Unbestritten sind die vorinstanzlichen Feststellungen, dass der Beschwerdeführer im Unternehmen B._ faktisch eine arbeitgeberähnliche Stellung innehatte, weshalb er vom 1. März 2016 bis 28. Februar 2017 sowie vom 1. November 2017 bis 28. Februar 2018 zu Unrecht Arbeitslosenentschädigung bezogen hatte und ab 1. Mai 2019 keinen Anspruch auf eine solche hat.
4.
Streitig ist, ob die Vorinstanz Bundesrecht verletzte, indem sie die Rückforderung der dem Beschwerdeführer vom 1. März 2016 bis 28. Februar 2017 und vom 1. November 2017 bis 28. Februar 2018 ausgerichteten Arbeitslosenentschädigung im Gesamtbetrag von Fr. 31'476.05 bestätigte. Uneinig sind sich die Parteien dabei einzig, ob die Rückforderung im Zeitpunkt der Geltendmachung verwirkt war.
4.1. Gemäss Art. 25 Abs. 2 erster Satz ATSG erlischt der Rückforderungsanspruch mit dem Ablauf eines Jahres, nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat, spätestens aber mit dem Ablauf von fünf Jahren nach der Entrichtung der einzelnen Leistung. Bei den genannten Fristen handelt es sich um Verwirkungsfristen (<ref-ruling> E. 3.2.2 S. 24, 140 V 521 E. 2.1 S. 525). Unter der Wendung "nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat" ist der Zeitpunkt zu verstehen, in dem die Verwaltung bei Beachtung der gebotenen und zumutbaren Aufmerksamkeit hätte erkennen müssen, dass die Voraussetzungen für eine Rückerstattung bestehen, oder mit andern Worten, in welchem sich der Versicherungsträger hätte Rechenschaft geben müssen über Grundsatz, Ausmass und Adressat des Rückforderungsanspruchs. Ist für die Leistungsfestsetzung (oder die Rückforderung) das Zusammenwirken mehrerer mit der Durchführung der Versicherung betrauter Behörden notwendig, genügt es für den Beginn des Fristenlaufs, dass die nach der Rechtsprechung erforderliche Kenntnis bei einer der zuständigen Verwaltungsstellen vorhanden ist (<ref-ruling> E. 2.1 S. 220).
4.2. Beruht die unrechtmässige Leistungsausrichtung auf einem Fehler der Verwaltung, wird die einjährige relative Verwirkungsfrist gemäss Art. 25 Abs. 2 erster Satz ATSG nicht durch das erstmalige unrichtige Handeln der Amtsstelle ausgelöst. Vielmehr ist auf jenen Tag abzustellen, an dem das Durchführungsorgan später - beispielsweise anlässlich einer Rechnungskontrolle oder aufgrund eines zusätzlichen Indizes - unter Anwendung der ihm zumutbaren Aufmerksamkeit seinen Fehler hätte erkennen müssen (<ref-ruling> E. 2.2 S. 220 mit Hinweisen). Massgebend ist somit nicht der ursprüngliche Irrtum, sondern erst ein zweiter Anlass, nämlich die zumutbare Kenntnis über den ursprünglichen Irrtum. Selbst wenn somit der Versicherungsträger zum Zeitpunkt der erstmaligen Leistungszusprache genügend Hinweise auf die Unrechtmässigkeit des Leistungsbezugs gehabt hätte, beginnt die relative Verwirkungsfrist zur Rückforderung trotzdem erst ab dem Zeitpunkt, in welchem der Versicherungsträger bei einer Kontrolle zumutbarerweise den Fehler hätte entdecken können (Urteil 8C_90/2018 vom 13. August 2018 E. 4.5; UELI KIESER, ATSG-Kommentar, 4. Aufl. 2020, N. 86 zu <ref-law>).
4.3. Es ist indessen zu berücksichtigen, dass gestützt auf die Publizitätswirkung des Handelsregisters (Art. 932 f. OR) es der Verwaltung verwehrt ist, einzuwenden, eine Dritten gegenüber wirksam gewordene Eintragung im Handelsregister nicht gekannt zu haben. Ist der Eintrag allein bereits hinreichend klar bezüglich der einen Entschädigungsanspruch ausschliessenden Eigenschaft des Leistungsansprechers, beginnt die Verwirkungsfrist von Anfang an, d.h. mit der ersten Auszahlung der Taggelder, zu laufen. Eines zweiten Anlasses für den Beginn der einjährigen relativen Verwirkungsfrist gemäss <ref-law> bedarf es diesfalls nicht (<ref-ruling> E. 5b/aa S. 275; Urteile 8C_652/2012 vom 6. Dezember 2012 E. 6, 8C_719/2009 vom 10. Februar 2010 E. 4, 8C_527/2007 vom 5. März 2008 E. 3.1 und C 238/03 vom 15. März 2004 E. 2.1; vgl. auch UELI KIESER, ATSG-Kommentar, 4. Aufl. 2020, N. 87 zu <ref-law>).
4.4. Verfügt der Versicherungsträger (oder das Durchführungsorgan) über genügende Hinweise auf einen möglichen Rückforderungsanspruch, sind die Unterlagen aber noch unvollständig, hat er die zusätzlich erforderlichen Abklärungen innert angemessener Zeit vorzunehmen. Bei Säumnis ist der Beginn der Verwirkungsfrist auf den Zeitpunkt festzusetzen, in welchem die Verwaltung mit zumutbarem Einsatz ihre unvollständige Kenntnis so zu ergänzen imstande gewesen wäre, dass der Rückforderungsanspruch hätte geltend gemacht werden können (Urteile 9C_790/2018 vom 9. April 2019 E. 4.3.1 und 8C_90/2018 vom 13. August 2018 E. 4.4 mit Hinweisen).
5.
5.1. Die Vorinstanz erwog zur strittigen Frage der Verwirkung, mit der Verfügung vom 7. Mai 2019 sei die absolute Frist von fünf Jahren seit Zusprache der einzelnen Leistungen (ab März 2016) ohne Weiteres eingehalten. Zwar habe sich der Versicherungsträger die Publizitätswirkung des Handelsregisters (<ref-law>) entgegen halten zu lassen, soweit für das Erkennen der Unrechtmässigkeit der Leistungsausrichtung ein Handelsregistereintrag massgebend sei. Vorliegend sei die vormalige Arbeitgeberin indes nicht im schweizerischen, sondern im liechtensteinischen Handelsregister eingetragen. Dabei handle es sich um das Register eines anderen Staates. Die Kasse müsse sich deshalb die Publizitätswirkung des liechtensteinischen Handelsregisters nicht entgegen halten lassen. Sie habe erst Anfang Mai 2019 mit den vom Beschwerdeführer erhaltenen Angaben im Formular "Antrag auf Arbeitslosenentschädigung" sowie dem daraufhin angeforderten liechtensteinischen Handelsregisterauszug von seiner arbeitgeberähnlichen Stellung Kenntnis erhalten. Mit der Verfügung vom 7. Mai 2019 habe sie die Rückforderung somit auch innert der relativen Frist von einem Jahr ausgesprochen. Folglich sei die verfügte Rückforderung der bereits erbrachten Leistungen rechtmässig.
5.2. Der Beschwerdeführer wendet im Wesentlichen ein, im strittigen Einspracheentscheid vom 18. Juni 2019 habe die Kasse bestätigt, dass bereits in einem vorausgegangenen Verfahren im Einspracheentscheid vom 4. April 2014 festgehalten worden sei, er sei bei der B._ in einer arbeitgeberähnlichen Stellung tätig gewesen. In der Verfügung vom 7. Mai 2019 habe die Kasse ebenfalls darauf verwiesen, er sei in diesem Unternehmen seit Juni 2013 als Mitglied des Verwaltungsrates mit Einzelunterschrift eingetragen und arbeite weiterhin dort seit 1. März 2014. Hiervon habe die Kasse somit seit 2014 Kenntnis gehabt und damit auch im März 2016, als sie die weitere Ausrichtung von Arbeitslosenentschädigung an ihn verfügt habe. Soweit die Vorinstanz ausgeführt habe, die Kasse habe erstmals Anfang Mai 2019 durch das Formular des Beschwerdeführers erfahren, dass er sich bei der B._ in einer arbeitgeberähnlichen Stellung befinde, sei dies somit aktenwidrig. Vor allem habe er auch in seinem Antrag im Jahre 2016 angegeben, dass er bei der genannten Firma angestellt sei und habe somit keine unrichtigen Angaben gemacht. Wenn die Kasse trotz dieser Kenntnis die rechtliche Situation falsch eingeschätzt und ihm in den Jahren 2016 bis 2018 trotzdem Arbeitslosenentschädigung ausgerichtet habe, vermöge dies an diesen Umständen nichts zu ändern. Die ihm zuletzt ausgerichtete Arbeitslosenentschädigung habe den Monat Februar 2018 betroffen. Lege man dies als fristauslösend zu Grunde, sei die einjährige Rückforderungsfrist jedenfalls am 1. März 2019 abgelaufen. Somit sei die am 1. (richtig 7.) Mai 2019 verfügte Rückforderung verspätet gewesen.
6.
6.1. Gemäss einem Schreiben der Kasse vom 31. Januar 2014 hatte der Beschwerdeführer bereits per 23. Dezember 2013 einen Antrag auf Arbeitslosenentschädigung gestellt. Laut diesem Schreiben hatte die Kasse damals aufgrund des Handelsregisterauszugs Kenntnis davon, dass er bei der B._ seit 12. Juli 2013 Mitglied des Verwaltungsrats mit Einzelunterschrift war. Dies wurde - wie der Beschwerdeführer zu Recht vorbringt - auch im Einspracheentscheid des Rechtsdienstes des Amtes für Wirtschaft und Arbeit des Kantons St. Gallen vom 4. April 2014 festgestellt. Hieraus kann der Beschwerdeführer indessen nichts zu seinen Gunsten ableiten, wie sich aus Folgenden ergibt.
6.2.
6.2.1. Die Vorinstanz hat zu Recht erwogen, dass sich die Beschwerdegegnerin die Publizitätswirkung des liechtensteinischen Handelsregisters nicht entgegenhalten lassen müsse. Gemäss <ref-law> werden Eintragungen im Handelsregister, soweit nicht eine nur teilweise oder auszugsweise Bekanntmachung durch Gesetz oder Verordnung vorgeschrieben ist, ihrem ganzen Inhalte nach ohne Verzug durch das Schweizerische Handelsamtsblatt bekannt gemacht. Ebenso haben alle vom Gesetze vorgeschriebenen Veröffentlichungen im Schweizerischen Handelsamtsblatt zu erfolgen (Abs. 2). Gestützt auf Art. 932 Abs. 2 erster Satz OR wird gegenüber Dritten eine Eintragung im Handelsregister erst an dem nächsten Werktage wirksam, der auf den aufgedruckten Ausgabetag derjenigen Nummer des Schweizerischen Handelsamtsblatts folgt, in der die Eintragung veröffentlicht ist. Die ehemalige Arbeitgeberin des Beschwerdeführers war nicht im schweizerischen, sondern im liechtensteinischen Handelsregister eingetragen (vgl. zu den in das schweizerische Handelsregister eintragungspflichtigen Firmen Art. 934 f. OR). Dabei handelt es sich um das Register eines anderes Staates. Daher gelangt in diesem Fall die Rechtsprechung betreffend Beginn der Verwirkungsfrist bei Geltung der Publizitätswirkung des Handelsregisters (vgl. oben E. 4.3) nicht zur Anwendung.
6.2.2. Im März 2016 stellte der Beschwerdeführer bei der Kasse den Antrag auf Gewährung der in der Folge geleisteten und nunmehr zurückgeforderten Arbeitslosenentschädigung (vgl. E. 4 Ingress hiervor). Unbestritten ist, dass er in diesem Zeitpunkt weiterhin Mitglied des Verwaltungsrats mit Einzelunterschrift bei der B._ war.
6.2.3. Die Kasse führte im Einspracheentscheid vom 18. Juni 2019 aus, im Antrag vom März 2016 habe der Beschwerdeführer die Frage "Sind sie oder ihr Ehegatte am Betrieb des letzten Arbeitgebers beteiligt oder gehören sie einem obersten betrieblichem Entscheidungsgremium" verneint. Somit habe die zuständige Sachbearbeiterin erst aufgrund seines Antrags vom 3. Mai 2019, in dem er diese Frage bejaht habe, von seiner arbeitgeberähnlichen Stellung gewusst. Folglich sei die am 7. Mai 2019 verfügte Rückforderung innerhalb eines Jahres nach Kenntnisnahme erfolgt. Hiervon ging auch die Vorinstanz aus (vgl. E. 5.1 hiervor).
Der Beschwerdeführer macht letztinstanzlich lediglich geltend, er habe im Antrag im Jahre 2016 angegeben, bei der B._ angestellt zu sein. Er hat in der vorinstanzlichen Beschwerde nicht bestritten, die Frage "Sind sie oder ihr Ehegatte am Betrieb des letzten Arbeitgebers beteiligt oder gehören sie einem obersten betrieblichem Entscheidungsgremium an" verneint zu haben. Auch im vorliegenden Verfahren stellt er dies nicht in Abrede. Demnach hatte die Kasse im Rahmen der Anmeldung des Beschwerdeführers vom März 2016 auf Grund seiner Angaben im Gesuch keine Hinweise auf die Unrechtmässigkeit des Leistungsbezugs.
6.2.4. Mit der Anmeldung des Beschwerdeführers bei der Kasse vom März 2016 begann ein neues Verfahren betreffend die Ausrichtung von Arbeitslosenentschädigung, das von demjenigen des Jahres 2013 unabhängig war (vgl. E. 6.1 hiervor). Im Antrag vom März 2016 verneinte der Beschwerdeführer - wie dargelegt - die Frage der Kasse, ob er eine Arbeitgeberstellung innehabe (oben E. 6.2.3). Wenn die Kasse daher im neu eingeleiteten Verfahren im März 2016 übersehen hat, dass sie nicht leistungspflichtig war, vermochte das die einjährige Verwirkungsfrist gemäss Art. 25 Abs. 2 erster Satz ATSG noch nicht auszulösen (vgl. E. 4.2 hiervor). Abzustellen ist vielmehr - wie die Vorinstanz richtig erkannt hat - auf den "Antrag auf Arbeitslosenentschädigung" des Beschwerdeführers vom 1. Mai 2019, worin er seine arbeitgeberähnliche Stellung bei der B._ bejaht hat. Mit der Verfügung vom 7. Mai 2019 hat die Kasse die Rückforderung somit innert der relativen Verwirkungsfrist von einem Jahr ausgesprochen. Da die Korrektur mit Fr. 31'476.05 zudem von erheblicher Bedeutung ist, ist die vorinstanzliche Bestätigung der Rückerstattung bundesrechtskonform (vgl. auch Urteil 8C_521/2020 vom 31. Oktober 2020 E. 6.2).
6.2.5. Da von weiteren Abklärungen keine entscheidrelevanten Ergebnisse zu erwarten sind, wurde darauf zu Recht verzichtet (antizipierte Beweiswürdigung; <ref-ruling> E. 6.5 S. 368 f., 136 I 229 E. 5.3 S. 236).
7.
Der unterliegende Beschwerdeführer trägt die Gerichtskosten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Staatssekretariat für Wirtschaft (SECO) schriftlich mitgeteilt.
Luzern, 14. April 2021
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Jancar