Sachverhalt:
A. A.a Der 1955 geborene H._ war ab 15. März 2007 als Direktor Marketing und Verkauf für die Firma X._ AG tätig. Am 22. Juli 2008 kündigte diese das Arbeitsverhältnis fristlos. H._ stellte am 14. August 2008 Antrag auf Arbeitslosenentschädigung ab 4. August 2008. Am 10. Oktober 2008 liess er Klage gegen die Firma X._ AG erheben und die Bezahlung von Fr. 69'000.- (Lohn während vertraglich vereinbarter sechsmonatiger Kündigungsfrist) sowie eine Entschädigung beantragen. Mit Subrogationsanzeigen vom 22. Oktober 2008 teilte die Kantonale Arbeitslosenkasse St. Gallen dem Versicherten sowie der ehemaligen Arbeitgeberin mit, in Anbetracht der ungeklärten Sachlage bezüglich Lohnzahlungen während der vertraglichen Kündigungsfrist werde sie für den Zeitraum ab 4. August 2008 bis 31. Januar 2009 Arbeitslosenentschädigung an den Versicherten ausrichten, womit alle arbeitsvertraglichen Ansprüche im Umfang ihrer Leistungen auf sie übergingen. Am 22. Oktober 2008 zeigte sie dem zuständigen Kreisgericht an, dass sie sich als Hauptpartei an der arbeitsrechtlichen Streitsache zwischen dem Versicherten und der Firma X._ AG beteilige. Mit Verfügung vom 7. November 2008 stellte die Arbeitslosenkasse H._ per 23. Juli 2008 für 50 Tage in der Anspruchsberechtigung ein, da sie ihm vorsorglich ein Verschulden an der Arbeitslosigkeit anlasten müsse. Nachdem der Versicherte hiegegen Einsprache erhoben hatte, sistierte die Arbeitslosenkasse das Verfahren bis zum rechtskräftigen Entscheid im arbeitsrechtlichen Verfahren. Am 19./20. Mai 2009 schloss H._ mit seiner ehemaligen Arbeitgeberin einen Vergleich ab, wonach sich Letztere verpflichtete, dem Versicherten Fr. 15'000.- und für den Fall, dass die Arbeitslosenkasse den Prozess nach Rückzug der Klage durch den Versicherten nicht fortführe, weitere Fr. 25'000.- zu bezahlen. H._ liess dem Kreisgericht am 28. Mai 2009 mitteilen, er ziehe die Klage zurück, soweit er darüber infolge Eintritts der Arbeitslosenkasse noch verfügen könne. Die Arbeitslosenkasse stimmte dem Vergleich nicht zu, zog die Klage jedoch am 19. August 2009 ebenfalls zurück. Das arbeitsrechtliche Verfahren wurde daher am 1. September 2009 abgeschrieben.
A.b Mit Verfügung vom 19. August 2009 forderte die Arbeitslosenkasse von H._ zuviel bezogene Taggeldleistungen im Betrag von Fr. 38'002.55 (netto) zurück, da er zufolge des Klagerückzuges keinen Anspruch mehr auf die ihm durch die Arbeitslosenkasse vorausbezahlten Leistungen vom 4. August 2008 bis 31. Januar 2009 im Betrag von Fr. 36'997.25 habe. Mit Entscheid vom 11. November 2009 hiess die Arbeitslosenkasse die hiegegen erhobene Einsprache teilweise gut und reduzierte die Rückforderung auf Fr. 25'000.-. Zur Begründung führte sie aus, gestützt auf den Vergleich gemachte Zahlungen seien subrogationsweise auf die Arbeitslosenkasse übergegangen und diese zwingende Subrogationsvorschrift könne durch prozessuale Abmachungen der Parteien im Rahmen eines Vergleichs nicht eingeschränkt werden.
B. Die hiegegen erhobene Beschwerde, mit welcher H._ die Aufhebung des Einspracheentscheids vom 11. November 2009, eventualiter dessen Abänderung dahingehend, dass eine Rückforderung von Fr. 3'483.90 (brutto) erlassen werde, beantragen liess, wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 18. November 2010 ab.
C. H._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten sowie subsidiäre Verfassungsbeschwerde führen und die Aufhebung des angefochtenen Entscheids des Versicherungsgerichts des Kantons St. Gallen vom 18. November 2010 sowie von Ziffer 3 des Dispositivs des Einspracheentscheids der Arbeitslosenkasse vom 11. November 2009 beantragen. Zudem lässt er um Erteilung der aufschiebenden Wirkung ersuchen.
Die Arbeitslosenkasse schliesst auf Abweisung der Beschwerde. Das Staatssekretariat für Wirtschaft (SECO) verzichtet auf eine Vernehmlassung.
D. Mit Verfügung vom 1. April 2011 hat der Instruktionsrichter der Beschwerde die aufschiebende Wirkung zuerkannt.
Erwägungen:
1. Angefochten ist ein das Verfahren abschliessender Entscheid (Art. 90 BGG) einer letzten kantonalen Instanz (Art. 86 Abs. 1 lit. d BGG) in einer Angelegenheit des öffentlichen Rechts (Art. 82 lit. a BGG), ohne dass eine der in Art. 83 BGG aufgezählten Ausnahmen vorliegt. Die Voraussetzungen nach Art. 82 ff. BGG für die Beschwerde in öffentlich-rechtlichen Angelegenheiten sind erfüllt, weshalb auf die mit der Eingabe ebenfalls erhobene subsidiäre Verfassungsbeschwerde nicht einzutreten ist (Art. 113 BGG; SVR 2010 EL Nr. 7 S. 19, 9C_724/2009 E. 1).
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
3. Das kantonale Gericht hat die gesetzlichen Bestimmungen zu den Voraussetzungen des Anspruchs auf Arbeitslosenentschädigung im Allgemeinen (Art. 8 Abs. 1 AVIG) sowie zur Anrechenbarkeit des Arbeitsausfalls im Besonderen (Art. 11 AVIG) zutreffend dargelegt. Darauf wird verwiesen. Richtig wiedergegeben ist insbesondere, dass die Kasse gemäss Art. 29 Abs. 1 AVIG Arbeitslosenentschädigung auszahlt, wenn sie begründete Zweifel darüber hat, ob der Versicherte für die Zeit des Arbeitsausfalls gegenüber seinem bisherigen Arbeitgeber Lohn- oder Entschädigungsansprüche im Sinne von Art. 11 Abs. 3 AVIG hat oder ob sie erfüllt werden. Mit der Zahlung gehen alle Ansprüche des Versicherten samt dem gesetzlichen Konkursprivileg im Umfang der ausgerichteten Taggeldentschädigung auf die Kasse über. Diese darf auf die Geltendmachung nicht verzichten, es sei denn, das Konkursverfahren werde durch das Konkursgericht eingestellt. Die Ausgleichsstelle kann die Kasse überdies ermächtigen, auf die Geltendmachung zu verzichten, wenn sich nachträglich zeigt, dass der Anspruch offensichtlich unberechtigt ist oder sich nur mit übermässigen Kosten durchsetzen lässt (Art. 29 Abs. 2 AVIG).
4. Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzt hat, indem sie die Rückforderung der Arbeitslosenkasse gegenüber dem Versicherten von zu viel bezogenen Taggeldleistungen in der Höhe von Fr. 25'000.- bestätigt hat.
Die Bejahung eines Rückerstattungsanspruchs setzt einen Rückforderungstitel voraus.
4.1 Nach unbestrittener Feststellung der Vorinstanz hat die Arbeitslosenkasse dem Versicherten nach der fristlosen Kündigung des Arbeitsverhältnisses durch die Arbeitgeberin gestützt auf Art. 29 Abs. 1 AVIG Arbeitslosenentschädigung ausgerichtet. Damit sind gemäss Art. 29 Abs. 2 AVIG die Ansprüche des Versicherten im Umfang der ausgerichteten Taggeldentschädigung auf die Kasse übergegangen. Diese gesetzliche Subrogation verschafft jedoch der Arbeitslosenkasse - wie das kantonale Gericht zutreffend dargelegt hat - keinen Rückforderungsanspruch gegenüber dem Versicherten, sondern einen Anspruch gegenüber der ehemaligen Arbeitgeberin (vgl. ARV 2010 S. 293, 8C_787/2009 E. 3.1). Ob ein solcher nach dem Rückzug der Klage der Arbeitslosenkasse gegen die Firma X._ AG noch besteht oder ob die Arbeitslosenkasse durch ihr Verhalten auf einen allfälligen Anspruch verzichtet hat, ist nicht Gegenstand des vorliegenden Verfahrens.
4.2 Die Arbeitslosenkasse stützte ihre Rückforderung auf Art. 95 Abs. 1 AVIG und Art. 25 ATSG.
4.2.1 Gemäss Art. 95 Abs. 1 AVIG richtet sich die Rückforderung von Leistungen mit Ausnahme der Fälle von Art. 55 AVIG nach Art. 25 ATSG. Gemäss Art. 25 Abs. 1 erster Satz ATSG sind unrechtmässig bezogene Leistungen zurückzuerstatten.
4.2.2 Bei der Ausrichtung von Arbeitslosenentschädigung gestützt auf den Sonderfall von Art. 29 Abs. 1 AVIG wird - wie die Vorinstanz zutreffend ausgeführt hat - unter der Voraussetzung, dass begründete Zweifel über Ansprüche aus Arbeitsvertrag bestehen, zugunsten des Leistungsbezügers das Anspruchsmerkmal des anrechenbaren Arbeitsausfalls im Sinne einer unwiderlegbaren gesetzlichen Vermutung als gegeben angenommen. Folgerichtig stellt die spätere vollständige oder teilweise Erfüllung der im Bestand oder im Hinblick auf die Realisierbarkeit mit Zweifeln behafteten Lohn- und Entschädigungsansprüche im Sinne von Art. 11 Abs. 3 AVIG keinen prozessualen Revisionsgrund dar und entfällt ebenfalls - systemkonform - eine Rückerstattungspflicht im Sinne von Art. 25 Abs. 1 ATSG (BGE 127 V 475 E. 2 b/bb S. 477; SVR 2006 ALV Nr. 28 S. 95, C 118/04, E. 1.4.2). Die gestützt auf Art. 29 Abs. 1 AVIG ausgerichteten Leistungen der Arbeitslosenkasse sind zusammenfassend nicht unrechtmässig bezogen worden und können - wie das kantonale Gericht korrekt festgehalten hat - nicht gestützt auf Art. 25 Abs. 1 ATSG zurückgefordert werden.
4.3 Nachdem die Vorinstanz zutreffend erwogen hatte, dass das AVIG keinen Rückforderungstitel für aufgrund von Art. 29 Abs. 1 AVIG erbrachte Leistungen enthält, bestätigte sie den Rückforderungsanspruch gestützt auf eine analoge Anwendung von Art. 55 Abs. 2 AVIG.
4.3.1 Gemäss Art. 55 Abs. 2 AVIG muss der Arbeitnehmer die Insolvenzentschädigung in Abweichung von Art. 25 Abs. 1 ATSG zurückerstatten, soweit die Lohnforderung u.a. vom Arbeitgeber nachträglich erfüllt wird.
4.3.2 Die Rückforderung von Leistungen der Arbeitslosenversicherung ist in Art. 95 Abs. 1 AVIG verankert und richtet sich mit Ausnahme der Fälle von Art. 55 AVIG nach Art. 25 ATSG. Art. 55 Abs. 2 AVIG regelt die Rückerstattung von Insolvenzentschädigung in bewusster Abweichung vom üblichen Rückforderungssystem. Diese Sonderregelung kann nicht analog auf die Rückforderung von gestützt auf Art. 29 AVIG ausgerichteter Arbeitslosenentschädigung angewendet werden. Die in Art. 29 AVIG statuierte Ausrichtung von Arbeitslosenentschädigung bei Zweifeln über Ansprüche aus Arbeitsvertrag geht ausdrücklich von der Nichtrückerstattung aus, dies im Gegensatz zur Normierung der Insolvenzentschädigung, welche eine entsprechende Sonderregelung enthält. Die Insolvenzentschädigung deckt Lohnforderungen aus einem Arbeitsverhältnis und die damit abgegoltene Lohnforderung hängt vom weiteren Schicksal der arbeitsrechtlichen oder vollstreckungsrechtlichen Durchsetzbarkeit ab (vgl. THOMAS NUSSBAUMER, Arbeitslosenversicherung, in: Soziale Sicherheit, SBVR Bd. XIV, 2. Aufl. 2007, S. 2364 Rz. 616 und S. 2373 Rz. 636). Dies ist bei der Ausrichtung von Taggeld bei Zweifeln über Ansprüche aus Arbeitsvertrag nach Art. 29 AVIG nicht der Fall; Letztere bleibt rechtmässig, auch wenn sich die Lohnforderung im Nachhinein als nicht einbringlich erweist.
4.4 Einen Rückforderungstitel "Bereicherung" schliesslich kennt das AVIG nicht; vielmehr wird generell die Unrechtmässigkeit des Bezugs vorausgesetzt. Diese ist, wie oben dargelegt, vorliegend nicht gegeben. Ob der Beschwerdeführer durch die gestützt auf die Vereinbarung vom 19./20. Mai 2009 erbrachten Leistungen der ehemaligen Arbeitgeberin bereichert ist, worüber unter den Parteien Uneinigkeit herrscht, braucht daher nicht näher geprüft zu werden.
4.5 Zusammenfassend gibt es für gestützt auf Art. 29 AVIG ausgerichtete Arbeitslosenentschädigung keinen Rückforderungstitel gegenüber dem Versicherten. Indem das kantonale Gericht einen solchen in analoger Anwendung der Sondernorm für Insolvenzentschädigung (Art. 55 Abs. 2 AVIG) bejaht und einen Rückerstattungsanspruch der Arbeitslosenkasse gegenüber dem Beschwerdeführer in der Höhe von Fr. 25'000.- bestätigt hat, hat es Bundesrecht verletzt. Der vorinstanzliche Entscheid und der Einspracheentscheid der Arbeitslosenkasse vom 11. November 2009 sind daher aufzuheben.
5. Der Vollständigkeit halber ist darauf hinzuweisen, dass der Gesetzgeber den Arbeitslosenkassen mit der Subrogationsregelung in Art. 29 Abs. 2 AVIG ein griffiges Instrument zur Verfügung stellt. Gemäss dieser Bestimmung gehen mit der Zahlung alle Ansprüche des Versicherten samt dem gesetzlichen Konkursprivileg im Umfang der ausgerichteten Taggeldentschädigung auf die Kasse über, wobei sie auf deren Geltendmachung vorbehältlich ausdrücklich erwähnter Ausnahmen nicht verzichten darf. Ein solcher Ausnahmefall ist vorliegend nicht gegeben und die Arbeitslosenkasse hat entgegen der klaren gesetzlichen Vorschrift die Ermächtigung der Ausgleichsstelle zum Klagerückzug nicht eingeholt. Mit dem kantonalen Gericht ist das Vorgehen der Arbeitslosenkasse als gesetzwidrig zu qualifizieren. Dafür hat nicht die versicherte Person einzustehen.
6. Das Verfahren ist kostenpflichtig (Art. 65 BGG). Die Gerichtskosten sind der unterliegenden Arbeitslosenkasse aufzuerlegen (Art. 66 Abs. 1 BGG; BGE 133 V 637). Dem Ausgang des Verfahrens entsprechend steht dem anwaltlich vertretenen Beschwerdeführer eine Parteientschädigung zu (Art. 68 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird gutgeheissen. Der Entscheid des Versicherungsgerichts des Kantons St. Gallen vom 18. November 2010 und der Einspracheentscheid der Kantonalen Arbeitslosenkasse St. Gallen vom 11. November 2009 werden aufgehoben.
3. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
4. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
5. Die Sache wird zur Neuverlegung der Parteientschädigung des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons St. Gallen zurückgewiesen.
6. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Staatssekretariat für Wirtschaft schriftlich mitgeteilt.
Luzern, 20. Juni 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Kopp Käch