Sachverhalt:
Sachverhalt:
A. K._ war seit mindestens 1989 in verschiedenen Firmen, die er teilweise selbst gegründet hatte, hauptsächlich im Druckgewerbe tätig. Viele dieser Firmen gingen später Konkurs. Gemäss Arbeitsvertrag vom 19. Dezember 2001 war K._ ab 1. Januar 2002 als Sachbearbeiter Drucksachenverkauf bei der Firma U._ AG, St. Gallen, angestellt. Am 19. Juli 2002 stellte er bei der Kantonalen Arbeitslosenkasse St. Gallen für die Zeit vom 1. April bis 31. Juli 2002 Antrag auf Insolvenzentschädigung. Die Arbeitslosenkasse bezahlte K._ am 24. September 2002 und 19. Februar 2003 Insolvenzentschädigung für die Zeit von 1. April bis 31. Juli 2002 im Betrag von Fr. 18'480.- bzw. Fr. 4'457.20.
Am 6. August 2004 informierte das Steueramt Z._ die Arbeitslosenkasse, dass sich K._, von Kanada herkommend, erst am 1. Juli 2002 beim Einwohneramt Z._ angemeldet hatte. Nach weiteren Abklärungen verfügte die Arbeitslosenkasse am 3. Januar 2005 die Ablehnung des Anspruchs auf Insolvenzentschädigung für die Zeit vom 1. April bis 30. Juni 2002 und forderte am 6. Januar 2005 die Rückzahlung der zu viel bezogenen Leistungen.
Gegen beide Verfügungen erhob K._ Einsprache. Die Kantonale Arbeitslosenkasse wies die gegen die Verfügung vom 3. Januar 2005 erhobene Einsprache am 31. Januar 2005 ab und sistierte gleichentags das Verfahren um Rückforderung der Insolvenzentschädigung bis zum rechtskräftigen Entscheid über die Anspruchsberechtigung.
Gegen beide Verfügungen erhob K._ Einsprache. Die Kantonale Arbeitslosenkasse wies die gegen die Verfügung vom 3. Januar 2005 erhobene Einsprache am 31. Januar 2005 ab und sistierte gleichentags das Verfahren um Rückforderung der Insolvenzentschädigung bis zum rechtskräftigen Entscheid über die Anspruchsberechtigung.
B. Die gegen den ablehnenden Entscheid erhobene Beschwerde des K._ wies das Versicherungsgericht des Kantons St. Gallen am 2. November 2005 ab.
B. Die gegen den ablehnenden Entscheid erhobene Beschwerde des K._ wies das Versicherungsgericht des Kantons St. Gallen am 2. November 2005 ab.
C. Mit Verwaltungsgerichtsbeschwerde beantragt K._, es sei festzustellen, dass die Insolvenzentschädigung zu Recht ausbezahlt worden sei; zudem sei die Beschwerdegegnerin anzuweisen, von einer Rückforderung abzusehen.
Arbeitslosenkasse und Staatssekretariat für Wirtschaft verzichten auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Nach ständiger Rechtsprechung prüft das Eidgenössische Versicherungsgericht die formellen Gültigkeitserfordernisse des Verfahrens und die Fragen der richtigen vorinstanzlichen Verfahrensgestaltung, insbesondere auch die Voraussetzungen für den Erlass einer Feststellungsverfügung, von Amtes wegen und ohne Bindung an die Parteianträge (<ref-ruling>, zur Publikation in der Amtlichen Sammlung vorgesehenes Urteil T. vom 3. Mai 2006, H 47/05).
1. Nach ständiger Rechtsprechung prüft das Eidgenössische Versicherungsgericht die formellen Gültigkeitserfordernisse des Verfahrens und die Fragen der richtigen vorinstanzlichen Verfahrensgestaltung, insbesondere auch die Voraussetzungen für den Erlass einer Feststellungsverfügung, von Amtes wegen und ohne Bindung an die Parteianträge (<ref-ruling>, zur Publikation in der Amtlichen Sammlung vorgesehenes Urteil T. vom 3. Mai 2006, H 47/05).
2. 2.1 Am 3. Januar 2005 verfügte die Arbeitslosenkasse, der Anspruch des Versicherten auf Insolvenzentschädigung sei für den Zeitraum vom 1. April bis 30. Juni 2002 abzulehnen. Gleichzeitig stellte sie die Rückforderung der bereits ausbezahlten Insolvenzentschädigung mit einer separaten Verfügung in Aussicht, welche sie am 6. Januar 2005 erliess.
2.2 Soweit mit der Verfügung vom 3. Januar 2005 der Anspruch auf bereits erbrachte Leistungen verneint wird, kommt ihr feststellender Charakter zu (Urteil P. vom 11. Oktober 2002, C 81/01). Rechtsprechungsgemäss setzt der Erlass einer Feststellungsverfügung im Sinne von Art. 5 Abs. 1 lit. b und Art. 25 VwVG indessen unter anderem voraus, dass keine rechtsgestaltende Verfügung denselben Zweck erfüllen kann (<ref-ruling> Erw. 2c, 125 V 24 Erw. 1b, 121 V 317 Erw. 4a mit Hinweisen).
2.3 Aus welchen Gründen die Arbeitslosenkasse darauf verzichtet hat, direkt die Rückforderung zu verfügen, ist - worauf die Vorinstanz zutreffend hingewiesen hat - ebenso wenig nachvollziehbar wie die in der Folge angeordnete Sistierung der Einsprache gegen die Rückforderungsverfügung. Die Kasse hätte vielmehr direkt die Rückforderung der bereits ausbezahlten Beiträge verfügen müssen, zumal weder aus Sicht der Beschwerdegegnerin noch des Versicherten besondere Umstände auszumachen sind, welche die Festlegung des Anspruches losgelöst von der Rückforderung notwendig gemacht hätten. Dies gilt umso mehr, als - anders als beispielsweise im Zweifelsfallverfahren gemäss <ref-law>, wo vor der Rückforderungsverfügung der Arbeitslosenkasse das kantonale Arbeitsamt eine Feststellungsverfügung betreffend die Vermittlungsfähigkeit erlässt (vgl. <ref-ruling> Erw. 4d) - die Kasse im Falle der Integritätsentschädigung sowohl für die Prüfung der Anspruchsberechtigung als auch für die Rückerstattung allein zuständig ist.
2.4 Die Sache ist an die Beschwerdegegnerin zurückzuweisen, damit sie die gegen die Rückforderungsverfügung vom 6. Januar 2005 (mit welcher im Übrigen die relative einjährige Verwirkungsfrist gemäss <ref-law> in Verbindung mit <ref-law> gewahrt worden ist) erlassene Sistierung aufhebt und das Einspracheverfahren wieder aufnimmt, wobei sie - unter Wahrung der absoluten Verwirkungsfrist (<ref-law> in Verbindung mit <ref-law>) - zunächst die materielle Unrechtmässigkeit der ausbezahlten Integritätsentschädigung zu prüfen und bejahendenfalls zu entscheiden hat, ob die festgestellte materielle Unrechtmässigkeit zweifellos unrichtig im Sinne des erforderlichen Rückkommenstitels der Wiedererwägung (<ref-law>; <ref-ruling>) ist.

Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Versicherungsgerichts des Kantons St. Gallen vom 2. November 2005 und der Einspracheentscheid der Arbeitslosenkasse des Kantons St. Gallen vom 31. Januar 2005 aufgehoben werden und die Sache an die Arbeitslosenkasse zurückgewiesen wird, damit sie im Sinne der Erwägungen verfahre.
1. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Versicherungsgerichts des Kantons St. Gallen vom 2. November 2005 und der Einspracheentscheid der Arbeitslosenkasse des Kantons St. Gallen vom 31. Januar 2005 aufgehoben werden und die Sache an die Arbeitslosenkasse zurückgewiesen wird, damit sie im Sinne der Erwägungen verfahre.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, dem Amt für Arbeit und dem Staatssekretariat für Wirtschaft zugestellt.
Luzern, 18. Mai 2006
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer: Die Gerichtsschreiberin:
i.V.