Sachverhalt:
A. Der 1960 geborene F._ war vom 1. Februar bis 2. Mai 2005 bei der Firma X._ AG tätig. Ab 30. Mai 2005 bezog er Taggelder der Arbeitslosenversicherung. Das vom 1. bis 31. Oktober 2006 zuständige Amt für Industrie, Gewerbe und Arbeit (KIGA) verneinte die Vermittlungsfähigkeit für diese Zeit, da F._ seit 19. April 2005 im Handelsregister des Kantons Y._ als Inhaber der Einzelfirma Z._ eingetragen sei und die hiezu gestellten Fragen nur ungenau beantwortet habe, weshalb sich der Umfang der selbstständigen Tätigkeit nicht ermitteln liesse (Verfügung vom 5. Dezember 2006 und Einspracheentscheid vom 10. Januar 2007). Das Bundesgericht bestätigte dies letztinstanzlich mit Urteil 8C_447/2007 vom 3. Juli 2008. Das ab 1. November 2006 aufgrund des erneuten Wohnortwechsels wie vor dem 1. Oktober 2006 zuständige RAV bejahte zwar die Vermittlungsfähigkeit weiterhin, stellte aber fest, dass vor allem im Jahr 2006 aus selbstständiger Erwerbstätigkeit erzieltes Einkommen nicht abgerechnet worden sei, weshalb es die Sache zur weiteren Abklärung an die Kantonale Arbeitslosenkasse St. Gallen überwies (Verfügung vom 12. Februar 2007). Mit Verfügung vom 23. Juli 2007 verneinte die Arbeitslosenkasse daraufhin einen Anspruch auf Arbeitslosenentschädigung, da F._ keinen Arbeits- und Verdienstausfall nachweisen könne, und forderte die in der Zeit vom 30. Mai 2005 bis 30. September 2006 ausbezahlten Taggelder in der Höhe von Fr. 45'291.05 zurück. Daran hielt sie mit Einspracheentscheid vom 10. September 2007 fest.
B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 30. Mai 2008 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt F._ die Aufhebung des vorinstanzlichen Entscheids vom 30. Mai 2008 beantragen.
Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Eine unvollständige Sachverhaltsfeststellung stellt eine vom Bundesgericht ebenfalls zu korrigierende Rechtsverletzung im Sinne von Art. 95 lit. a BGG dar (SEILER/VON WERDT/GÜNGERICH, Kommentar zum Bundesgerichtsgesetz, Bern 2007, N. 24 zu Art. 97).
2. Der Anspruch auf Arbeitslosenentschädigung setzt unter anderem voraus, dass die versicherte Person ganz oder teilweise arbeitslos ist (Art. 8 Abs. 1 lit. a in Verbindung mit Art. 10 AVIG) und einen anrechenbaren Arbeitsausfall erlitten hat (Art. 8 Abs. 1 lit. b in Verbindung mit Art. 11 AVIG). Der Arbeitsausfall ist gemäss Art. 11 Abs. 1 AVIG anrechenbar, wenn er einen Verdienstausfall zur Folge hat und mindestens zwei aufeinanderfolgende volle Arbeitstage dauert. Wie das kantonale Gericht weiter richtig festgehalten hat, gilt als Zwischenverdienst jedes Einkommen aus unselbstständiger oder selbstständiger Erwerbstätigkeit, das die arbeitslose Person innerhalb einer Kontrollperiode erzielt, wobei als Verdienstausfall die Differenz zwischen dem in der Kontrollperiode erzielten Zwischenverdienst gilt, mindestens aber dem berufs- und ortsüblichen Ansatz für die betreffende Arbeit, und dem versicherten Verdienst. Ist das Einkommen geringer als die dem Versicherten zustehende Arbeitslosenentschädigung, so besteht innerhalb der Rahmenfrist für den Leistungsbezug ein Anspruch auf Kompensationszahlungen (Art. 41a Abs. 1 AVIV). Die Vorinstanz hat sodann die Bestimmungen zur Rückforderung von zu Unrecht bezogenen Leistungen (Art. 95 Abs. 1 AVIG in Verbindung mit Art. 25 Abs. 1 ATSG) sowie zu den Auskunfts- und Mitwirkungspflichten der versicherten Person (Art. 28 Abs. 2 und Art. 43 Abs. 3 ATSG) zutreffend wiedergegeben. Darauf wird verwiesen.
3. 3.1 Nachdem der Versicherte im Januar 2007 die Abschlussbilanzen der Jahre 2005 und 2006 seiner selbstständigen Erwerbstätigkeit eingereicht sowie Angaben über seine zeitliche Verfügbarkeit gemacht hatte, forderte ihn die Arbeitslosenkasse am 20. Februar 2007 auf, die Steuerveranlagungsprotokolle der Steuerjahre 2005 und 2006, die Zwischenverdienstbescheinigungen der einzelnen Kontrollperioden, in denen ein Zwischenverdienst erzielt worden war (ab Mai 2005), sowie sämtliche Debitoren- und Kreditorenrechnungen und Bankbelege der Geschäftsjahre 2005 und 2006 einzureichen. Damit brachte die Kasse den zusätzlichen Abklärungsbedarf zum Ausdruck, da sich, entgegen den Vorbringen in der Beschwerde, insbesondere ein allfälliger monatlicher Verdienstausfall im Lichte der ausgeübten Zwischenverdienste (Art. 24 AVIG) gerade nicht zuverlässig anhand der eingereichten Jahresbilanzen errechnen liess und ausser für den Monat September 2005 nie eine Zwischenverdiensttätigkeit deklariert worden war. Dass die Verwaltung bei der Beschaffung der benötigten Unterlagen weitestgehend auf die Mitwirkung des Beschwerdeführers angewiesen war, steht ausser Frage. Mit Schreiben vom 20. März 2007 erinnerte sie ihn sodann an die bis dahin fehlenden Unterlagen und machte darauf aufmerksam, dass der Taggeldanspruch ohne die verlangten Dokumente nicht geprüft werden könnte. Nach einer weiteren Mahnung vom 20. April 2007 bat der Beschwerdeführer am 1. Mai 2007 um eine Fristverlängerung zur Einreichung der verlangten Unterlagen, die ihm mit Blick auf die Steuerveranlagungsprotokolle bis zum 31. Mai 2007 gewährt wurde (Schreiben der Arbeitslosenkasse vom 2. Mai 2007). Am 6. Juni 2007 gelangte die Kasse erneut zur Gewährung des rechtlichen Gehörs mit einem Schreiben an den Versicherten und führte aus, ohne die Einreichung der Bescheinigungen könne sie den Anspruch nicht weiter prüfen, und sie gehe davon aus, dass er keinen Verdienstausfall erlitten habe, weshalb auch die bereits ausbezahlten Taggelder zurückgefordert werden müssten. Der Versicherte reagierte gemäss Aktenlage auch auf diesen Brief der Verwaltung nicht, die ihn daraufhin am 21. Juni 2007 nochmals aufforderte, die fehlenden Unterlagen bis zum 6. Juli 2007 nachzureichen, wobei der Beschwerdeführer ausdrücklich darauf aufmerksam gemacht wurde, dass die Kasse ohne seine Antwort anhand der Akten entscheiden werde, was die Ablehnung der Anspruchsberechtigung zur Folge hätte. Eine weitere verlangte Fristverlängerung um ca. zwei Monate gewährte die Verwaltung nicht mehr und forderte die Unterlagen bis 13. Juli 2007 ein (Schreiben vom 4. Juli 2007). Am 12. Juli 2007 reichte der Versicherte einzig die bereits bei der Kasse vorhandenen Jahresbilanzen der Jahre 2005 und 2006 nach, worauf am 23. Juli 2007 die Rückforderungsverfügung erging.
3.2 Ausgehend von einem nicht offensichtlich unrichtig oder unvollständig festgestellten Sachverhalt durfte die Vorinstanz gestützt hierauf ohne Bundesrecht zu verletzen zum Schluss gelangen, dass der Beschwerdeführer seine Mitwirkungspflicht in unentschuldbarer Weise verletzt hat (BGE 125 V 193 E. 2 S. 195; 122 V 157 E. 1a S. 158, je mit Hinweisen), indem er namentlich die für die selbstständige Erwerbstätigkeit aufgewendete Zeit nicht angab und die geforderten Unterlagen nicht einreichte, womit ein Arbeits- und Verdienstausfall nicht nachgewiesen war. Kann - wie hier - im Rahmen der Überprüfung der Anspruchsvoraussetzungen ein Arbeits- und Verdienstausfall aufgrund der vorliegenden Unterlagen nicht zuverlässig ermittelt und ebenso wenig die Höhe eines allfälligen Verdienstausfalles in Zusammenhang mit der während der Arbeitslosigkeit ausgeübten Zwischenverdiensttätigkeit berechnet werden, da am Ende der jeweiligen Kontrollperioden keine Angaben über Zeitaufwand und erzieltes Einkommen gemacht wurden, ist gegen die Verneinung des Arbeitslosenentschädigungsanspruchs ab 30. Mai 2005 nichts einzuwenden. Schliesslich war die Auszahlung demnach zweifellos unrichtig und somit die Rückforderung von Fr. 45'291.05 zulässig, weshalb das kantonale Gericht auch diesbezüglich Bundesrecht nicht verletzte (vgl. SEILER/VON WERDT/GÜNGERICH, a.a.O., N. 9 zu Art. 95).
3.3 Inwiefern der Gehörsanspruch verletzt wurde, wie der Beschwerdeführer einwendet, ist nach dem soeben Dargelegten (E. 3.1), nicht ersichtlich. Weiter ist der in der Beschwerde erhobene Vorwurf aktenwidrig, die Kasse hätte es unterlassen, auf die drohende Rückerstattungspflicht hinzuweisen. Der Beschwerdeführer wurde vielmehr mehrfach auf die drohenden Rechtsfolgen aufmerksam gemacht und im Schreiben vom 6. Juni 2007 hielt die Arbeitslosenkasse ausdrücklich fest, dass ohne die geforderten Unterlagen der Taggeldanspruch nicht geprüft werden könnte und somit die Anspruchsberechtigung verneint werden würde, was die Rückforderung der bereits ausbezahlten Taggelder in der Zeit vom 30. Mai 2005 bis 30. September 2006 zur Folge hätte. Dass die Verwaltung den Beschwerdeführer vor Verfügungserlass nicht persönlich vorgeladen hat, verletzt weder das rechtliche Gehör noch den Untersuchungsgrundsatz. Was schliesslich die behauptete Gutgläubigkeit während des Leistungsbezugs angeht, so betrifft dies nicht die Frage der Zulässigkeit einer Rückforderung, sondern diejenige des guten Glaubens, die erst im allenfalls nachfolgenden Erlassverfahren (Art. 4 ATSV) zu prüfen sein wird (Art. 25 Abs. 1 Satz 2 ATSG).
4. Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, dem Amt für Arbeit des Kantons St. Gallen und dem Staatssekretariat für Wirtschaft schriftlich mitgeteilt.
Luzern, 6. Februar 2009
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Polla