Sachverhalt:
A. Der 1963 geborene B._ war seit November 2003 als Projektleiter und Consultant bei der Firma D._ AG tätig gewesen. Nachdem die Arbeitgeberin das Arbeitsverhältnis auf den 30. Juni 2005 gekündigt hatte, meldete sich B._ am 14. Juli 2005 mit Anspruchserhebung ab 1. Juli 2005 zum Leistungsbezug bei der Arbeitslosenversicherung an. Seit August 2003 arbeitete B._ ausserdem in unterschiedlichen Pensen im Nebenerwerb bei der Schule X._ und rechnete nach Ausdehnung dieser Tätigkeit den Mehrverdienst als Zwischenverdienst ab.
Mit Verfügung vom 31. Januar 2008 setzte die Arbeitslosenkasse des Kantons Zürich den Nebenverdienst bei der Schule X._ auf Fr. 2'708.- im Monat fest und forderte zu viel bezogene Taggeldleistungen für die Monate Juni 2005 bis März 2007 in der Höhe von Fr. 11'184.70 zurück. Dies mit der Begründung, aufgrund einer Zusammenstellung durch die Schule X._ sei eine Neuberechnung und Erhöhung des Einkommens aus Nebenerwerb erfolgt. Auf Einsprache hin legte sie den Nebenverdienst neu auf monatlich Fr. 3'245.85 fest und erhöhte den Rückforderungsbetrag für die Periode Juni 2005 bis März 2007 auf Fr. 16'489.70 (Einspracheentscheid [Nr. 103] vom 19. November 2008). Mit einer weiteren Verfügung vom 31. Januar 2008 erklärte die Arbeitslosenkasse zudem den Arbeitslosentaggeldanspruch für den Monat Februar 2007 als erloschen, da das Formular "Angaben der versicherten Person" nicht rechtzeitig eingereicht worden sei, woran sie mit Einspracheentscheid (Nr. 104) vom 19. November 2008 festhielt.
B. Die gegen den Einspracheentscheid (Nr. 103) vom 19. November 2008 erhobene Beschwerde betreffend Rückforderung wies das Sozialversicherungsgericht des Kantons Zürich ab (Dispositiv-Ziffer 1). In Gutheissung der Beschwerde gegen den Einspracheentscheid (Nr. 104) vom 19. November 2008 betreffend Erlöschen des Anspruchs auf Arbeitslosenentschädigung für die Kontrollperiode Februar 2007 hob es den Einspracheentscheid unter Bejahung des Arbeitslosentaggeldanspruchs für diesen Monat auf, sofern die übrigen Anspruchsvoraussetzungen erfüllt seien (Dispositiv-Ziffer 2; Entscheid vom 22. November 2010).
C. B._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, Dispositiv-Ziffer 1 des kantonalen Entscheids sei aufzuheben und die Sache an die Vorinstanz zurückzuweisen, damit diese nach erfolgter Aktenergänzung neu befinde. Eventualiter sei der Rückforderungsanspruch der Arbeitslosenkasse vollumfänglich, zumindest aber im Fr. 13'985.25 übersteigenden Betrag, zu verneinen.
Während die Arbeitslosenkasse auf Abweisung der Beschwerde schliesst, hat das Staatssekretariat für Wirtschaft auf eine Vernehmlassung verzichtet.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2. Im Einspracheentscheid, worauf das kantonale Gericht verweist, werden die gesetzlichen Bestimmungen und Grundsätze zur Rückforderung unrechtmässig ausgerichteter Leistungen der Arbeitslosenversicherung (Art. 95 Abs. 1 AVIG in Verbindung mit Art. 25 Abs. 1 und 2 ATSG) richtig wiedergegeben. Darauf wird verwiesen. Ergänzend ist festzuhalten, dass ein Nebenverdienst jeder Verdienst ist, den ein Versicherter ausserhalb seiner normalen Arbeitszeit als Arbeitnehmer oder ausserhalb des ordentlichen Rahmens seiner selbstständigen Erwerbstätigkeit erzielt (Art. 23 Abs. 3 AVIG). Ein Nebenverdienst bleibt bei der Anrechnung eines Zwischenverdienstes grundsätzlich unberücksichtigt (Art. 24 Abs. 3 AVIG). Eine Steigerung des Nebenverdienstes kann aber zur Annahme von Zwischenverdienst führen (<ref-ruling>; Urteil C 149/02 vom 27. Januar 2003).
Die Rückerstattung zu Unrecht bezogener Leistungen setzt voraus, dass die Bedingungen für eine Wiedererwägung oder eine prozessuale Revision des die fraglichen Leistungen zusprechenden Entscheids erfüllt sind. Unerheblich ist, ob die zur Rückforderung Anlass gebenden Leistungen förmlich oder formlos verfügt worden sind (<ref-ruling> E. 5.2 in fine S. 320; <ref-ruling> E. 1.1).
3. 3.1 Nach den - letztinstanzlich grundsätzlich verbindlichen - Erwägungen der Vorinstanz stützte sich die Beschwerdegegnerin zur Bemessung des Einkommens aus der Nebenbeschäftigung vor Eintritt der Arbeitslosigkeit am 1. Juli 2005 sowie zur Ermittlung der in den Kontrollperioden massgebenden Zwischenverdienste auf die Angaben der Schule X._ (Eingang Arbeitslosenkasse am 24. Januar 2008), welche für die der Arbeitslosigkeit vorangegangenen zwölf Monate einen Betrag von Fr. 3'245.85 im Monat ergaben. Auf die erst nach Erlass der Rückforderungsverfügung ergangene Abrechnungsübersicht der Arbeitgeberin sei, da nicht präziser, nicht abzustellen. Die über diesen Betrag hinausgehenden Einkünfte seien im Sinne eines erweiterten Nebenverdienstes als Zwischenverdienste abzurechen. Die einzelnen Abrechnungen der Arbeitslosenkasse gäben zu keinen Beanstandungen Anlass, woraus sich ein Anspruch des Versicherten von Fr. 91'001.65 und ein Rückforderungsbetrag von Fr. 16'489.70 ergäbe.
3.2 Dagegen wendet der Beschwerdeführer in prozessualer Hinsicht ein, die Beschwerdegegnerin habe zuhanden des kantonalen Gerichts nicht die vollständigen Akten eingereicht, wobei insbesondere die Unterlagen der Kasse betreffend den Beginn des Versicherungsverhältnisses im Juli 2005 sehr dürftig seien, sachdienliche Belege und Unterlagen für die zweite Jahreshälfte 2005/Anfang 2006 würden weitgehend fehlen.
3.3 Gemäss Art. 61 lit. c ATSG stellt das kantonale Sozialversicherungsgericht unter Mitwirkung der Parteien die für den Entscheid erheblichen Tatsachen fest; es erhebt die notwendigen Beweise und ist in der Beweiswürdigung frei. Der damit statuierte Untersuchungsgrundsatz zählt zu den wesentlichen Verfahrensvorschriften. Er verpflichtet Verwaltung und kantonales Gericht - unter Vorbehalt der Mitwirkungspflichten der Parteien - von sich aus für die richtige und vollständige Abklärung des rechtserheblichen Sachverhalts zu sorgen (SVR 2009 IV Nr. 4 S. 6 E. 4.2.2 mit Hinweisen) und weist enge Bezüge zum Grundsatz der freien Beweiswürdigung auf (Urteil 8C_364/2007 vom 19. November 2007, E. 3.2).
3.4 Um den Sachverhalt feststellen und die Beweise frei würdigen zu können, müssen dem Sozialversicherungsgericht sämtliche Akten vorliegen, damit es entscheiden kann, welche Unterlagen für die Beurteilung des streitigen Falles wesentlich und welche nicht wesentlich sind. Es liegt demnach nicht im Belieben des Versicherungsträgers, im Beschwerdeverfahren dem Gericht nur jene Akten einzureichen, welche er als notwendig und für die Beurteilung des Falles entscheidend betrachtet. Andernfalls würden die dargelegten Beweisgrundsätze ihres Gehalts entleert (Urteil U 422/00 vom 10. Oktober 2001, E. 2a).
3.5 Es kann vorliegend offen bleiben, ob das kantonale Gericht bei Fällung des Entscheids vom 22. November 2010 - trotz der von der Arbeitslosenkasse unterzeichneten Vollständigkeitserklärung - nicht über sämtliche Akten verfügte, da das kantonale Gericht wohl auch in Kenntnis sämtlicher Akten, die der Versicherte letztinstanzlich eingereicht hat, nicht anders entschieden hätte und der Beschwerdeführer überdies im Rahmen des vorinstanzlichen Verfahrens zu keinem Zeitpunkt die unvollständige Akteneinreichung der Arbeitslosenkasse rügte. Damit kann auch offen bleiben, ob es sich bei diesen Unterlagen um zulässige Noven handelt (Art. 99 Abs. 1 BGG). Auch wenn allenfalls eine Verletzung des Untersuchungsgrundsatzes und damit eine Rechtsverletzung im Sinne des Art. 95 BGG vorliegen sollte, (vgl. dazu auch Urteil 8C_364/2007 vom 19. November 2007, E. 3.3), hat dies weder die Aufhebung des vorinstanzlichen Entscheids noch die freie Überprüfung des Sachverhalts zur Folge, da die Behebung dieses Mangels angesichts der dem kantonalen Gericht zur Verfügung gestandenen Akten für den Ausgang des Verfahrens nicht entscheidend sein kann und damit eine der Voraussetzungen von Art. 97 Abs. 1 BGG nicht gegeben ist (E. 1 in fine).
3.6 Weiter rügt der Beschwerdeführer eine Verletzung des rechtlichen Gehörs, da ihm die die Grundlage des Revisionsverfahrens bildenden (letzten) Abrechnungen der Arbeitslosenkasse vom 1. Oktober 2008 nicht persönlich oder schriftlich eröffnet, sondern lediglich der Vorinstanz eingereicht worden seien. Hiezu habe er nicht Stellung nehmen können, zumal dies in der Beschwerdeantwort nicht kenntlich gemacht worden sei. Hieraus habe ein prozessualer Nachteil resultiert.
3.7 Dem Einsprachentscheid (Nr. 103) vom 19. November 2008 lässt sich entnehmen, dass der Rückforderungsbetrag für die Periode Juni 2005 bis März 2007 auf den neu erstellten Abrechnungen vom 1. Oktober 2008 basieren, wobei die Arbeitslosenkasse dementsprechend von einem zustehenden Taggeldanspruch in der Höhe von Fr. 91'001.65 netto ausging und dem Versicherten Arbeitslosenentschädigung im Umfang von Fr. 107'491.35 ausbezahlt worden ist, weshalb sie Fr. 16'489.70 als zu viel ausbezahlte Arbeitslosenentschädigung zurückforderte. In seiner vorinstanzlichen Beschwerde gab der Versicherte an, er habe die relevanten, der Rückforderung in der Höhe von Fr. 16'489.70 zu Grunde gelegten Dokumente erst mit Schreiben vom 10. Oktober 2008 am 18. Oktober 2008 einsehen können.
Mit Schreiben vom 10. Oktober 2008 erhielt der Versicherte im Rahmen des rechtlichen Gehörs Gelegenheit, sich im Hinblick auf die ergangene Verfügung vom 31. Januar 2008 gemäss Arbeitslosenkasse veränderten Berechnungsgrundlagen (Erhöhung des Rückforderungsbetrags von Fr. 11'184.70 auf Fr. 16'489.70) zu äussern. In der Beilage befand sich die monatsbezogene Zusammenstellung der Arbeitslosenkasse über den Arbeitslosenentschädigungsanspruch, auf welche sich der Rückforderungsbetrag stützt und die auch im vorinstanzlichen Entscheid mit Blick auf die massliche Rückforderung rechtserheblich war. Die dem Rückforderungsanspruch zu Grunde liegenden monatlichen Berechnungen waren dem Versicherten demnach bereits im Rahmen des Einspracheverfahrens bekannt, worauf er sich dementsprechend sowohl in seiner Stellungnahme vom 18. Oktober 2008, indem er ausführte, die neuen Berechnungen der Kasse eingehend geprüft zu haben, als auch in seiner Beschwerde im kantonalen Gerichtsverfahren, bezog. Selbst wenn ihm die im Rahmen dieser Neuberechnung erstellten, einzelnen monatlichen Taggeldabrechnungen nicht zugestellt worden sind, wäre ein allfälliger Verfahrensmangel als geheilt anzusehen.
4. 4.1 Materiell-rechtlich wendet der Beschwerdeführer ein, im Vertrauen auf eine Besprechung mit einem Mitarbeiter der Arbeitslosenkasse habe er seine Dozententätigkeit bei der Schule X._ als selbstständigen Nebenerwerb deklariert und es werde bestritten, dass diese Qualifikation zweifellos unrichtig sei. In quantitativer Hinsicht sei der Sachverhalt nicht genügend liquid, da die der ursprünglichen Rückforderung (gemäss Verfügung vom 31. Januar 2008) zu Grunde gelegten Feststellungen der Kasse fehlen würden.
4.2 Unbestritten ist, dass die Arbeitslosenkasse aufgrund der von der Schule X._ erst am 24. Januar 2008 erhaltenen "Abrechnung für Herrn B._ für die Jahre 2003-2007" nochmals das gesamte Dossier des Versicherten überprüft und die Rückforderungssumme auf der Grundlage dieser Abrechnung im Einspracheentscheid erneut korrigiert hat, wobei der Beschwerdeführer hiezu vorgängig Stellung nehmen konnte. Die Abrechnung erstellte die Schule X._ auf Aufforderung des Amtes für Wirtschaft und Arbeit (AWA) des Kantons Zürich hin, welches die Vermittlungsfähigkeit des Versicherten zu überprüfen hatte (vgl. Einspracheentscheid vom 19. November 2008 S. 7 und 9); Verfügung des AWA vom 22. Januar 2008). Eine entsprechende Zusammenstellung lag der Kasse bis dahin nicht vor. Dieses Dokument ist als neue erhebliche Tatsache zu werten, deren Unkenntnis nicht die Arbeitslosenkasse zu vertreten hat, weshalb ein Zurückkommen auf die ausgerichteten Leistungen auf dem Wege der prozessualen Revision zulässig war.
4.3 Hinsichtlich der umstrittenen Qualifikation der Dozententätigkeit bei der Schule X._ als unselbstständiger Nebenerwerb erwog die Vorinstanz, aufgrund des vorliegenden Arbeitsvertrages zwischen der Fernfachhochschule und dem Versicherten vom 26. Juli 2003 sei bereits auf eine unselbstständige Nebenerwerbstätigkeit zu schliessen. Sodann erscheine die Schule X._ im Auszug aus dem individuellen Konto vom 13. Juli 2010 in den Jahren 2003 bis 2007 als Arbeitgeberin und dementsprechend seien Löhne zwischen Fr. 2'590.- und Fr. 90'835.- verbucht worden. Der Beschwerdeführer habe sich erst per 1. Januar 2008 als Selbstständigerwerbender bei der AHV-Ausgleichskasse angemeldet. Angesichts dieser Umstände und der regelmässigen Dozententätigkeit (vgl. Urteil 9C_238/2007 vom 25. Oktober 2007) sei er ohne Weiteres als Unselbstständiger zu erfassen gewesen.
4.4 Den vorinstanzlichen Ausführungen ist zuzustimmen. Es bleibt festzuhalten, dass nach ständiger Rechtsprechung für die Frage der Arbeitnehmereigenschaft in der Arbeitslosenversicherung das formell rechtskräftig geregelte AHV-Beitragsstatut massgebend ist, sofern sich dieses nicht als offensichtlich unrichtig erweist (<ref-ruling> E. 3a S. 158 mit Hinweisen). Nur wenn sich trotz zumutbarer Abklärung bei Ausgleichskasse und Arbeitgebern kein formell rechtskräftiges AHV-Beitragsstatut eruieren lässt, kommt eine freie Prüfung der Arbeitnehmereigenschaft in Betracht (ARV 1998 Nr. 3 S. 12 E. 4). Angesichts dieser Sach- und Rechtslage war die Qualifikation der Dozententätigkeit als selbstständiger Nebenerwerb zweifellos unrichtig im Sinne von Art. 53 Abs. 2 ATSG (zur Überprüfungsbefugnis des Bundesgerichts: Ulrich Meyer, in: Basler Kommentar, Bundesgerichtsgesetz, 2008, N. 35 f. zu Art. 105 BGG), weshalb die Bemessung der Rückforderungssumme unter Vornahme eines Pauschalabzugs für Selbstständige jedenfalls auch unter diesem Gesichtspunkt zu korrigieren war.
4.5 Die Berufung des Versicherten auf den Vertrauensschutz versagt, da nicht erstellt ist, dass er als Folge der ausbezahlten Arbeitslosenentschädigung und unterbliebenen Aufklärung Dispositionen getroffen oder unterlassen hat, die ohne Nachteil nicht mehr rückgängig gemacht oder nachgeholt werden können (<ref-ruling> E. 5 S. 480, 121 V 65 E. 2a S. 66; Urteil C 85/06 vom 16. Oktober 2006, E 3.2).
5. Zusammenfassend lässt sich festhalten, dass die Einwände des Beschwerdeführers die Betrachtungsweise der Vorinstanz nicht in Zweifel zu ziehen vermögen. Entgegen den Einwendungen in der Beschwerde ist der Sachverhalt mit Blick auf den Rückforderungsanspruch in masslicher Hinsicht genügend abgeklärt. Die tatsächlichen Feststellungen des kantonalen Gerichts sind nicht mangelhaft im Sinne von Art. 97 Abs. 1 BGG und die rechtliche Würdigung ist bundesrechtskonform.
6. Das Verfahren ist kostenpflichtig (Art. 62 BGG). Dem Prozessausgang entsprechend sind die Gerichtskosten vom Beschwerdeführer als unterliegender Partei zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, dem Staatssekretariat für Wirtschaft und dem Amt für Wirtschaft und Arbeit des Kantons Zürich schriftlich mitgeteilt.
Luzern, 16. Mai 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Polla