Sachverhalt: A. Der 1963 geborene B._ war seit November 2003 als Projektleiter und Consultant bei der Firma D._ AG tätig gewesen. Nachdem die Arbeitgeberin das Arbeitsverhältnis auf den 30. Juni 2005 gekündigt hatte, meldete sich B._ am 14. Juli 2005 mit Anspruchserhebung ab 1. Juli 2005 zum Leistungsbezug bei der Arbeitslosenversicherung an. Seit August 2003 arbeitete B._ ausserdem in unterschiedlichen Pensen im Nebenerwerb bei der Schule X._ und rechnete nach Ausdehnung dieser Tätigkeit den Mehrverdienst als Zwischenverdienst ab. Mit Verfügung vom 31. Januar 2008 setzte die Arbeitslosenkasse des Kantons Zürich den Nebenverdienst bei der Schule X._ auf Fr. 2'708.- im Monat fest und forderte zu viel bezogene Taggeldleistungen für die Monate Juni 2005 bis März 2007 in der Höhe von Fr. 11'184.70 zurück. Dies mit der Begründung, aufgrund einer Zusammenstellung durch die Schule X._ sei eine Neuberechnung und Erhöhung des Einkommens aus Nebenerwerb erfolgt. Auf Einsprache hin legte sie den Nebenverdienst neu auf monatlich Fr. 3'245.85 fest und erhöhte den Rückforderungsbetrag für die Periode Juni 2005 bis März 2007 auf Fr. 16'489.70 (Einspracheentscheid [Nr. 103] vom 19. November 2008). Mit einer weiteren Verfügung vom 31. Januar 2008 erklärte die Arbeitslosenkasse zudem den Arbeitslosentaggeldanspruch für den Monat Februar 2007 als erloschen, da das Formular "Angaben der versicherten Person" nicht rechtzeitig eingereicht worden sei, woran sie mit Einspracheentscheid (Nr. 104) vom 19. November 2008 festhielt. B. Die gegen den Einspracheentscheid (Nr. 103) vom 19. November 2008 erhobene Beschwerde betreffend Rückforderung wies das Sozialversicherungsgericht des Kantons Zürich ab (Dispositiv-Ziffer 1). In Gutheissung der Beschwerde gegen den Einspracheentscheid (Nr. 104) vom 19. November 2008 betreffend Erlöschen des Anspruchs auf Arbeitslosenentschädigung für die Kontrollperiode Februar 2007 hob es den Einspracheentscheid unter Bejahung des Arbeitslosentaggeldanspruchs für diesen Monat auf, sofern die übrigen Anspruchsvoraussetzungen erfüllt seien (Dispositiv-Ziffer 2; Entscheid vom 22. November 2010). C. B._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, Dispositiv-Ziffer 1 des kantonalen Entscheids sei aufzuheben und die Sache an die Vorinstanz zurückzuweisen, damit diese nach erfolgter Aktenergänzung neu befinde. Eventualiter sei der Rückforderungsanspruch der Arbeitslosenkasse vollumfänglich, zumindest aber im Fr. 13'985.25 übersteigenden Betrag, zu verneinen. Während die Arbeitslosenkasse auf Abweisung der Beschwerde schliesst, hat das Staatssekretariat für Wirtschaft auf eine Vernehmlassung verzichtet.