Sachverhalt: A. Der 1961 geborene A._ war vom 15. November 2009 bis 15. Mai 2010 und vom 1. Juli 2010 bis zum 15. Januar 2011 beim Verein B._ in einem Teilzeitpensum angestellt. Danach meldete er sich bei der Arbeitslosenkasse des Kantons Zürich zum Leistungsbezug an und gab an, eine Vollzeitstelle zu suchen. Die Kasse richtete auf dieser Grundlage Arbeitslosentaggelder aus. Nachdem sie Kenntnis davon erhalten hatte, dass A._ während der Arbeitslosigkeit Einkünfte aus einer Lehrtätigkeit erzielt hatte, berechnete sie die Taggeldansprüche neu und forderte mit Verfügungen vom 19. November 2013 für die Zeit von Januar 2011 bis Januar 2013 zu viel ausgerichtete Taggelder zurück. Dies im Wesentlichen mit der Begründung, das bei dieser Tätigkeit erzielte Einkommen hätte bei der Taggeldbemessung als Zwischenverdienst anspruchsmindernd berücksichtigt werden müssen. Auf Einsprachen hin reduzierte die Kasse den Rückerstattungsanspruch auf für die Zeit zwischen Januar 2011 bis Januar 2012 zu viel ausgerichtete Entschädigungen in der Höhe von Fr. 11'068.10. B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 20. Juli 2015 ab. C. A._ führt dagegen Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag auf Aufhebung des vorinstanzlichen und des Einspracheentscheids. Mit Zwischenverfügung vom 10. November 2015 weist das Bundesgericht das im Nachgang an die Kostenvorschussverfügung vom 30. September 2015 eingereichte Gesuch um unentgeltliche Prozessführung ab, worauf der Kostenvorschuss beglichen wird.