Sachverhalt:
A.
Der 1961 geborene A._ war vom 15. November 2009 bis 15. Mai 2010 und vom 1. Juli 2010 bis zum 15. Januar 2011 beim Verein B._ in einem Teilzeitpensum angestellt. Danach meldete er sich bei der Arbeitslosenkasse des Kantons Zürich zum Leistungsbezug an und gab an, eine Vollzeitstelle zu suchen. Die Kasse richtete auf dieser Grundlage Arbeitslosentaggelder aus. Nachdem sie Kenntnis davon erhalten hatte, dass A._ während der Arbeitslosigkeit Einkünfte aus einer Lehrtätigkeit erzielt hatte, berechnete sie die Taggeldansprüche neu und forderte mit Verfügungen vom 19. November 2013 für die Zeit von Januar 2011 bis Januar 2013 zu viel ausgerichtete Taggelder zurück. Dies im Wesentlichen mit der Begründung, das bei dieser Tätigkeit erzielte Einkommen hätte bei der Taggeldbemessung als Zwischenverdienst anspruchsmindernd berücksichtigt werden müssen. Auf Einsprachen hin reduzierte die Kasse den Rückerstattungsanspruch auf für die Zeit zwischen Januar 2011 bis Januar 2012 zu viel ausgerichtete Entschädigungen in der Höhe von Fr. 11'068.10.
B.
Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 20. Juli 2015 ab.
C.
A._ führt dagegen Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag auf Aufhebung des vorinstanzlichen und des Einspracheentscheids.
Mit Zwischenverfügung vom 10. November 2015 weist das Bundesgericht das im Nachgang an die Kostenvorschussverfügung vom 30. September 2015 eingereichte Gesuch um unentgeltliche Prozessführung ab, worauf der Kostenvorschuss beglichen wird.

Erwägungen:
1.
Nachdem der einverlangte Kostenvorschuss fristgerecht geleistet worden ist und die weiteren Prozessvoraussetzungen ebenfalls erfüllt sind, kann in der Sache ein materieller Entscheid ergehen.
2.
2.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Das Bundesgericht prüft indessen, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.6 S. 280; vgl. auch <ref-ruling> E. 1.1 S. 138).
2.2. Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>).
2.3. Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>; <ref-ruling>). Solche Umstände können namentlich in formellrechtlichen Mängeln des angefochtenen Entscheides liegen, mit denen die Partei nicht rechnete und nach Treu und Glauben nicht zu rechnen brauchte, oder darin, dass die Vorinstanz materiell in einer Weise urteilt, dass bestimmte Sachumstände neu und erstmals rechtserheblich werden. Der vorinstanzliche Verfahrensausgang allein bildet noch keinen hinreichenden Anlass im Sinne von <ref-law> für die Zulässigkeit von unechten Noven, die bereits im kantonalen Verfahren ohne weiteres hätten vorgebracht werden können. Das Vorbringen von Tatsachen, die sich erst nach dem angefochtenen Entscheid ereigneten oder entstanden (echte Noven), ist vor Bundesgericht unzulässig (Urteil 8C_280/2014 vom 30. Januar 2015 E. 2 mit Hinweis). Inwiefern die Voraussetzung für ein nachträgliches Vorbringen von Tatsachen und Beweismitteln erfüllt sein soll, ist in der Beschwerde darzutun (<ref-ruling> E. 3.1.2 S. 123; <ref-ruling> E. 3 S. 395; Urteil 8C_674/2013 vom 20. Februar 2014 E. 2.1 mit Hinweis).
3.
Im Streit steht einzig die Frage, ob die vom Beschwerdeführer während der Arbeitslosigkeit ausgeübte, der Kasse nicht gemeldete Lehrtätigkeit bei der Bemessung des Taggeldanspruchs als Zwischenverdienst anzurechnen ist bzw. hätte bereits ursprünglich angerechnet werden müssen. Von keiner Seite thematisiert ist die Art und Weise der Berechnung des daraus abzuleitenden Rückforderungsanspruchs. Nachfolgend ist daher allein auf das von den Parteien näher zur Diskussion Gestellte einzugehen (E. 2.1 hievor).
4.
Soweit eine ganz oder teilweise arbeitslose Person im Sinne von <ref-law> die weiteren Anspruchsvoraussetzungen (<ref-law>) erfüllt, steht ihr eine Arbeitslosenentschädigung zu. Diese wird als Taggeld ausgerichtet (<ref-law>). Ausgangspunkt der Taggeldbemessung ist der versicherte Verdienst (<ref-law>). Als versicherter Verdienst gilt der im Sinne der AHV-Gesetzgebung massgebende Lohn, der während eines Bemessungszeitraums aus einem oder mehreren Arbeitsverhältnissen normalerweise erzielt wurde (<ref-law>). Nicht versichert ist gemäss Abs. 3 dieser Bestimmung ein Nebenverdienst. Als solcher gilt jener Verdienst, den ein Versicherter ausserhalb der normalen Arbeitszeit als Arbeitnehmer oder ausserhalb des ordentlichen Rahmens seiner selbstständigen Erwerbstätigkeit erzielt.
Übt eine versicherte Person während der Arbeitslosigkeit eine selbstständige oder unselbstständige Tätigkeit aus, ist der innerhalb einer Kontrollperiode erzielte Verdienst bei der Bemessung des zu entschädigenden Verdienstausfalls als Zwischenverdienst anzurechnen, ausser es handelt sich dabei um einen Nebenverdienst im Sinne von <ref-law> (<ref-law>, insbesondere Abs. 3).
5.
Nach unbestrittener vorinstanzlicher Feststellung betrug die wöchentliche Arbeitszeit der am 15. Januar 2011 verlustig gegangenen Arbeitsstelle in der ersten Anstellungsperiode 33,6 und in der zweiten 21 Stunden bei einer betriebsüblichen Normalarbeitszeit von 42 Wochenstunden. Parallel dazu baute der Beschwerdeführer sich eine Lehrtätigkeit auf, die zusammen mit jener beim Verein B._ kaum jemals den Umfang einer Vollzeitstelle überschritt, ihm aber zugleich einen Zusatzverdienst ermöglichte, der nahe jenem des Vereins B._ lag. Diese zweite Tätigkeit führte der Beschwerdeführer nach Eintritt der Arbeitslosigkeit in weitgehend unverändertem Umfang weiter aus.
5.1. Wenn die Vorinstanz angesichts dieser unwidersprochen gebliebenen Feststellungen das bei dieser Lehrtätigkeit erwirtschaftete Entgelt bei der Taggeldberechnung als Zwischenverdienst im Sinne von <ref-law> berücksichtigt hat, lässt sich dies nicht beanstanden. Von Nebeneinkünften im Sinne von <ref-law> kann nicht die Rede sein. Vielmehr ist von einer zweiten Erwerbsquelle im Sinne von <ref-law> auszugehen.
5.2. Der Beschwerdeführer scheint bei seinen Vorbringen insbesondere den Zweck von <ref-law> zu verkennen, wenn er unter dem dort verwendeten Begriff der "normalen Arbeitszeit" in erster Linie die Tageszeiten verstanden haben will, an denen die Haupttätigkeit, sprich vorliegend die Arbeiten beim Verein B._, ordentlicherweise auszuführen sind. Hinter dieser Regelung steht, wie auch dem in <ref-law> verwendeten Rechtsbegriff "normalerweise", der Grundgedanke der Arbeitslosenversicherung, den Versicherungsschutz auf die im üblichen Rahmen ausgeübte Arbeitnehmertätigkeit zu beschränken (<ref-ruling> E. 1 S. 209 sowie <ref-ruling> E. 5a S. 478; je mit Verweis auf <ref-ruling> E. 2d S. 283). Verdienste, die mit über ein normales Arbeitnehmerpensum hinausgehenden Tätigkeiten erzielt werden, sollen für den versicherten Verdienst unbeachtlich bleiben (<ref-ruling> E. 2 und 3.2 S. 107; <ref-ruling> E. 5a S. 478). Folgerichtig ist darunter, wie auch beim in <ref-law> verwendeten Rechtsbegriff "normalerweise", das Total der zu leistenden Wochenarbeitsstunden in der Haupttätigkeit - in casu 42 - und nicht der genaue Zeitpunkt, wann die Arbeitsstunden zu absolvieren sind, zu verstehen (dazu siehe <ref-ruling> E. 3a S. 209 und <ref-ruling> E. 5b S. 479). Unter Nebenverdienst im Sinne von <ref-law> ist mit anderen Worten in erster Linie jene Tätigkeit zu verstehen, die eine Person über eine Vollzeitstelle hinausgehend (zusätzlich) ausübt. Verrichtet jemand neben einer Vollzeitbeschäftigung eine weitere Tätigkeit, gilt diese zweite als Nebenerwerb (BGE <ref-ruling> E. 5a+b S. 478 f.). Wenn neben einer teilzeitig ausgeübten, inzwischen verlorenen Hauptbeschäftigung eine zweite Tätigkeit ausgeübt wird, ist diese in dem Umfang anzurechnen, als deren Pensum dasjenige der bisherigen Hauptbeschäftigung auf eine Vollzeitstelle ergänzt; ein illustratives Beispiel dazu findet sich in der vom Beschwerdeführer selbst angerufenen AVIG-Praxis ALE/C9, ebenso <ref-ruling>. Eine andere Frage ist, ob und inwieweit eine von einer versicherten Person in Ausübung der Schadenminderungspflicht vorgenommene Ausweitung einer bisher als Nebenverdienst im Sinne von <ref-law> ausgeübten Tätigkeit als Zwischenverdienst anzurechnen ist. Dies ist indessen vorliegend nicht Streitthema (dazu siehe etwa <ref-ruling> oder die vom Beschwerdeführer angerufenen Urteile C 149/02 vom 27. Januar 2003 und C 186/00 vom 28. Februar 2001). Schliesslich ist der von der Vorinstanz in Anlehnung an <ref-ruling> E. 3c S. 233 vertretene Ansatz, wonach der massliche Umfang der Einkünfte neben der Frage des Gesamtpensums ein weiteres Abgrenzungskriterium zwischen Zweit-Tätigkeit und Nebenverdienst sein kann, zutreffend, denn es soll ja nicht jeglicher "Kleinstverdienst" eines Teilzeiters mit berücksichtigt werden. Insgesamt überzeugt der vorinstanzliche Entscheid auf der ganzen Linie.
5.3. Selbst wenn die vom Beschwerdeführer angerufene betriebliche Normalarbeitszeit der Haupttätigkeit in seinem Sinne ausgelegt würde (d.h. zu welchen Tageszeiten diese Arbeiten ordentlicherweise auszuführen sind) und dies als alleiniges Abgrenzungsmerkmal herangezogen würde, bliebe es beim vorinstanzlichen Entscheid. Denn das kantonale Gericht ging in tatsächlicher Hinsicht davon aus, dass die Behauptung, das Einkommen aus der Lehrtätigkeit sei vorwiegend abends und an Samstagen erwirtschaftet worden, mithin ausserhalb der ordentlichen Arbeitszeiten der Haupttätigkeit, in den bei ihm eingereichten Akten keine Stütze finde. Diese Feststellung bindet das Bundesgericht (E. 2.2 hievor). Soweit der Beschwerdeführer diesen Nachweis durch erstmals vor Bundesgericht eingereichte Beweismittel erbringen will, legt er weder dar noch ist einsichtig, weshalb er diese nicht bereits im vorinstanzlichen Verfahren hätte beibringen können, obwohl er auf Grund seiner Mitwirkungspflichten dazu verpflichtet gewesen wäre; erstmals vor Bundesgericht eingereicht, können sie daher keine Wirkung entfalten (E. 2.3 hievor).
6.
Die Gerichtskosten sind ausgangsgemäss dem Beschwerdeführer zu überbinden (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Staatssekretariat für Wirtschaft (SECO) schriftlich mitgeteilt.
Luzern, 14. Dezember 2015
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Der Gerichtsschreiber: Grünvogel