Sachverhalt:
A.
Der 1954 geborene A._ arbeitete vom 1. Juli 2012 bis 30. Juni 2013 bei der B._ GmbH. Am 3. Juni 2013 stellte er Antrag auf Arbeitslosenentschädigung und bezog ab 1. Juli 2013 entsprechende Leistungen, bis er am 11. August 2014 bei der C._ AG eine neue Stelle antrat. Am 19. Januar 2015 meldete das Staatssekretariat für Wirtschaft (SECO) dem Amt für Arbeit des Kantons Schwyz, Arbeitslosenkasse (im Folgenden: AFA), dass A._ während des Bezugs von Arbeitslosenentschädigung Einkommen aus einer Erwerbstätigkeit erzielt habe. Die Abklärungen der Verwaltung ergaben, dass A._ von Juli 2013 bis Januar 2014 bei der D._ GmbH gearbeitet und dabei ein Einkommen von insgesamt Fr. 25'608.05 erzielt, dieses gegenüber dem AFA jedoch nicht deklariert hatte. Mit Verfügung vom 9. November 2015 forderte das AFA von A._ zu Unrecht ausbezahlte Leistungen für Arbeitslosenentschädigung in der Höhe von Fr. 17'118.70 zurück. Ausserdem erstattete es Strafanzeige wegen unrechtmässigen Erwirkens von Leistungen der Arbeitslosenversicherung. Die gegen die Rückforderungsverfügung gerichtete Einsprache wies das AFA am 21. Juni 2016 ab.
B.
Mit Entscheid vom 19. Oktober 2016 wies das Verwaltungsgericht des Kantons Schwyz die gegen diesen Entscheid gerichtete Beschwerde ab.
C.
Dagegen lässt A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, in Aufhebung des vorinstanzlichen Entscheids sei die Sache zur erneuten Beurteilung an das Verwaltungsgericht zurückzuweisen.
Das AFA schliesst auf Beschwerdeabweisung. Das SECO und das Verwaltungsgericht verzichten auf eine Vernehmlassung.
Am 12. Januar 2017 reicht A._ die Verfügung der Staatsanwaltschaft U._ vom 20. Dezember 2016 sowie das Protokoll der polizeilichen Einvernahme von E._, Gesellschafter und Vorsitzender der Geschäftsführung der D._ GmbH, vom 11. Januar 2015 zu den Akten.
Mit Eingabe vom 25. Januar 2017 weist A._ darauf hin, dass er gegen den inzwischen ergangenen Strafbefehl vom 13. Dezember 2016, den das AFA der Beschwerdeantwort beigelegt hatte, Einsprache erhoben hat.

Erwägungen:
1.
Da die Beschwerde an das Bundesgericht grundsätzlich ein reformatorisches Rechtsmittel ist (Art. 107 Abs. 2 BGG), muss sie einen Antrag in der Sache (vgl. Art. 42 Abs. 1 BGG) enthalten; ein blosser Antrag auf Rückweisung genügt nicht, ausser wenn das Bundesgericht ohnehin nicht reformatorisch entscheiden könnte (<ref-ruling> E. 1.2 S. 135 f. mit Hinweis; Urteile 8C_673/2016 vom 10. Januar 2017 und 8C_81/2017 vom 2. März 2017, je E. 1). Aus ihrer Begründung, die in diesem Zusammenhang zur Interpretation beigezogen werden kann, ergibt sich, dass die Beschwerde auf eine Reduktion der Rückforderung abzielt. Daher und weil hier das Bundesgericht aufgrund des geltend gemachten Bedarfs an weiteren Abklärungen im Gutheissungsfall nicht reformatorisch entscheiden könnte, ist darauf einzutreten.
2.
2.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Vorbringen, sofern allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236; <ref-ruling> E. 1.6 S. 280).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG; vgl. auch Art. 97 Abs. 1 BGG). Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend, mithin willkürlich ist (vgl. Urteil 2C_101/2017 vom 1. März 2017 E. 3, zur Publikation vorgesehen; <ref-ruling> E. 4.1.2 S. 62, 132 I 42 E. 3.1 S. 44). Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erschiene (vgl. <ref-ruling> E. 2.1 S. 9; Urteil 8C_760/2015 vom 18. März 2016 mit Hinweisen). Diese Grundsätze gelten auch mit Bezug auf die konkrete Beweiswürdigung (Urteil 9C_424/2016 vom 26. Januar 2017 E. 1 mit Hinweis). Unter diesem Blickwinkel hält ein Verzicht der Vorinstanz auf weitere Beweisvorkehren auf Grund antizipierter Beweiswürdigung etwa dann nicht stand, wenn die Sachverhaltsfeststellung unauflösbare Widersprüche enthält (Urteil 8C_119/2008 vom 22. September 2008 E. 6.3; vgl. <ref-ruling> E. 1a S. 105; Urteil 5P.119/2000 vom 24. Juli 2000 E. 4c/bb nicht publ. in: <ref-ruling>).
Obwohl nicht ausdrücklich im Gesetz erwähnt, beruht auch eine unvollständige Sachverhaltsfeststellung auf einer Rechtsverletzung. Was rechtserheblich ist, bestimmt das materielle Recht; die unvollständige Erstellung der für die rechtliche Beurteilung massgeblichen Tatsachen stellt demzufolge eine Verletzung materiellen Rechts dar (Urteil 2C_101/2017 vom 1. März 2017 E. 3, zur Publikation vorgesehen; <ref-ruling> E. 1.4 S. 68; <ref-ruling> E. 4.3 S. 62; LORENZ MEYER, Wege zum Bundesgericht - Übersicht und Stolpersteine, ZBJV 146/2010 S. 857). Unvollständigkeit liegt beispielsweise vor, wenn ohne Beizug des notwendigen Fachwissens unabhängiger Experten, obwohl im Einzelfall unabdingbar, entschieden wird (vgl. etwa <ref-ruling> E. 3.3.2 S. 331; <ref-ruling> E. 3.5 S. 88; Urteil 8C_119/2008 vom 22. September 2008 E.6.3). Ebenso unvollständig und damit rechtsfehlerhaft ist die vorinstanzliche Sachverhaltsfeststellung, die trotz vorhandener erheblicher Zweifel an deren Vollständigkeit oder Richtigkeit ohne zusätzliche weitere Abklärungen zustande gekommen ist, obwohl hiervon noch neue wesentliche Erkenntnisse erwartet werden durften (Urteile 9C_441/2016 vom 16. Dezember 2016 E. 2; 8C_119/2008 vom 22. September 2008 E. 6.3 mit Hinweisen).
2.3.
2.3.1. Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (unechte Noven; Art. 99 Abs. 1 BGG), was in der Beschwerde näher darzulegen ist (Urteil 9C_748/2014 vom 14. April 2015 E. 2.1 mit Hinweis). Tatsachen oder Beweismittel, die erst nach dem angefochtenen Entscheid sich ereignet haben oder entstanden sind (echte Noven), können nicht durch dieses Erkenntnis veranlasst worden sein und sind deshalb von vornherein unzulässig (<ref-ruling> E. 3.2.2.2 S. 548).
2.3.2. Der Beschwerdeführer legte mit Eingabe vom 12. Januar 2017 das Protokoll der polizeilichen Einvernahme von E._ als Auskunftsperson in der Strafuntersuchung betreffend den unrechtmässigen Bezug von Versicherungsleistungen auf. Die Einvernahme hatte bereits am 11. Januar 2015 stattgefunden, und der Beschwerdeführer hält dazu fest, ihm seien die Akten dieses Strafverfahrens erstmals mit Verfügung vom 20. Dezember 2016 zugestellt worden. Ob damit hinreichend dargetan ist, dass erst der angefochtene Entscheid den Anlass gab, das Einvernahmeprotokoll vorzulegen und ob es zu berücksichtigen ist, kann mit Blick auf das Folgende offen gelassen werden.
2.3.3. Der Beschwerdegegner reichte am 19. Januar 2017 den gegen den Beschwerdeführer erlassenen Strafbefehl der Staatsanwaltschaft U._ vom 13. Dezember 2016 zu den Akten, den der Beschwerdeführer umgehend mit Einsprache (vom 19. Dezember 2016) angefochten hat. Beide Vorgänge ereigneten sich nach dem hier angefochtenen Entscheid, so dass sie im vorliegenden Beschwerdeverfahren unbeachtlich sind.
3.
3.1. Die Vorinstanz hat die Voraussetzungen der Rückerstattung von unrechtmässig bezogenen Arbeitslosenentschädigungen gemäss Art. 95 Abs. 1 AVIG in Verbindung mit Art. 25 Abs. 1 ATSG sowie der Einhaltung der Verwirkungsfrist (Art. 25 Abs. 2 ATSG) zutreffend dargetan und bejaht. Darauf ist nicht weiter einzugehen. Denn der Beschwerdeführer bestreitet nicht, während der Zeit des Bezugs von Arbeitslosenentschädigungen für die D._ GmbH tätig gewesen zu sein und einen Zwischenverdienst erzielt zu haben, den er gegenüber dem Beschwerdegegner nicht deklarierte. Auch steht fest, dass der Beschwerdegegner die Rückerstattungsforderung mit Verfügung vom 9. November 2015 rechtzeitig geltend machte. Streitig und zu prüfen bleibt, ob die Vorinstanz Bundesrecht verletzt hat, indem sie die Höhe des Rückerstattungsbetrags in Bestätigung des Einspracheentscheids auf Fr. 17'118.70 festgelegt hat.
3.2. Der Beschwerdeführer erachtet die Lohnsumme als zu hoch, allerdings ohne einen genauen tieferen Betrag beziffern zu können; er geht von einer Lohnsumme von Fr. 4'000.- bis Fr. 7'000.- aus. Er wirft der Vorinstanz vor, den Sachverhalt offensichtlich unrichtig bzw. willkürlich festgestellt zu haben, indem sie die Beweise einseitig zugunsten des Beschwerdegegners gewürdigt und auf die widersprüchlichen und unstimmigen Auskünfte und Bescheinigungen seiner ehemaligen Arbeitgeberin D._ GmbH abgestellt habe. Die Vorinstanz habe sich nicht mit diesen Ungereimtheiten auseinandergesetzt, sondern lediglich festgehalten, dass seine Vorbringen die Lohnzahlungen nicht zu widerlegen vermöchten. Auch habe sie ihre Untersuchungspflicht gemäss Art. 43 ATSG verletzt, weil sie die Echtheit seiner Unterschriften auf den von der D._ GmbH vorgelegten Quittungen nicht geprüft habe.
4.
4.1. Sowohl das sozialversicherungsrechtliche Administrativverfahren wie auch der kantonale Sozialversicherungsprozess sind vom Untersuchungsgrundsatz beherrscht (Art. 43 Abs. 1, Art. 61 lit. c ATSG). Danach haben Sozialversicherungsträger und Sozialversicherungsgericht den rechtserheblichen Sachverhalt von Amtes wegen festzustellen. Diese Untersuchungspflicht dauert so lange, bis über die für die Beurteilung des streitigen Anspruchs erforderlichen Tatsachen hinreichende Klarheit besteht (Urteil 9C_662/2016 vom 15. März 2017 E. 2.2). Die Verwaltung als verfügende Instanz und - im Beschwerdefall - das Gericht dürfen eine Tatsache nur dann als bewiesen annehmen, wenn sie von ihrem Bestehen überzeugt sind. Im Sozialversicherungsrecht hat das Gericht seinen Entscheid, sofern das Gesetz nicht etwas Abweichendes vorsieht, nach dem Beweisgrad der überwiegenden Wahrscheinlichkeit zu fällen. Die blosse Möglichkeit eines bestimmten Sachverhalts genügt den Beweisanforderungen nicht. Das Gericht hat vielmehr jener Sachverhaltsdarstellung zu folgen, die es von allen möglichen Geschehensabläufen als die wahrscheinlichste würdigt (<ref-ruling> E. 6 S. 221 f. mit Hinweisen; Urteil 8C_307/2016 vom 17. August 2016 E. 5.3).
4.2. Führen die im Rahmen des Untersuchungsgrundsatzes von Amtes wegen vorzunehmenden Abklärungen den Versicherungsträger oder das Gericht bei umfassender, sorgfältiger, objektiver und inhaltsbezogener Beweiswürdigung (<ref-ruling> E. 4.1 S. 399 f.; Urteil 9C_662/2016 vom 15. März 2017 E. 2.2) zur Überzeugung, ein bestimmter Sachverhalt sei als überwiegend wahrscheinlich zu betrachten und es könnten weitere Beweismassnahmen an diesem feststehenden Ergebnis nichts mehr ändern, so liegt im Verzicht auf die Abnahme weiterer Beweise keine Verletzung des Anspruchs auf rechtliches Gehör (antizipierte Beweiswürdigung; <ref-ruling> E. 5.3 S. 236 f. mit Hinweisen). Bleiben jedoch erhebliche Zweifel an der Vollständigkeit oder Richtigkeit der bisher getroffenen Tatsachenfeststellung bestehen, ist weiter zu ermitteln, soweit von zusätzlichen Abklärungsmassnahmen noch neue wesentliche Erkenntnisse zu erwarten sind (Urteil 9C_662/2016 vom 15. März 2017 E. 2.2 mit Hinweis).
4.3.
4.3.1. Der Untersuchungsgrundsatz schliesst die Beweislast im Sinne der Beweisführungslast begriffsnotwendig aus, da es Sache des Sozialversicherungsgerichts (Art. 61 lit. c ATSG) oder der verfügenden Verwaltungsstelle (Art. 43 Abs. 1 ATSG) ist, für die Zusammentragung des Beweismaterials besorgt zu sein. Im Sozialversicherungsprozess tragen mithin die Parteien in der Regel eine Beweislast nur insofern, als im Fall der Beweislosigkeit der Entscheid zu Ungunsten jener Partei ausfällt, die aus dem unbewiesen gebliebenen Sachverhalt Rechte ableiten wollte. Dieser in Art. 8 ZGB enthaltene Grundsatz gilt auch im öffentlichen Recht (vgl. <ref-ruling> E. 6.8.2 S. 486; Urteil 9C_634/2014 vom 31. August 2015 E. 6.3.4). Demgemäss hat die Partei, die einen Anspruch geltend macht, die rechtsbegründenden Tatsachen zu beweisen, während die Beweislast für die rechtsaufhebenden bzw. rechtsvernichtenden oder rechtshindernden Tatsachen bei der Partei liegt, die den Untergang des Anspruchs behauptet oder dessen Entstehung oder Durchsetzbarkeit bestreitet (<ref-ruling> E. 3.1 S. 323). Diese Beweisregel greift allerdings erst Platz, wenn es sich als unmöglich erweist, im Rahmen des Untersuchungsgrundsatzes aufgrund einer Beweiswürdigung einen Sachverhalt zu ermitteln, der zumindest die Wahrscheinlichkeit für sich hat, der Wirklichkeit zu entsprechen (<ref-ruling> E. 6 S. 222 mit Hinweisen; Urteil 8C_307/2016 vom 17. August 2016 E. 5.3).
4.3.2. Da der Beschwerdegegner vorliegend eine Rückerstattungsforderung von Fr. 17'118.70 geltend macht, trägt er sowohl für die Voraussetzungen als auch für die Höhe dieses Anspruchs die Beweislast (im eben umschriebenen Sinn). Auf der anderen Seite hat der Beschwerdeführer, der Lohnzahlungen von höchstens Fr. 7'000.- geltend macht, zwar die Folgen der Beweislosigkeit für diese Behauptung zu tragen, allerdings kann nach dem Grundsatz "negativa non sunt probanda" (fehlende Umstände sind nicht zu beweisen) nicht von ihm erwartet werden, dass er Beweise dafür vorlegt, keine höheren Zahlungen erhalten zu haben (vgl. Urteil 8C_968/2009 vom 26. März 2010 E. 3).
5.
5.1. Nach Eingang der Meldung des SECO holte der Beschwerdegegner zunächst den Auszug aus dem individuellen Konto der Ausgleichskasse der SVA Zürich (IK-Auszug) ein. Diesem zufolge hatte der Beschwerdeführer bei der D._ GmbH von Juli bis Dezember 2013 ein Einkommen von insgesamt Fr. 24'114.- erzielt. Ausserdem forderte der Beschwerdegegner die Arbeitgeberin unter Strafandrohung (Art. 106 AVIG) am 2. März 2015 schriftlich auf, die Arbeitgeberbescheinigungen für das Jahr 2013, Kopien von Arbeitsvertrag und Kündigungsschreiben sowie Kopien der monatlichen Lohnabrechnungen vorzulegen. Die D._ GmbH kam dieser Aufforderung mit Schreiben vom 10. April 2015 nach und reichte Bescheinigungen über Zwischenverdienste sowie Lohnabrechnungen für Hilfsarbeiten betreffend die Monate Juli 2013 bis Januar 2014 ein. Zudem wies sie darauf hin, dass der Beschwerdeführer auf Abruf bei ihr gearbeitet habe; einen schriftlichen Vertrag habe es nicht gegeben. Nach Gewährung des rechtlichen Gehörs erliess der Beschwerdegegner die Rückerstattungsverfügung vom 9. November 2015 und erstattete Strafanzeige.
Weil der Beschwerdeführer in der Einsprache auf verschiedene Ungereimtheiten in den Belegen der Arbeitgeberin hingewiesen hatte, verlangte der Beschwerdegegner bei der D._ GmbH (wiederum schriftlich und unter Strafandrohung) weitere Auskünfte und Unterlagen ein. Diese legte daraufhin Kopien handschriftlicher Quittungen sowie Bankbelege über Barbezüge von ihrem Firmenkonto auf, die die dem Beschwerdeführer geleisteten Zahlungen belegen sollten. Die Arbeitgeberin erklärte sodann telefonisch und schriftlich, dass die in den Bescheinigungen über Zwischenverdienst angegebenen Stunden und Arbeitstage nicht zwingend den effektiven Arbeitstagen entsprächen. Es sei für sie nicht mehr nachvollziehbar, an welchen Tagen der Beschwerdeführer für sie gearbeitet habe. Sie habe daher den ausbezahlten Betrag durch den Stundenlohn geteilt und dann möglichst wahrheitsgetreu die Stunden eingetragen. Dies sei nicht aus mutwilliger Absicht geschehen, sondern sie sei sich der Tragweite dieser Angelegenheit nicht bewusst gewesen. Sie sei davon ausgegangen, dass nur der ausbezahlte Lohn relevant sei. Die Beträge würden aber mit den ausbezahlten Monatslöhnen übereinstimmen. Weiter führte die D._ GmbH im Schreiben vom 18. Februar 2016 aus, dass es keinen Bruttolohn gegeben habe. Vielmehr hätten E._ und der Beschwerdeführer vor jedem Einsatz einen Betrag vereinbart, der für die Art und Länge des Einsatzes angemessen geschienen habe. Dieser sei auf Wunsch bar und gegen Quittung ausbezahlt worden. Auch habe sie den Beschwerdeführer nicht "schwarz" anstellen können, weil sie die Belege jedes Quartal als "Spesen" zur Verbuchung an ihre Treuhänderin geschickt habe und diese in der Folge ordentlich abgerechnet worden seien. Arbeitszeitrapporte gebe es bei ihr nicht, sondern der Beschwerdeführer habe, wie alle Mitarbeiter auf Vertrauensbasis gearbeitet, d.h. er sei zur Arbeit gekommen und dann so lange wie nötig geblieben.
5.2.
5.2.1. Bei den Kopien der handschriftlichen Quittungen fällt zunächst auf, dass einige dieser Dokumente eindeutig nicht vom Beschwerdeführer unterzeichnet wurden, und dass für Zahlungen im Dezember 2013 keine Quittungen vorhanden sind, was auch die Vorinstanz anerkennt. Die Arbeitgeberin hielt gegenüber dem Beschwerdegegner fest, dass sie nicht mehr sagen könne, wer die Quittung vom 19. Juli 2013 unterzeichnet habe, der darin angegebene Betrag von Fr. 500.- sei aber als Einkommen des Beschwerdeführers verbucht worden. Die Belege vom 2. und 20. August 2013 (über Fr. 500.- und Fr. 1'500.-) seien (wohl irrtümlich) von Frau F._, Gesellschafterin und Geschäftsführerin der D._ GmbH, unterzeichnet worden, um dem Beschwerdeführer die Auszahlung zu bestätigen. Sein Name sei aber klar erkennbar. Als Beleg für den Lohn für Dezember 2013 von Fr. 2'389.75 brutto (gemäss Bescheinigung für Zwischenverdienst) legt die Arbeitgeberin einen Auszug aus ihrem Firmenkonto vor, der zwei Barbezüge von je Fr. 1'200.- (am 23. und 31. Dezember 2013) ausweist. Die Quittung habe nicht gefunden werden können, doch seien diese Bezüge als Einkommen des Beschwerdeführers verbucht worden.
Zu beachten ist sodann, dass die Quittung für den Januarlohn 2014 auf den 23. April 2014 datiert ist, während die entsprechende Lohnabrechnung das Datum des 31. Januar 2014 ausweist und der angeblich mit dieser Lohnzahlung zusammenhängende Bargeldbezug gemäss dem Bankkontoauszug erst am 24. April 2014 getätigt wurde.
5.2.2. Trotz dieser fehlenden oder fragwürdigen Belege erachtete es die Vorinstanz als mit überwiegender Wahrscheinlichkeit erstellt, dass die Zahlungen von Juli, August und Dezember 2013 sowie von Januar 2014 dem Beschwerdeführer als Lohnzahlungen ausgerichtet worden seien, weil im Übrigen von ihm unterschriebene Quittungen im Betrag von insgesamt Fr. 17'500.- (netto) existierten. Zudem sei laut IK-Auszug ein entsprechender Bruttolohn abgerechnet worden und habe die ehemalige Arbeitgeberin diesen Lohn gegenüber dem Beschwerdegegner explizit bestätigt. Auch habe der Beschwerdeführer keine Schritte unternommen, diesen IK-Auszug zu berichtigen. Folglich seien von weiteren Untersuchungen keine neuen Erkenntnisse zu erwarten gewesen, die die überwiegende Wahrscheinlichkeit der Lohnzahlung gemäss IK-Auszug widerlegen würden.
5.2.3. Die Begründung der Vorinstanz zeigt, dass sie ihre Beweiswürdigung ausschliesslich auf die Vorbringen und Unterlagen der ehemaligen Arbeitgeberin abstellte, obwohl diese selbst eingestanden hatte, dass sie die Lohnzahlungen an den Beschwerdeführer zunächst als "Spesen" habe verbuchen wollen. Auch hatte die Arbeitgeberin zugegeben, dass sie einen Teil dieser Belege erst im Nachhinein erstellt und dabei die Beträge, Arbeitszeiten und Stundensätze so eingesetzt hatte, dass sie den monatlichen Zahlungen und insgesamt dem im IK-Auszug angegebenen Bruttolohn entsprachen. Bezeichnend sind in diesem Zusammenhang zudem die handschriftlichen Quittungen vom 15. und 19. Juli 2013: Diese halten - anders als die Belege der anderen Monate - sowohl die im Monat Juli geleistete Anzahl Stunden (40 bzw. 20 Stunden) als auch den Stundenansatz (Fr. 25.-) für den Einsatz als Hilfsarbeiter bzw. Hilfsmonteur ausdrücklich fest. Wenngleich insbesondere die zweite Quittung, wie gezeigt, Fragen aufwirft, ist bemerkenswert, dass sich die Arbeitgeberin sogar über diese ihr bekannten, klaren Angaben hinwegsetzte, als sie in der Bescheinigung über den Zwischenverdienst für Juli 2013 (die erst am 8. April 2015 erstellt wurde) 24 Arbeitsstunden zu einem Stundenansatz von Fr. 67.89 auswies. Der Beschwerdeführer weist ausserdem zutreffend darauf hin, dass die D._ GmbH in den Arbeitgeberbescheinigungen entgegen ihren telefonischen Erläuterungen den jeweiligen Monatslohn nicht durch einen Stundenansatz dividiert hatte, sondern offenbar durch eine bestimmte Anzahl Stunden (obwohl sie angeblich keine Arbeitszeitrapporte führte), woraus unterschiedliche Stundenansätze (von Fr. 66.38 [Dezember 2013] bis Fr. 175.- [Januar 2014]) resultierten. Insgesamt enthalten die Ausführungen der Arbeitgeberin zahlreiche Widersprüche, so dass darauf nur bedingt Verlass war. Dennoch schenkte die Vorinstanz deren schriftlicher Beteuerung Glauben, dass die Lohnzahlungen wie angegeben erfolgt seien.
5.3. Auffällig ist sodann, dass der Beschwerdeführer im November 2013 das höchste Monatseinkommen von Fr. 7'200.- netto (bzw. Fr. 7'821.- brutto) erzielt haben soll. Gemäss der Bescheinigung über den Zwischenverdienst für November 2013 würde dies einer Arbeitsleistung von 116 Stunden bzw. 14,5 Tagen zum Stundensatz von Fr. 67.42 entsprechen, wobei diese Werte, wie eben dargelegt, wohl nicht exakt zutreffen. Zwar trägt die Quittung vom 29. November 2013 die Unterschrift des Beschwerdeführers (oder zumindest eine ähnliche Unterschrift; darauf ist zurückzukommen). Doch ist aktenkundig, dass er in der Zeit vom 21. Oktober bis 27. November 2013 einen Kurs in V._ besucht hatte, zu dem er vom Regionalen Arbeitsvermittlungszentrum (RAV) W._ angemeldet worden war. Dieser Kurs dauerte insgesamt 18 Tage, und davon entfielen 12 Tage auf den November. Der Beschwerdeführer weist zu Recht darauf hin, dass ihm dadurch im November 2013 nur noch 9 Arbeitstage verblieben wären, an denen er eine so grosse Arbeitsleistung hätte erbringen und - mit Hilfsarbeiten - ein derart hohes Einkommen hätte erzielen sollen. Obwohl der Beschwerdeführer stets auf diese Diskrepanz hingewiesen hatte, sah sich weder der Beschwerdegegner noch die Vorinstanz veranlasst, vertiefte Abklärungen zu treffen und beispielsweise den Geschäftsführer der D._ GmbH, der den Beschwerdeführer jeweils beschäftigt hatte, damit zu konfrontieren. Vielmehr beliess es der Beschwerdegegner bei der Mutmassung, dass der Beschwerdeführer die Arbeitsleistung abends nach den Kursbesuchen zu Hause hätte erbringen können, während die Vorinstanz nur noch festhielt, dass die Belege betreffend Kursbesuche seine Arbeitsleistung bzw. die Lohnzahlung nicht zu entkräften vermöchten.
5.4. Des Weiteren weisen verschiedene der handschriftlichen Quittungen zwar eine Unterschrift auf, die derjenigen des Beschwerdeführers zumindest ähnlich sieht, und erwecken damit den Anschein, dass sie von ihm unterzeichnet wurden. Der Beschwerdeführer zweifelt die Echtheit dieser Unterschriften allerdings an. Dies lässt sich anhand der von der Arbeitgeberin vorgelegten Fotokopien der Quittungen und ohne besondere Fachkenntnisse nicht beurteilen. Zur Klärung dieser Frage wäre vielmehr ein Schriftgutachten erforderlich, und dieses könnte nur anhand der Originalbelege erstellt werden. Denn es ist allgemein anerkannt, dass nur die am Original erhobenen Befunde eine positive Urheberschaftsaussage begründen können und der Nachweis der Echtheit bei einer Fotokopie nicht möglich ist (Urteil 9C_634/2014 vom 31. August 2015 E. 6.1.2 mit Hinweisen, publ. in SVR 2016 BVG Nr. 6 S. 21). Obwohl die Unterlagen der Arbeitgeberin, wie gezeigt, zahlreiche Widersprüche aufweisen, die auch Zweifel am Inhalt der angeblich vom Beschwerdeführer unterzeichneten Quittungen wecken, traf die Vorinstanz hierzu keine weiteren Abklärungen.
5.5. Zusammenfassend hat sich die Vorinstanz einseitig zugunsten des Beschwerdegegners auf die Unterlagen und Auskünfte der Arbeitgeberin abgestützt, ohne sich mit den darin enthaltenen Widersprüchen und Ungereimtheiten auseinander zu setzen, geschweige denn, diese aufzulösen. Insbesondere durfte sie unter den gegebenen Umständen nicht einfach in antizipierter Beweiswürdigung auf weitere eigene Abklärungen verzichten. Insofern hätte es beispielsweise nahe gelegen, den Ausgang des Strafverfahrens abzuwarten oder die betreffenden Akten beizuziehen. Denn obwohl das Sozialversicherungsgericht nicht an die strafrichterlichen Feststellungen und Würdigungen gebunden ist (vgl. <ref-ruling> E. 6a S. 242 und 9C_785/2010 vom 10. Juni 2011 E. 7.2.1), hätten sich daraus weiterführende Anhaltspunkte und Hinweise ergeben können. Der Sachverhalt ist somit offensichtlich unrichtig und unvollständig festgestellt und bedarf der Ergänzung. Der angefochtene Gerichtsentscheid ist daher aufzuheben und die Sache zur weiteren Sachverhaltsabklärung und zu neuer Entscheidung an die Vorinstanz zurückzuweisen.
6.
Die Rückweisung der Sache an das kantonale Gericht zu erneuter Abklärung gilt als vollständiges Obsiegen. Entsprechend dem Ausgang des Verfahrens ist der Beschwerdegegner kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 86 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutheissen. Der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 19. Oktober 2016 wird aufgehoben und die Sache zur neuen Entscheidung an die Vorinstanz zurückgewiesen.
2.
Die Gerichtskosten von Fr. 500.- werden dem Beschwerdegegner auferlegt.
3.
Der Beschwerdegegner hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Staatssekretariat für Wirtschaft (SECO) schriftlich mitgeteilt.
Luzern, 28. April 2017
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Betschart