Sachverhalt:
A.
Der 1950 geborene Fotograf und Kaufmann A._ meldete sich am 30. Juni 2008 zum Leistungsbezug bei der Arbeitslosenversicherung an, nachdem das B._, das Arbeitsverhältnis auf den 31. Mai 2008 gekündigt hatte. Mit Verfügung vom 16. November 2012 forderte die Arbeitslosenkasse Ob- und Nidwalden zu viel bezogene Taggeldleistungen für die Monate Januar bis Juni 2010 in der Höhe von Fr. 6'784.65 zurück, da A._ in Verletzung seiner Auskunftspflicht bei der Stiftung C._, der Politischen Gemeinde D._, bei der Gemeinde E._ und der Gesellschaft F._ erzielte Zwischenverdienste nicht angegeben habe. Daran hielt die Arbeitslosenkasse auf Einsprache hin fest (Einspracheentscheid vom 14. Januar 2013).
B.
Die dagegen geführte Beschwerde wies das Verwaltungsgericht des Kantons Nidwalden mit Entscheid vom 13. Mai 2013 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheids sei ein Rückforderungsanspruch zu verneinen. Eventualiter sei dieser neu zu berechnen, indem lediglich die nach Eintritt der Arbeitslosigkeit neu aufgenommenen Tätigkeiten, sowie der allfällige Mehrverdienst der übrigen Tätigkeiten als Zwischenverdienst zu berücksichtigen seien. Subeventualiter sei die Sache zur Neufestsetzung des Rückforderungsanspruchs an die Vorinstanz, eventuell an die Verwaltung zurückzuweisen. Ferner wird um unentgeltliche Rechtspflege ersucht.
Während die Arbeitslosenkasse Abweisung der Beschwerde beantragt, hat das Staatssekretariat für Wirtschaft auf eine Vernehmlassung verzichtet.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
Nach <ref-law> in Verbindung mit <ref-law> sind unrechtmässig bezogene Leistungen zurückzuerstatten. Zu Unrecht bezogene Geldleistungen, die auf einer formell rechtskräftigen Verfügung beruhen, können, unabhängig davon, ob die zur Rückforderung Anlass gebenden Leistungen förmlich oder formlos verfügt worden sind, nur zurückgefordert werden, wenn entweder die für die Wiedererwägung (wegen zweifelloser Unrichtigkeit und erheblicher Bedeutung der Berichtigung) oder die für die prozessuale Revision (wegen vorbestandener neuer Tatsachen oder Beweismittel) bestehenden Voraussetzungen erfüllt sind (<ref-ruling> E. 5.2 in fine S. 320; <ref-ruling> E. 1.1).
Ein Nebenverdienst ist jeder Verdienst, den ein Versicherter ausserhalb seiner normalen Arbeitszeit als Arbeitnehmer oder ausserhalb des ordentlichen Rahmens seiner selbstständigen Erwerbstätigkeit erzielt (<ref-law>). Ein Nebenverdienst bleibt bei der Anrechnung eines Zwischenverdienstes grundsätzlich unberücksichtigt (<ref-law>). Eine Steigerung des Nebenverdienstes kann aber zur Annahme von Zwischenverdienst führen (<ref-ruling>; Urteil C 149/02 vom 27. Januar 2003; zum Verhältnis von Zwischen- und Nebenverdienst (<ref-ruling>, 123 V 230 E. 3c S. 233).
3.
Streitig und zu prüfen ist, ob und allenfalls in welchem Umfang der Versicherte für die in den Monaten Januar bis Juni 2010 bezogene Arbeitslosenentschädigung rückerstattungspflichtig ist. Dabei stellt sich insbesondere die Frage, ob die von ihm während der Arbeitslosigkeit erzielten Einkommen als Aufsichtsmitarbeiter in der Stiftung C._, Hauswart bei der Gemeinde D._, Mitarbeiter beim F._ sowie aus der Tätigkeit in der Jugendanimation bei der Gemeinde E._ als Zwischenverdienste bei der Arbeitslosentaggeldberechnung miteinzubeziehen oder als Nebenverdienste nicht zu berücksichtigen sind.
3.1. Die Vorinstanz gelangte zum Schluss, die vom Beschwerdeführer nicht deklarierten Einkünfte aus diesen Tätigkeiten habe die Arbeitslosenkasse zu Recht nachträglich als Zwischenverdienste angerechnet und die daher zu viel bezogene Arbeitslosenentschädigung in der Höhe von Fr. 6'784.65 zurückgefordert. Dass er die Tätigkeiten bereits vor der Arbeitslosigkeit ausgeübt habe, sei nicht massgeblich. Entscheidend sei einzig, ob er aus diesen Tätigkeiten während den Kontrollperioden einen Verdienst erzielt habe. Sein geltend gemachter guter Glaube bezüglich der Nichtdeklaration dieser Zwischenverdienste und die grosse Härte der Rückforderung seien erst im Rahmen eines allfälligen Erlassgesuchs zu hören.
3.2. Dementgegen stellt sich der Beschwerdeführer auf den Standpunkt, die Vorinstanz habe in Verletzung des Untersuchungsgrundsatzes sowie der Begründungspflicht der Frage, ob die Tätigkeiten bereits vor dem Bezug von Arbeitslosenentschädigung ausgeübt worden seien, keinerlei Beachtung geschenkt und den relevanten Sachverhalt in willkürlicher Weise nicht festgestellt. Sie habe keinerlei Ausscheidung getroffen, welche Tätigkeit als Haupttätigkeit zu bezeichnen gewesen sei und wie viel die diesbezügliche betriebliche Normalarbeitszeit betragen habe. Die Tätigkeit als selbstständiger Fotograf sei unbeachtet geblieben. Hätte sie sämtliche Beweise erhoben, wäre ersichtlich gewesen, dass die Tätigkeit beim B._ als Haupttätigkeit zu werten gewesen wäre; die aufgeführten anderen Tätigkeiten habe er ausserhalb dieser Normalarbeitszeit und ausserhalb seiner Tätigkeit als selbstständiger Fotograf ausgeübt, weshalb diese als Nebenverdienste und nicht als Zwischenverdienste anzusehen seien und kein Rückforderungsanspruch bestehe. Überdies sei der versicherte Verdienst nie auf der Basis eines Gesamteinkommens, sondern nur auf dem Einkommen, welches er beim B._ erzielte, berechnet worden. Er habe ferner auf die Auskunft seiner RAV-Personalberater, dass diese Nebeneinkünfte für die Berechnung der Arbeitslosenentschädigung nicht relevant seien, vertraut. Die Vorinstanz hätte sich zudem mit der Höhe der Rückforderungssumme und der dieser zu Grunde liegenden Berechnung des versicherten Verdienstes auseinandersetzen müssen.
3.3. Vorab ist zur im Raum stehenden Auskunfts- und Meldepflichtverletzung zu bemerken, dass der Zweck der Auskunfts- und Meldepflicht darin besteht, der Gefahr missbräuchlicher Inanspruchnahme von Arbeitslosenentschädigung vorzubeugen (Urteil C 50/91 vom 16. Dezember 1992 in: ARV 1993/1994 Nr. 3 S. 22 E. 3d). Die Arbeitslosenkasse muss beurteilen können, ob und gegebenenfalls in welchem Umfang einer versicherten Person Anspruch auf Leistungen zusteht. So ist auch ein allfälliger Nebenverdienst (<ref-law>), der nicht versichert ist und bei der Berechnung des Zwischenverdienstes unberücksichtigt bleibt (<ref-law>), zu melden, da die diesbezügliche rechtliche Qualifikation der Verwaltung obliegt (Urteil C 90/02 vom 14. April 2005 E. 3.3). Da jedoch unter anfechtungs- und streitgegenständlichen Gesichtspunkten nicht die Rechtmässigkeit einer entsprechenden Sanktion durch die Arbeitslosenversicherung zu beurteilen ist, können Weiterungen hierzu unterbleiben.
3.4. Dem Beschwerdeführer ist beizupflichten, dass es die Vorinstanz unterlassen hat, hinsichtlich der einzelnen Teilarbeitsverhältnisse entscheidrelevante Sachverhaltsfeststellungen (namentlich über deren Beginn, Ausmass und Dauer) zu treffen und die betreffenden Arbeitsverhältnisse einer rechtlichen Qualifikation als Neben- oder Zwischenverdienst zu unterziehen, indem sie einzig sämtliche während der Arbeitslosigkeit bestehenden Einkommen aus den genannten Arbeitsverhältnissen der Zwischenverdienstregelung unterstellen will. Bei der in E. 2 dargelegten Rechtslage ist diese Ausscheidung der erzielten Einkünfte jedoch massgebend für die Beurteilung der Rechtmässigkeit der verfügten Rückforderung zu viel ausbezahlter Arbeitslosenentschädigung. Das kantonale Gericht hat daher die Begründungspflicht verletzt, da es nicht in hinreichender Weise darlegte, weshalb die während der Arbeitslosigkeit ausgeübten Tätigkeiten des Versicherten als Zwischenverdienst und nicht als Nebenverdienst zu qualifizieren sind. Es hat in dieser Hinsicht auch den Sachverhalt unvollständig festgestellt und den Untersuchungsgrundsatz missachtet, was eine Rechtsverletzung darstellt (vgl. E. 1 hievor). Fehlt eine Sachverhaltsfeststellung der Vorinstanz hierzu, kann das Bundesgericht den Sachverhalt insoweit selber ergänzen, sofern die Akten liquid sind (<ref-ruling> E. 4.1 S. 366).
3.5. Der Versicherte gab im Antrag auf Arbeitslosenentschädigung vom 3. Juli 2008 an, aus seiner seit 1981 ausgeübten Tätigkeit als selbstständig Erwerbender ein Einkommen zu erzielen. Zusätzlich hatte er beim B._ eine Teilzeitstelle inne. Ein Arbeitsvertrag liegt nicht bei den Akten. Der Beschwerdeführer führte im vorinstanzlichen Verfahren in seiner Replik vom 20. März 2013 sowie in einem Schreiben an die Arbeitslosenkasse vom 9. Januar 2009 aus, in einem Pensum von rund 82 % angestellt gewesen zu sein und nicht im von der Arbeitslosenkasse angenommenen Pensum von 94 %. Die restliche Arbeitszeit eines ordentlichen Vollzeitpensums arbeite er als selbstständiger Fotograf in seinem Atelier, wenngleich dieses im Januar 2009 noch defizitär gewesen sei. Bei der Anmeldung zur Arbeitsvermittlung hielt er am 30. Juni 2008 fest, eine Arbeitsstelle im Umfang von 50 % zu suchen, im Antrag auf Arbeitslosenentschädigung vom 3. Juli 2008 erhöhte er das gesuchte Pensum auf 80 %. Gemäss Auszug aus dem Individuellen Konto (IK) vom 6. November 2011 wurden die weiteren Beschäftigungen erst nach der Anmeldung zum Leistungsbezug bei der Arbeitslosenversicherung bei der Ausgleichskasse Nidwalden erfasst, wobei bei der Stiftung C._ seit Oktober 2008, bei der Gemeinde D._ seit Januar 2009, beim F._ seit Mai 2010 und bei der Gemeinde E._ seit Mai 2011 ein Lohnfluss belegt ist. Der Beschwerdeführer selbst gab im Schreiben vom 29. August 2012 zuhanden der Arbeitslosenkasse an, seit 2005 die Abwartsstelle bei der Gemeinde D._ auszuüben und seit 2006 bei der Stiftung C._ zu arbeiten. Am 7. Januar 2013 legte er im Rahmen seiner Einsprache gegen die Verfügung vom 16. November 2012 dar, seit 1. Februar 2006 die Abwartsstelle zu bekleiden und im C._ seit Frühling/Sommer 2008, während den Ausstellungszeiten November-Januar/Februar, tätig zu sein. Ob er damit bereits vor seiner Arbeitslosigkeit die Museumstätigkeit aufgenommen und auch ausserhalb der Öffnungszeiten arbeiten erledigt, ist nicht klar. Der beschwerdegegnerischen Vernehmlassung vom 28. Februar 2013 im kantonalen Beschwerdeverfahren ist weiter zu entnehmen, dass der Verwaltung der Arbeitsvertrag bezüglich der Tätigkeit bei der Stiftung C._ mit der Post zugestellt worden war (gemäss E-mail vom 26. November 2008) und im Anschluss daran das Einkommen aus dieser Tätigkeit in den Monaten Januar bis März 2009 als Zwischenverdienst erfasst und abgerechnet worden ist. Anschliessend unterliess der Versicherte die entsprechende Deklaration, weshalb die Beschwerdegegnerin keine weitere Zwischenverdienstanrechnung vornahm.
3.6. Beim B._ übte der Versicherte nahezu eine Vollzeitbeschäftigung aus, wobei die Verwaltung von einem Pensum von 94 % und der Beschwerdeführer von einem solchen von 82 % ausging. In Zusammenspiel mit seiner daneben ausgeübten selbstständigen Erwerbstätigkeit als Fotograf ist diese verlorene Tätigkeit beim B._ als Hauptbeschäftigung anzusehen, woraus sich auch der versicherte Verdienst ermittelt (<ref-law>). Diese beiden Einkommen hat die Arbeitslosenkasse gemäss ihrer Vernehmlassung vom 28. Februar 2013 im vorinstanzlichen Verfahren denn auch als Gesamteinkommen der Berechnung des versicherten Verdienstes zu Grunde gelegt. Als normale Arbeitszeit gilt die betriebliche Normalarbeitszeit des B._. Wie bereits dargelegt (E. 2) besitzen die Verdienste, die ausserhalb einer normalen üblichen Arbeitszeit erzielt werden, ausserordentlichen Charakter und sind daher bei der Zwischenverdienstregelung ausser Acht zu lassen (<ref-law>). Sofern die übrigen Tätigkeiten des Versicherten bereits vor Beginn der Arbeitslosigkeit aufgenommen worden sind und ausserhalb der normalen üblichen Arbeitszeit erzielt werden sowie nicht über einen blossen Nebenverdienst hinaus gehen (mithin kein erheblicher Mehrverdienst erzielt wird), sind die daraus erhaltenen Löhne grundsätzlich nicht als Zwischenverdienste abzurechnen. Die nicht in allen Punkten liquide Aktenlage lässt aber eine abschliessende Wertung hinsichtlich aller Teilzeittätigkeiten nicht zu: Die Tatsache, dass die Tätigkeit beim F._ erst nach Eintritt der Arbeitslosigkeit aufgenommen wurde, lässt auf einen Zwischenverdienst schliessen, auch wenn diese Tätigkeit nicht während den Normalarbeitszeiten ausgeführt würde, wie beschwerdeweise behauptet wird. Bei den übrigen Beschäftigungen ist aufgrund der vorliegenden Akten keine definitive Ausscheidung möglich, da namentlich über deren Aufnahme, die Arbeitszeiten und den zeitlichen Umfang - auch mit Blick auf eine allfällige relevante Ausweitung eines Nebenverdienstes - zuverlässige Angaben fehlen. Die Sache ist daher an die Verwaltung zur Abklärunghinsichtlich der vorzunehmenden Qualifikation der noch in Frage stehenden Teilzeittätigkeiten (Aufsichtsmitarbeiter in der Stiftung C._, Hauswart bei der Gemeinde D._, Jugendanimation bei der Gemeinde E._) als Neben- oder Zwischenverdienst und neuer Verfügung über den Rückforderungsanspruch zu viel ausbezahlter Arbeitslosenentschädigung zurückzuweisen.
3.7. Bei diesem Ausgang des Verfahrens erübrigen sich Weiterungen zur Rüge, die Beschwerdegegnerin habe das rechtliche Gehör durch die Verweigerung der vollständigen Akteneinsicht verletzt.
4.
Das Verfahren ist kostenpflichtig (<ref-law>). Dem Prozessausgang entsprechend hat die Beschwerdegegnerin die Gerichtskosten zu tragen (<ref-law>) und dem Beschwerdeführer eine Parteientschädigung zu entrichten (<ref-law>). Dessen Gesuch um unentgeltliche Rechtspflege ist demzufolge gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Nidwalden Sozialversicherungsrechtliche Abteilung vom 13. Mai 2013 und der Einspracheentscheid der Arbeitslosenkasse Ob- und Nidwalden vom 14. Januar 2013 werden aufgehoben. Die Sache wird zu neuer Verfügung an die Arbeitslosenkasse zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat die Rechtsvertreterin des Beschwerdeführers für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Nidwalden Sozialversicherungsrechtliche Abteilung und dem Staatssekretariat für Wirtschaft (SECO) schriftlich mitgeteilt.
Luzern, 27. August 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Polla