Sachverhalt:
A. Z._ bezog verschiedentlich Leistungen der Arbeitslosenversicherung, so auch ab Mai 2009. Mit Verfügung vom 10. März 2010 forderte ihn die Arbeitslosenkasse des Kantons Zug (nachfolgend: Arbeitslosenkasse) zur Rückerstattung von bezogenen Leistungen in der Höhe von Fr. 28'231.70 für die Zeit vom 15. August 2009 bis 31. Januar 2010 auf. Mit Einspracheentscheid vom 30. Juli 2010 reduzierte die Arbeitslosenkasse die Rückforderung auf Fr. 22'832.20 (15. August bis 31. Dezember 2009) und nahm die Sache bezüglich der Differenz von Fr. 5'489.50 (Januar 2010) zur weiteren Abklärung zurück.
B. Das Verwaltungsgericht des Kantons Zug wies die dagegen erhobene Beschwerde mit Entscheid vom 17. März 2011 ab.
C. Z._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, es sei der kantonale Entscheid aufzuheben und die Sache an die Vorinstanz zurückzuweisen, damit diese unter Anhörung der von ihm genannten Zeugen erneut über die Angelegenheit befinde.
Die Vorinstanz und die Arbeitslosenkasse schliessen auf Abweisung der Beschwerde. Das Staatssekretariat für Wirtschaft verzichtet auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Mit der Beschwerde kann eine Rechtsverletzung nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht grundsätzlich von Amtes wegen an (<ref-law>). Trotzdem obliegt es dem Beschwerdeführer, sich in seiner Beschwerde sachbezogen mit den Darlegungen im angefochtenen Entscheid auseinanderzusetzen (Art. 42 Abs. 1 und 2 BGG). Das Bundesgericht prüft unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht - vorbehältlich offensichtlicher Fehler - nur die in seinem Verfahren geltend gemachten Rechtswidrigkeiten (<ref-ruling> E. 1.4.1 S. 254). Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 2.2.1 S. 389; siehe auch <ref-ruling> E. 1.1 S. 104).
1.2 Nach <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Abs. 2). Die Voraussetzungen für eine Sachverhaltsrüge nach <ref-law> und für eine Berichtigung des Sachverhalts von Amtes wegen nach <ref-law> stimmen im Wesentlichen überein. Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Entsprechende Beanstandungen sind vergleichbar mit den in <ref-law> genannten Rügen. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden. Vorbehalten bleiben offensichtliche Sachverhaltsmängel im Sinne von <ref-law>, die dem Richter geradezu in die Augen springen (<ref-ruling> E. 6.2 S. 288; <ref-ruling> E. 1.4.3 S. 255).
1.3 Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>; <ref-ruling>). Solche Umstände können namentlich in formellrechtlichen Mängeln des angefochtenen Entscheides liegen, mit denen die Partei nicht rechnete und nach Treu und Glauben nicht zu rechnen brauchte, oder darin, dass die Vorinstanz materiell in einer Weise urteilt, dass bestimmte Sachumstände neu und erstmals rechtserheblich werden. Der vorinstanzliche Verfahrensausgang allein bildet noch keinen hinreichenden Anlass im Sinne von <ref-law> für die Zulässigkeit von unechten Noven, die bereits im kantonalen Verfahren ohne weiteres hätten vorgebracht werden können (nicht publizierte E. 2.3 des Urteils <ref-ruling>, in SVR 2009 BVG Nr. 30 S. 109 [9C_920/2008]).
Sowohl im kantonalen wie auch im Verfahren vor Bundesgericht ist streitig, ob der Versicherte während der Leistungsausrichtung die Anspruchsvoraussetzung des Wohnens in der Schweiz nach <ref-law> erfüllte. Somit war schon im Rahmen des kantonalen Verfahrens zu klären, ob der Versicherte seinen üblichen Aufenthalt in der Zeit vom 15. August bis 31. Dezember 2009 in der Schweiz hatte. Die von ihm vor Bundesgericht erstmals aufgelegten Unterlagen (Kopien aus seiner Agenda, zusätzliche Bankauszüge, etc.) stellen damit unzulässige Noven im Sinne von <ref-law> dar. Auf sie ist im Weiteren nicht mehr einzugehen.
2. Die Vorinstanz hat die Bestimmungen und Grundsätze über die Leistungsvoraussetzungen im Rahmen von Arbeitslosenentschädigungen (<ref-law>), insbesondere jene des tatsächlichen Aufenthalts in der Schweiz (<ref-law>; <ref-ruling> E. 2a S. 466; SVR 2006 ALV Nr. 24 S. 82 [C 290/03]) zutreffend dargelegt. Darauf wird verwiesen.
Anzufügen bleibt, dass unrechtmässig ausgerichtete Leistungen der Arbeitslosenversicherung zurückgefordert werden können (<ref-law> in Verbindung mit Art. 25 Abs. 1 und 2 ATSG), sofern die Voraussetzungen für ein wiedererwägungs- oder revisionsweises Zurückkommen auf die formell rechtskräftig verfügte oder formlos erfolgte Leistungszusprechung (<ref-law>; <ref-ruling> mit Hinweisen) gegeben sind.
3. Der Beschwerdeführer erhebt verschiedene Einwände gegen den vorinstanzlichen Entscheid. Soweit er geltend macht, der kantonale Entscheid stelle einen Verstoss gegen <ref-law> dar, kann ihm nicht gefolgt werden, hat das kantonale Gericht doch zutreffend dargelegt, dass <ref-law> im Rahmen der Arbeitslosenversicherung nicht zur Anwendung gelangt. Als blosse Schutzbehauptung ist auch seine Aussage zu werten, er habe sich in der strittigen Zeit - mit Ausnahme des Besuchs einer Sportveranstaltung in Italien - stets in der Schweiz aufgehalten. Dies steht in Widerspruch zu seinen früher gemachten Aussagen, wonach er sich verschiedentlich zur Arbeitssuche in Italien aufgehalten habe. Massgebend ist - wie die Vorinstanz zu Recht festgestellt hat - der Umstand, dass sich der Versicherte am 15. August 2009 bei der Gemeinde X._ nach Y._ (I) abgemeldet und erst nach Erhalt der Rückforderungsverfügung im März 2010 (rückwirkend per 1. Januar 2010) erneut in der Schweiz angemeldet hatte. Mit der Vorinstanz ist auch davon auszugehen, dass der Versicherte nicht bloss die Anmeldung und erneute Hinterlegung seines Heimatscheins versäumt hatte, musste er doch nach den bereits zwei Jahre zuvor gemachten Erfahrungen um die Wichtigkeit des Wohnerfordernisses im Sinne von <ref-law> wissen. Schon allein deshalb kann er nichts daraus ableiten, dass seine Vermieterin das per 1. Oktober 2009 neu begründete Mietverhältnis der Gemeinde gemeldet hat, zumal diese Meldung einem anderen Zweck diente und den Versicherten nicht von seiner Pflicht zur ordentlichen Anmeldung entband. Schliesslich ist auch nicht zu beanstanden, dass die Vorinstanz mit nachvollziehbarer Begründung im Rahmen der grundsätzlich zulässigen antizipierten Beweiswürdigung (<ref-ruling> E. 5.3 S. 236; <ref-ruling> E. 4b S. 94; <ref-ruling> E. 1d S. 162) auf die Einvernahme der beantragten Zeugen verzichtet hat.
Der Umstand, dass der Versicherte nicht während des ganzen Zeitraums, in welchem er Arbeitslosentaggelder bezog, seinen tatsächlichen Aufenthalt und damit seinen Ort des Wohnens im Sinne von <ref-law> in der Schweiz hatte, stellt einen Rückkommenstitel im Sinne von <ref-law> dar. Die Arbeitslosenkasse war daher berechtigt und verpflichtet, die von 15. August bis 31. Dezember 2009 ausgerichtete Arbeitslosenentschädigung zurückzufordern.
4. Da die Beschwerde offensichtlich unbegründet ist, wird sie im Verfahren nach <ref-law>, d.h. mit summarischer Begründung und unter Verweis auf die vorinstanzlichen Erwägungen, erledigt.
5. Das Verfahren ist kostenpflichtig. Der Versicherte hat dem Ausgang des Verfahrens entsprechend die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Staatssekretariat für Wirtschaft (SECO) schriftlich mitgeteilt.
Luzern, 31. Oktober 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Riedi Hunold