Sachverhalt:
A. Der 1951 geborene B._ war ab 1. Juli 2002 als Generalagent für die Firma X._ in Y._ tätig. Die Arbeitgeberin löste das Arbeitsverhältnis durch schriftliche Kündigung vom 23. November 2004 per 31. März 2005 auf. Am 21. April 2005 stellte B._ Antrag auf Arbeitslosenentschädigung, teilte aber gleichzeitig mit, dass er zur Zeit krankheitshalber vermittlungsunfähig sei. In der Folge beantragte er am 19. November 2005 nochmals die Ausrichtung von Arbeitslosentaggeldern, wobei er erklärte, er sei bereit und in der Lage, teilzeitlich, höchstens im Umfang eines 50%igen Arbeitspensums, erwerbstätig zu sein. Die Arbeitslosenkasse des Kantons Zug erbrachte daraufhin Taggeldleistungen.
Bereits am 19. Januar 2005 hatte sich B._ bei der Invalidenversicherung zum Leistungsbezug angemeldet. Die IV-Stelle Zug liess der Arbeitslosenkasse den an die Ausgleichskasse gerichteten Bescheid vom 24. Oktober 2007 zukommen (Eingang bei der Arbeitslosenkasse: 25. Oktober 2007), wonach bei einem Invaliditätsgrad von 100 % seit 9. Januar 2005, von 81 % seit 1. Mai 2005, von 53 % seit 1. Oktober 2005 und von wiederum 100 % ab 1. Dezember 2006 die Geldleistungen zu berechnen und die Verfügung zu erstellen sei. Sie sprach B._ in der Folge ab 1. Januar bis 30. September 2005 eine ganze, ab 1. Oktober 2005 bis 30. November 2006 eine halbe und ab 1. Dezember 2006 wieder eine ganze Invalidenrente zu (Verfügungen vom 17. April und 27. Mai 2008).
Im Nachgang zu den Rentenverfügungen der IV-Stelle verpflichtete die Arbeitslosenkasse B._, für die Zeit von Dezember 2006 bis September 2007 zuviel bezogene Arbeitslosenentschädigung im Betrag von Fr. 32'167.65 zurückzuerstatten; sie wies darauf hin, dass der Rückforderungsbetrag direkt mit den Leistungen der Invalidenversicherung/beruflichen Vorsorge verrechnet und ein allfälliger Restbetrag vom Versicherten nicht zurückgefordert werde (Verfügung vom 5. August 2008). In Gutheissung der von B._ gegen die Rückforderungsverfügung vom 5. August 2008 geführten Einsprache hob die Kasse die Verfügung betreffend Verrechnung mit Leistungen der beruflichen Vorsorge auf und gab an, sie werde ihm eine Verfügung betreffend Rückerstattung des zu Unrecht ausgerichteten Restbetrages von Fr. 22'894.60 zustellen (Einspracheentscheid vom 8. April 2009). Gemäss dieser Ankündigung erliess sie gleichzeitig, am 8. April 2009, eine Rückerstattungsverfügung, mit welcher sie B._ eine Frist für die Rückzahlung der im Zeitraum Dezember 2006 bis September 2007 zuviel geleisteten Arbeitslosenentschädigung von Fr. 22'894.60 setzte. Diesen Verwaltungsakt bestätigte sie auf Einsprache hin (Einspracheentscheid vom 5. Juli 2010).
B. Das Verwaltungsgericht des Kantons Zug wies die gegen den Einspracheentscheid vom 5. Juli 2010 erhobene Beschwerde ab (Entscheid vom 9. Dezember 2010).
C. B._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und das Rechtsbegehren stellen, der kantonale Gerichtsentscheid vom 9. Dezember 2010 und - sinngemäss - der Einspracheentscheid vom 5. Juli 2010 seien aufzuheben.
Die Arbeitslosenkasse schliesst auf Abweisung der Beschwerde. Das Staatssekretariat für Wirtschaft verzichtet auf eine Stellungnahme.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. Das kantonale Gericht hat die gesetzlichen Bestimmungen und Grundsätze zur Rückforderung unrechtmässig ausgerichteter Leistungen der Arbeitslosenversicherung (<ref-law> in Verbindung mit Art. 25 Abs. 1 und 2 ATSG) und die dazu notwendigen Voraussetzungen für ein wiedererwägungs- oder revisionsweises Zurückkommen auf die formell rechtskräftig verfügte oder formlos erfolgte Leistungszusprechung (<ref-law>; <ref-ruling> E. 1.1 mit Hinweisen) richtig wiedergegeben. Darauf wird verwiesen.
3. Es steht fest und ist letztinstanzlich unstrittig, dass die rückwirkende Zusprechung einer unbefristeten ganzen Invalidenrente ab 1. Dezember 2006 (Verfügung der IV-Stelle vom 17. April 2008) hinsichtlich der formlos - im Rahmen der Vorleistungspflicht im Sinne von <ref-law> und <ref-law> in Verbindung mit <ref-law> - erbrachten Taggeldleistungen der Arbeitslosenversicherung vom 1. Dezember 2006 bis 30. September 2007 eine neue erhebliche Tatsache darstellt, deren Unkenntnis die Arbeitslosenkasse nicht zu vertreten hat, weshalb ein Zurückkommen auf die ausgerichteten Leistungen auf dem Wege der prozessualen Revision (<ref-ruling> E. 3.1 mit Hinweisen) zulässig war. Ebenso steht in grundsätzlicher Hinsicht ausser Frage, dass die Arbeitslosenkasse die zu Unrecht erbrachten Leistungen in der Höhe von Fr. 32'167.65 mit Nachzahlungen der Invalidenversicherung und der beruflichen Vorsorgeeinrichtung verrechnen darf (Art. 94 und Art. 95 Abs. 1 und 1bis AVIG, <ref-law>). Die IV-Stelle erstattete der Arbeitslosenkasse in diesem Rahmen für den vorliegend relevanten Zeitraum vom 1. September 2006 bis 30. September 2007 einen Betrag von Fr. 9'273.05 (Verfügung der IV-Stelle vom 7. August 2008), während eine Zahlung der für die berufliche Vorsorge zuständigen Vorsorgeeinrichtung der Firma X._ (nachfolgend: Vorsorgeeinrichtung) ausblieb, nachdem diese für die fragliche Periode bereits am 13. Dezember 2007 eine Nachzahlung von Fr. 36'971.- (Monatsrente von Fr. 4'072.- abzüglich der monatlich bereits geleisteten Fr. 375.-) direkt an den Beschwerdeführer erbracht hatte. Streitig ist einzig, ob die Beschwerdegegnerin gegenüber dem Versicherten auf den von der Vorsorgeeinrichtung nicht erhältlich gemachten Rückerstattungsbetrag von Fr. 22'894.60 verzichtet hat und, verneinendenfalls, ob der Rückforderungsanspruch ihm gegenüber in diesem Umfang verwirkt ist.
4. 4.1 Die Vorinstanz hält fest, in der ersten Rückforderungsverfügung vom 5. August 2008 sei zwar festgehalten worden, dass der Betrag von Fr. 32'167.65 direkt mit den Leistungen der Invalidenversicherung/ beruflichen Vorsorge verrechnet und ein allfälliger Restbetrag vom Versicherten nicht zurückgefordert werde. Der Verzicht, die Forderung gegenüber dem Beschwerdeführer geltend zu machen, stehe somit unter der Bedingung der Verrechenbarkeit mit den gesamten Leistungen. Es sei nirgends die Rede davon, dass der Rückforderungsanspruch bei mangelnder Verrechenbarkeit mit den Leistungen eines anderen Sozialversicherers einfach erlösche. In diesem Fall müsse der Anspruch vielmehr direkt dem Versicherten gegenüber geltend gemacht werden. Die Verfügung vom 8. April 2009, mit welcher der Versicherte unmittelbar mit der Rückforderung konfrontiert worden sei, stelle weder einen Widerspruch zum Verwaltungsakt vom 5. August 2008 dar noch liege ein unzulässiges Zurückkommen auf die ursprünglich verfügte Rückforderung vor. Vielmehr sei die dem Versicherten bereits am 5. August 2008 ordentlich eröffnete Rückforderung lediglich entsprechend präzisiert worden. Zudem sei fraglich, ob die einjährige Verwirkungsfrist des <ref-law> wirklich bereits mit dem Bescheid der IV-Stelle vom 24. Oktober 2007 ausgelöst worden sei oder ob der Zeitpunkt der ausreichenden Kenntnisnahme der für die Beurteilung der Rückforderung erforderlichen Fakten nicht erst später anzusetzen wäre. Dies könne allerdings offen bleiben. Die Verwirkungsfrist sei nämlich gewahrt, wenn die Rückforderung einmal frist- und formgerecht eröffnet worden sei. Werde der entsprechende Verwaltungsakt nachträglich aufgehoben und durch eine inhaltlich berichtigte neue Verfügung ersetzt, so ändere sich daran nichts. Da vorliegend die Verrechnung mit den Leistungen des BVG-Versicherers nicht mehr habe erfolgen können, sei die Kasse gehalten gewesen, die Verfügung zu modifizieren oder zu ersetzen, indem sie den Beschwerdeführer direkt zur Rückerstattung aufgefordert habe. Die Verjährungsfrage sei dadurch nicht berührt worden. Die einjährige wie auch die absolute fünfjährige Frist nach <ref-law> seien eingehalten, weshalb der direkte Zugriff auf den Versicherten nicht zu beanstanden sei.
4.2 Der Beschwerdeführer bringt dagegen vor, ein unbefangener Leser erkenne in der Verfügung vom 5. August 2008 auch bei extensivem grammatikalischem Verständnis keine Bedingung im Sinne der Interpretation des kantonalen Gerichts, wonach auf eine direkte Rückforderung nur verzichtet werde, wenn gegenüber beiden Sozialversicherungsträgern eine Verrechnungsforderung durchgesetzt werden könne. Im Einspracheentscheid vom 8. April 2009 sei lediglich die Anordnung der Verrechnung mit Ansprüchen gegenüber der beruflichen Vorsorge gestrichen worden und es sei beim Verzicht auf eine Geltendmachung gegenüber dem Beschwerdeführer geblieben. Diese Anordnung sei rechtskräftig geworden, weshalb die Verwaltung in dieser Situation kein neues Verfahren hätte beginnen und im Widerspruch zum rechtskräftigen Einspracheentscheid am 8. April 2009 einfach Gegenteiliges verfügen dürfen, indem sie nun den Beschwerdeführer zur direkten Begleichung der Rückforderungsrestanz verpflichte. Da das kantonale Gericht dieses Vorgehen schütze, verletze es den Grundsatz der Rechtsbeständigkeit von Verfügungen. Die Kasse hätte im Übrigen genügend Zeit gehabt, um an die relevanten Informationen bezüglich Rentenguthaben bei der Vorsorgeeinrichtung zu gelangen. Nehme die Verwaltung ihre Kompetenzen nicht wahr, so dürften die aus diesem Verhalten resultierenden finanziellen Folgen nicht "dem Bürger" aufgebürdet werden. Die mit Verfügung vom 8. April 2009 erstmals direkt gegenüber dem Beschwerdeführer erfolgte Anzeige der Rückforderung sei zudem mehr als ein Jahr nach Kenntnis des Rückforderungsanspruchs erfolgt, weshalb letzterer im Sinne von <ref-law> verjährt sei. Demgemäss sei der angefochtene Gerichtsentscheid rechtsfehlerhaft.
5. 5.1 Der mit Bundesgesetz vom 22. März 2002 eingefügte und auf den 1. Juli 2003 in Kraft getretene <ref-law> bestimmt, dass sich die Rückforderungssumme auf die Höhe der vom anderen Sozialversicherer (Invalidenversicherung, berufliche Vorsorge, Erwerbsersatzordnung für Dienstleistende in Armee, Zivildienst und Zivilschutz, Militärversicherung, obligatorische Unfallversicherung, Krankenversicherung, gesetzliche Familienzulagen) für denselben Zeitraum ausgerichteten Leistungen beschränkt. Es soll damit vermieden werden, dass die versicherte Person für den nicht durch die Verrechnung gedeckten Teil der Rückforderung erstattungspflichtig wird (Botschaft zu einem revidierten Arbeitslosenversicherungsgesetz vom 28. Februar 2001, BBl 2001 2303 Ziff. 2.1 zu <ref-law>). Am Grundsatz der zeitlichen Kongruenz, wonach eine Rückforderung (<ref-law>) und Verrechnung (<ref-law>) nur für Leistungen erfolgen kann, die für den gleichen Zeitraum erbracht wurden, ist festgehalten worden (<ref-ruling> E. 7.2 S. 203).
5.2 Die Arbeitslosenkasse erliess am 5. August 2008 eine an den Beschwerdeführer gerichtete Verfügung, mit welcher sie feststellte, dass er ihr für die Monate Dezember 2006 bis September 2007 zuviel ausbezahlte Arbeitslosenentschädigung im Betrag von Fr. 32'167.65 zurückzuerstatten habe. Sie fügte an, dass dieser "Rückforderungsbetrag direkt mit den Leistungen der Invalidenversicherung/beruflichen Vorsorge verrechnet" und ein "allfälliger Restbetrag" vom Versicherten "nicht zurückgefordert" werde. Zur Begründung führte sie <ref-law> und <ref-law> in Verbindung mit <ref-law> an, wobei sie den Inhalt der relevanten Gesetzespassagen ausdrücklich wiedergab und namentlich darauf hinwies, dass sich die Rückforderungssumme auf die Höhe der von der Invalidenversicherung und der beruflichen Vorsorge für denselben Zeitraum ausgerichteten Leistungen beschränke. Ausserdem schlüsselte sie auf, dass die Verrechnung mit IV-Leistungen einen Betrag von Fr. 9'273.05 ausmache und die Restforderung von 22'894.60 mit "IV-Rentenguthaben" der Vorsorgeeinrichtung verrechnet werde.
5.2.1 Entgegen der Ansicht des Beschwerdeführers konnte es ihm mit Blick auf diese Vorgaben auch unter Berücksichtigung seines fehlenden juristischen Fachwissens nicht entgehen, dass (auch) die erste Rückforderungsverfügung vom 5. August 2008 an ihn adressiert war und sich der Verzicht der Geltendmachung eines allfälligen Restbetrages nur auf die Geldsumme bezog, welche die Leistungen der Invalidenversicherung und der beruflichen Vorsorgeeinrichtung überstieg. Die Annahme der Vorinstanz, wonach die Arbeitslosenkasse in ihrer ersten Verfügung wohl zum Ausdruck habe bringen wollen, dass sich die Rückforderung in jedem Fall auf die Höhe der von den anderen Sozialversicherern für denselben Zeitraum ausgerichteten Leistungen beschränke und der Beschwerdeführer dies auch so habe verstehen müssen, ist deshalb zutreffend. Ob die Arbeitslosenkasse die dagegen erhobene Einsprache hätte gutheissen müssen, weil die berufliche Vorsorgeeinrichtung die Renten für den in Frage stehenden Zeitraum bereits dem Beschwerdeführer direkt ausbezahlt hatte - womit eine Zahlungsaufforderung der Kasse an die Adresse der Vorsorgeeinrichtung im Sinne von <ref-law> nicht mehr zielführend sein konnte - kann dahingestellt bleiben, weil der Einspracheentscheid vom 8. April 2009 unangefochten in Rechtskraft erwuchs und nicht Gegenstand des vorliegenden Verfahrens bildet. Im Einspracheentscheid kommt immerhin klar zum Ausdruck, dass der Beschwerdeführer nunmehr - begrenzt auf den noch offenen Betrag von Fr. 22'894.60 - mit einer neuen Verfügung zur Rückerstattung aufgefordert werde. Es ist daher dem Versicherten nicht zu folgen, soweit er geltend macht, mit dem Einspracheentscheid habe der - absolute - Verzicht auf die Geltendmachung der Rückforderung ihm gegenüber in Rechtskraft erwachsen können. Ein Widerspruch zwischen Einspracheentscheid und gleichentags ergangener neuer Verfügung, mit welcher ihm eine Frist zur Rückzahlung der von der Vorsorgeeinrichtung nicht erhältlich gemachten Fr. 22'894.60 angesetzt wird, lässt sich nicht erkennen.
5.2.2 Gemäss <ref-law> verjährt der Rückforderungsanspruch innert eines Jahres, nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat, spätestens aber fünf Jahre nach der Auszahlung der Leistung. Es handelt sich um Verwirkungsfristen (vgl. auch die im Rahmen des ATSG anwendbare Rechtsprechung: <ref-ruling> E. 1 S. 382 mit Hinweis). Die Verwirkungsfrage stellt sich vorliegend nur unter dem Blickwinkel der relativen einjährigen Frist, wogegen die absolute Verwirkungsfrist von fünf Jahren jedenfalls gewahrt ist. Die Arbeitslosenkasse erhielt durch die Mitteilung des Beschlusses vom 24. Oktober 2007 Kenntnis von der Absicht der IV-Stelle, dem Versicherten namentlich mit Blick auf die seit 1. Dezember 2006 (wieder) bestehende 100%ige Invalidität eine ganze Rente zuzusprechen. Die einjährige Verwirkungsfrist begann frühestens in diesem Moment zu laufen. Sie wurde durch die Rückforderungsverfügung vom 5. August 2008 gewahrt. Der Versicherte stellt sich allerdings auf den Standpunkt, erst mit Verwaltungsakt vom 8. April 2009 - in einem neuen Verfahren und damit verspätet - habe die Arbeitslosenkasse eine Rückerstattung von ihm gefordert. Die erste Verfügung habe ihm gegenüber eben gerade keine Forderung enthalten. Der Beschwerdeführer übersieht bei seiner Argumentation, dass die erste Verfügung vom 5. August 2008 durchaus an ihn gerichtet war. Er war nicht nur Adressat des Verwaltungsaktes, es wurde auch ausdrücklich auf <ref-law> aufmerksam gemacht, welcher eine Rückerstattungspflicht der versicherten Person vorsieht. Demgemäss hielt die Kasse einleitend auch fest, der "Versicherte" habe die "zuviel ausbezahlte Arbeitslosenentschädigung im Betrag von CHF 32'167.65 zurückzuerstatten". Im Sinne von <ref-law> sah sie die Verrechnung des Rückforderungsbetrags mit den Leistungen der Invalidenversicherung und der beruflichen Vorsorgeeinrichtung vor. Diese Bestimmung soll im Zusammenwirken mit <ref-law> eine reibungslose Rückabwicklung unter den Versicherern garantieren, ohne dass die Versicherten unnötig mit den versicherungsinternen gegenseitigen Verrechnungen konfrontiert werden (THOMAS NUSSBAUMER, Arbeitslosenversicherung, in: Soziale Sicherheit, SBVR Bd. XIV, 2. Aufl. 2007, S. 2206 Rz. 86). Im konkreten Fall war die Verrechnung mit Leistungen der beruflichen Vorsorgeeinrichtung nicht mehr möglich, weil diese ihre Nachzahlung bereits an den Beschwerdeführer geleistet hatte. <ref-law> konnte nicht zur Anwendung gelangen. Der gutheissende Einspracheentscheid sollte zusammen mit der neuen Verfügung (beide datierend vom 8. April 2009) offensichtlich lediglich der Präzisierung dieses Umstandes dienen. In diesem Sinne wurde dem - die Leistungen sowohl der Arbeitslosenversicherung als auch der beruflichen Vorsorgeeinrichtung empfangenden - Beschwerdeführer eine Frist zur Rückerstattung des Restbetrages angesetzt. Dieses Vorgehen entspricht dem aus <ref-law> fliessenden Grundsatz, wonach die Rückerstattungspflicht die empfangende Person trifft (UELI KIESER, ATSG-Kommentar, 2. Aufl. 2009, N. 23 zu <ref-law>). Es ist der Vorinstanz beizupflichten, dass die zweite Verfügung somit nicht einmal eine eigentliche Berichtigung, sondern lediglich eine Präzisierung bezüglich der Rückzahlungsmodalitäten enthält, so dass sie insoweit ohne weiteres als Ersatz des ersten Verwaltungsaktes im Sinne der Rechtsprechung zur fristwahrenden ersten, dem richtigen Adressaten eröffneten Verfügung zu qualifizieren ist (SVR 2004 ALV Nr. 5 S. 13, C 17/03). Das Vorbringen des Beschwerdeführers, mit Verfügung vom 8. April 2009 sei erstmals direkt ihm gegenüber eine Rückforderung geltend gemacht worden, ist auch unter diesem Aspekt nicht stichhaltig, wird doch bereits aus der ersten Verfügung klar, dass die versicherte Person (innerhalb der Grenzen des <ref-law>) rückerstattungspflichtig und lediglich im Rahmen der möglichen Verrechnung mit Nachleistungen der darin genannten anderen Sozialversicherungen von der Umsetzung der effektiven Rückabwicklung befreit ist (vgl. E. 5.1 hiervor). Diese Aussage wurde mit Einspracheentscheid vom 8. April 2009 nicht abgeändert. Die Arbeitslosenkasse und das kantonale Gericht sind deshalb zu Recht davon ausgegangen, dass der Rückforderungsanspruch nicht verwirkt ist.
5.3 Zusammenfassend lässt sich festhalten, dass die Einwände des Beschwerdeführers die Betrachtungsweise der Vorinstanz nicht in Zweifel zu ziehen vermögen. Ihre tatsächlichen Feststellungen sind nicht mangelhaft im Sinne von <ref-law> und die rechtliche Würdigung ist bundesrechtskonform.
6. Das Verfahren ist kostenpflichtig (<ref-law>). Dem Prozessausgang entsprechend sind die Gerichtskosten vom Beschwerdeführer als unterliegender Partei zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, dem Amt für Wirtschaft und Arbeit (AWA) und dem Staatssekretariat für Wirtschaft schriftlich mitgeteilt.
Luzern, 13. April 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Berger Götz