Sachverhalt:
A. Der 1956 geborene A._ bezog seit 1. November 2000 bei einem Invaliditätsgrad von 55 % eine halbe Rente der Invalidenversicherung (Verfügung vom 24. August 2001). Mit Mitteilungen vom 3. November 2004 und 21. Februar 2008 bestätigte die IV-Stelle Zug dem Versicherten einen unveränderten Invaliditätsgrad und Rentenanspruch. Im April 2009 leitete die Verwaltung erneut ein Revisionsverfahren ein und traf entsprechende Abklärungen. Nach Durchführung des Vorbescheidverfahrens setzte sie mit Verfügung vom 17. März 2010 die bisherige Rente rückwirkend ab 1. April 2007 auf eine Viertelsrente herab und hob diese ab 1. April 2008 auf mit der Begründung, er habe tatsächlich ein höheres als das berücksichtigte (auf einem Tabellenlohn beruhende) Invalideneinkommen erzielt und diesbezüglich liege vom 1. April 2007 bis 17. April 2009 eine Verletzung der Meldepflicht vor. Mit Verfügung vom 19. April 2010 verpflichtete die IV-Stelle den Versicherten zur Rückerstattung unrechtmässig bezogener Leistungen im Betrag von Fr. 27'972.-.
B. Die Beschwerde des A._ gegen die Verfügung vom 17. März 2010 wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 27. Januar 2011 ab.
C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit folgenden Rechtsbegehren:
"1. In Gutheissung der Beschwerde sei das Urteil des Verwaltungsgerichts Zug vom 27. Januar 2011 aufzuheben.
2. Dem Beschwerdeführer sei rückwirkend per Einstellung der Leistung der IV-Rente eine halbe IV-Rente, eventualiter eine 1/4-IV-Rente vorläufig auszurichten.
3. Eventualiter sei festzustellen, dass die betreibungsrechtliche Eintreibung der Forderung der Beschwerdegegnerin auf Rückerstattung der umstrittenen unrechtmässig bezogenen Leistungen (Invalidenrente s. Betreibungs-Nr. 20104891, Betreibungsamt Baar, und Ergänzungsleistung) nur bis vor die Stellung des Verwertungsbegehrens geführt werden darf.
4. Dieser Beschwerde sei aufschiebende Wirkung zu erteilen.
5. Eventualiter sei diese Angelegenheit an die Vorinstanz zurück zu verweisen."
Die IV-Stelle, das kantonale Gericht und das Bundesamt für Sozialversicherungen (BSV) schliessen auf Abweisung der Beschwerde.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>).
2. Das kantonale Gericht hat die gesetzlichen Bestimmungen und die von der Rechtsprechung entwickelten Grundsätze, insbesondere diejenigen über die Bemessung des Invaliditätsgrades (<ref-law> [SR 830.1]), den Rentenanspruch (<ref-law>), die Revision der Invalidenrente (<ref-law>; <ref-ruling> E. 3.5 S. 349 ff.; <ref-ruling> E. 5.4 S. 114; <ref-law> in der seit 1. Januar 2008 geltenden Fassung) und deren zeitliche Aspekte (Art. 88a Abs. 1, Art. 88bis Abs. 2 sowie <ref-law> [SR 831.201]; <ref-ruling> E. 2 S. 432; <ref-ruling> E. 2a S. 100 f.; <ref-ruling> E. 3c S. 180; Urteil 8C_1042/2009 vom 12. April 2010 E. 2.2) zutreffend dargelegt. Darauf wird verwiesen.
3. 3.1 Die Vorinstanz hat festgestellt, dass der Versicherte bei der ursprünglichen Rentenzusprache nicht einer zumutbaren und genügenden Erwerbstätigkeit nachgegangen sei, weshalb die IV-Stelle für die Festsetzung des Invalideneinkommens einen Tabellenlohn der Lohnstrukturerhebung herangezogen habe. In der Zwischenzeit habe er mehr bzw. neue Hauswarttätigkeiten aufgenommen, wobei es sich um behinderungsadaptierte Tätigkeiten handle. Das Gericht hat daher für die Invaliditätsbemessung in Bezug auf das Invalideneinkommen auf den tatsächlich erzielten Verdienst abgestellt. Für 2007 hat es - ohne die Bestimmungen von <ref-law> anzuwenden (SVR 2010 IV Nr. 59 S. 180, 9C_833/2009 E. 3) - einen Betrag von Fr. 34'851.- festgestellt. 2008 habe der Versicherte ein Einkommen von insgesamt Fr. 49'200.- erzielt. Davon hat die Vorinstanz - unter Berücksichtigung von <ref-law> - den Betrag von Fr. 43'417.- als massgeblich für das Invalideneinkommen betrachtet. 2009 schliesslich habe der Versicherte Fr. 43'333.- verdient, was eine Einkommensverminderung darstelle und die Anwendung von <ref-law> ausschliesse. Das Valideneinkommen hat sie auf der Grundlage der Verfügung vom 24. August 2001 und unter Berücksichtigung der Nominallohnentwicklung für 2007 auf Fr. 61'106.-, für 2008 auf Fr. 62'359.- und für 2009 auf Fr. 63'559.- festgesetzt. Aus diesen Vergleichseinkommen hat sie Invaliditätsgrade von 43 % (2007), 30 % (2008) und 31 % (2009) errechnet. Weiter ist die Vorinstanz der Auffassung, der Versicherte habe in Bezug auf die Aufnahme der Erwerbstätigkeiten die ihm obliegende Meldepflicht schuldhaft verletzt, weshalb sie die rückwirkende Herabsetzung auf eine Viertelsrente ab 1. April 2007 und die Rentenaufhebung ab 1. April 2008 bestätigt hat.
3.2 Dass die vorinstanzlichen Sachverhaltsfeststellungen offensichtlich unrichtig sein sollen, ist nicht ersichtlich und wird auch nicht geltend gemacht (E. 1). Indessen hält der Beschwerdeführer die rückwirkende Rentenaufhebung für unzulässig. Ausserdem macht er geltend, der massgebliche Referenzzeitpunkt für die Einkommensveränderung sei einzig jener bei Erlass der ursprünglichen Rentenverfügung. Schliesslich rügt er eine Verletzung von <ref-law> durch eine unzutreffende Berechnung des Invalideneinkommens.
4. 4.1 Vorab ist auf die Rüge einer Verletzung der Begründungspflicht resp. willkürlichen Begründung durch die Vorinstanz einzugehen. Diese hat die als wesentlich und erstellt erachteten Tatsachen und die daraus gezogenen rechtlichen Schlüsse nachvollziehbar dargelegt. Darin kann keine Verletzung der aus dem Anspruch auf rechtliches Gehör nach <ref-law> sowie <ref-law> (SR 830.1) und <ref-law> abgeleiteten Prüfungs- und Begründungspflicht (Urteil 5A_368/2007 vom 18. September 2007 E. 2; vgl. auch <ref-ruling> E. 5.3 S. 357 ff.) oder des Willkürverbotes (<ref-law>) erblickt werden (Urteil 9C_215/2010 vom 20. April 2010 E. 3). Entscheidend ist, dass es den Parteien möglich ist, das vorinstanzliche Erkenntnis - unter Berücksichtigung der Kognition des Bundesgerichts (HANSJÖRG SEILER und andere, Bundesgerichtsgesetz [BGG], 2007, N. 9 f. zu <ref-law>) - sachgerecht anzufechten (<ref-ruling> E. 4.1 S. 88; <ref-ruling> E. 3.3 S. 445; <ref-ruling> E. 1a S. 181). Dies trifft hier zu.
4. 4.1 Vorab ist auf die Rüge einer Verletzung der Begründungspflicht resp. willkürlichen Begründung durch die Vorinstanz einzugehen. Diese hat die als wesentlich und erstellt erachteten Tatsachen und die daraus gezogenen rechtlichen Schlüsse nachvollziehbar dargelegt. Darin kann keine Verletzung der aus dem Anspruch auf rechtliches Gehör nach <ref-law> sowie <ref-law> (SR 830.1) und <ref-law> abgeleiteten Prüfungs- und Begründungspflicht (Urteil 5A_368/2007 vom 18. September 2007 E. 2; vgl. auch <ref-ruling> E. 5.3 S. 357 ff.) oder des Willkürverbotes (<ref-law>) erblickt werden (Urteil 9C_215/2010 vom 20. April 2010 E. 3). Entscheidend ist, dass es den Parteien möglich ist, das vorinstanzliche Erkenntnis - unter Berücksichtigung der Kognition des Bundesgerichts (HANSJÖRG SEILER und andere, Bundesgerichtsgesetz [BGG], 2007, N. 9 f. zu <ref-law>) - sachgerecht anzufechten (<ref-ruling> E. 4.1 S. 88; <ref-ruling> E. 3.3 S. 445; <ref-ruling> E. 1a S. 181). Dies trifft hier zu.
4.2 4.2.1 Nach <ref-law> hat der Anspruchsberechtigte jede für den Leistungsanspruch wesentliche Änderung, u.a. namentlich eine solche der persönlichen und gegebenenfalls der wirtschaftlichen Verhältnisse, unverzüglich der IV-Stelle anzuzeigen. Die Herabsetzung oder Aufhebung der Renten erfolgt rückwirkend vom Eintritt der für den Anspruch erheblichen Änderung, wenn die unrichtige Ausrichtung einer Leistung darauf zurückzuführen ist, dass der Bezüger sie unrechtmässig erwirkt hat oder der ihm gemäss Art. 77 zumutbaren Meldepflicht nicht nachgekommen ist (<ref-law>). Für den Tatbestand der Meldepflichtverletzung ist ein schuldhaftes Fehlverhalten erforderlich, wobei nach ständiger Rechtsprechung bereits eine leichte Fahrlässigkeit genügt (<ref-ruling> E. 2a S. 218; Urteil 9C_570/2010 vom 8. September 2010 E. 3 mit weiteren Hinweisen).
4.2.2 Es ist nicht ersichtlich und wird auch nicht geltend gemacht, dass der Versicherte die Ausweitung seiner Erwerbstätigkeit der IV-Stelle oder sonst einer mit der Durchführung der Sozialversicherung betrauten - und zur Weiterleitung verpflichteten (vgl. <ref-law>) - Stelle innert nützlicher Frist mitteilte. Zwar darf der Arbeitnehmer von einem pflichtgemässen Vorgehen des Arbeitgebers, welcher gehalten ist, der Ausgleichskasse den Lohn zu melden sowie die darauf entfallenden Sozialversicherungsbeiträge zu entrichten (vgl. <ref-law>), ausgehen. Dies enthebt ihn aber nicht der ihn persönlich treffenden Meldepflicht nach <ref-law>. Im Übrigen wäre diese Pflicht, selbst wenn sie gegenüber der Ausgleichskasse statt der IV-Stelle bestanden hätte, durch die blosse Tatsache, dass der Rentenbezüger mit der Kasse Beiträge abrechnet, nicht erfüllt (ZAK 1981 S. 94, I 257/80 E. 2). Umso weniger kann der Versicherte für sich etwas ableiten, wenn er selbst nichts unternimmt, sondern lediglich sein Arbeitgeber die Sozialversicherungsbeiträge entrichtet. Damit steht fest, dass der Beschwerdeführer die ihm obliegende Meldepflicht verletzte.
4.2.3 Ein Rechtfertigungsgrund für die Unterlassung des Versicherten ist nicht ersichtlich. Als solcher kann insbesondere nicht die Tatsache, dass sich die Ausgleichskasse Zug und die IV-Stelle Zug an der gleichen Adresse befinden und teilweise organisatorisch verflochten sind, herangezogen werden: Einerseits handelt es sich von Gesetzes wegen um zwei von einander unabhängige Rechtssubjekte (vgl. <ref-law> und <ref-law>), woran auch der Grundsatz von Treu und Glauben (vgl. Art. 5 Abs. 3 und <ref-law>) - namentlich angesichts der expliziten Hinweise der IV-Stelle auf die Meldepflicht in der Verfügung vom 24. August 2001 und den Mitteilungen vom 3. November 2004 und 21. Februar 2008 - nichts ändert. Anderseits geht aus der Aktennotiz vom 28. August 2009 hervor, dass der Beschwerdeführer die Ausweitung seiner Erwerbstätigkeit auch der Ausgleichskasse nicht vor März 2009 meldete. Die völlige Untätigkeit des Versicherten stellt daher zumindest eine leichte Fahrlässigkeit dar.
4.2.4 Nach dem Gesagten ist die Rentenanpassung nicht mit Wirkung ex nunc et pro futuro (vgl. <ref-law>), sondern gemäss <ref-law> rückwirkend vorzunehmen (<ref-ruling> E. 6.2 S. 47).
4.2.4 Nach dem Gesagten ist die Rentenanpassung nicht mit Wirkung ex nunc et pro futuro (vgl. <ref-law>), sondern gemäss <ref-law> rückwirkend vorzunehmen (<ref-ruling> E. 6.2 S. 47).
4.3 4.3.1 Auf die rückwirkende Zusprechung einer abgestuften oder befristeten Invalidenrente sind die für die Rentenrevision geltenden Bestimmungen analog anzuwenden (<ref-ruling> E. 2.2 S. 165; Urteil 8C_362/2008 vom 17. November 2008 E. 2). Dementsprechend ist bei mehreren Sachverhaltsveränderungen jeweils massgeblicher Vergleichszeitpunkt jener, in welchem zuletzt eine rechtskonforme Sachverhaltsabklärung (des jeweils anspruchserheblichen Aspektes; vgl. SVR 2010 IV Nr. 54 S. 167, 9C_899/2009 E. 2.1), Beweiswürdigung und Invaliditätsbemessung vorgenommen wurde (Urteil 9C_524/2008 vom 15. Juli 2009 E. 2.2) und sich eine Veränderung des Rentenanspruchs ergab (Urteil 9C_223/2011 vom 3. Juni 2011 E. 3.1 und 3.2 mit Hinweisen). Diese Grundsätze gelten auch, wenn der Leistungsanspruch im Rahmen einer Rentenrevision rückwirkend zu beurteilen ist.
4.3.2 Die Vorinstanz hat für 2007 ein tatsächlich erzieltes Einkommen von Fr. 34'851.-, für 2008 ein solches von Fr. 49'200.- und für 2009 ein solches von Fr. 43'333.- festgestellt und diese Änderungen implizite jeweils ab 1. Januar angenommen. Diese unbestrittenen und nicht offensichtlich unrichtigen Feststellungen sind für das Bundesgericht verbindlich (E. 1). Massgeblicher Vergleichszeitpunkt in Bezug auf den Sachverhalt ab 2007 ist daher der Erlass der Rentenverfügung vom 24. August 2001 (wobei das Invalideneinkommen 2000 ausschlaggebend war), für den Sachverhalt ab 2008 der 1. Januar 2007 (vgl. E. 4.4.2) und schliesslich für jenen ab 2009 der 1. Januar 2008 (vgl. E. 4.4.3.4). Auch in dieser Hinsicht ist das Vorgehen der Vorinstanz (wie der Verwaltung) rechtskonform.
4.3.2 Die Vorinstanz hat für 2007 ein tatsächlich erzieltes Einkommen von Fr. 34'851.-, für 2008 ein solches von Fr. 49'200.- und für 2009 ein solches von Fr. 43'333.- festgestellt und diese Änderungen implizite jeweils ab 1. Januar angenommen. Diese unbestrittenen und nicht offensichtlich unrichtigen Feststellungen sind für das Bundesgericht verbindlich (E. 1). Massgeblicher Vergleichszeitpunkt in Bezug auf den Sachverhalt ab 2007 ist daher der Erlass der Rentenverfügung vom 24. August 2001 (wobei das Invalideneinkommen 2000 ausschlaggebend war), für den Sachverhalt ab 2008 der 1. Januar 2007 (vgl. E. 4.4.2) und schliesslich für jenen ab 2009 der 1. Januar 2008 (vgl. E. 4.4.3.4). Auch in dieser Hinsicht ist das Vorgehen der Vorinstanz (wie der Verwaltung) rechtskonform.
4.4 4.4.1 Mit der am 1. Januar 2008 in Kraft getretenen 5. IV-Revision wurden folgende Bestimmungen neu ins Gesetz aufgenommen: Kann eine rentenberechtigte Person neu ein Erwerbseinkommen erzielen oder ein bestehendes Erwerbseinkommen erhöhen, so wird die Rente nur dann im Sinne von Art. 17 Absatz 1 ATSG revidiert, wenn die Einkommensverbesserung jährlich mehr als Fr. 1'500.- beträgt (<ref-law>). Für die Revision der Rente werden vom Betrag, der Fr. 1'500.- übersteigt, nur zwei Drittel berücksichtigt (<ref-law>).
4.4.2 Entsprechend den allgemeinen intertemporalrechtlichen Grundsätzen kommt <ref-law> nicht auf den Sachverhalt 2007, sondern erst auf jenen ab 2008 zur Anwendung (SVR 2010 IV Nr. 59 S. 180, 9C_833/2009 E. 3). Die vorinstanzliche Festsetzung des Invalideneinkommens und Berechnung des Invaliditätsgrades für das Jahr 2007 verletzen Bundesrecht nicht. Unter Anwendung von <ref-law> hat das kantonale Gericht daher zu Recht die rückwirkende Herabsetzung der bisherigen halben Invalidenrente auf eine Viertelsrente ab 1. April 2007 bestätigt.
4.4.3
4.4.3.1 Was das Jahr 2008 betrifft, bleibt im Rahmen der Auslegung von <ref-law> zu prüfen, in welchem Umfang das tatsächlich erzielte Einkommen - welches gegenüber 2007 verbessert ist (E. 4.3.2) - als Invalideneinkommen anzurechnen ist (vgl. SVR 2010 IV Nr. 59 S. 180, 9C_833/2009 E. 4, wo diese Frage offengelassen wurde). Während Vorinstanz, Verwaltung und BSV (vgl. auch Rz. 5015.4 des Kreisschreibens des BSV über Invalidität und Hilflosigkeit in der Invalidenversicherung [KSIH]) die Auffassung teilen, es sei lediglich der (bereits um Fr. 1'500.- reduzierte) Betrag der Einkommensverbesserung um einen Drittel zu vermindern und anschliessend zum bisherigen Invalideneinkommen zu addieren, hält der Beschwerdeführer dafür, vom gesamten tatsächlich erzielten Einkommen (nach Subtraktion von Fr. 1'500.-) nur zwei Drittel als Invalideneinkommen zu berücksichtigen.
4.4.3.2 Das Gesetz muss in erster Linie aus sich selbst heraus, das heisst nach dem Wortlaut, Sinn und Zweck und den ihm zugrunde liegenden Wertungen auf der Basis einer teleologischen Verständnismethode ausgelegt werden. Die Gesetzesauslegung hat sich vom Gedanken leiten zu lassen, dass nicht schon der Wortlaut die Norm darstellt, sondern erst das an Sachverhalten verstandene und konkretisierte Gesetz. Gefordert ist die sachlich richtige Entscheidung im normativen Gefüge, ausgerichtet auf ein befriedigendes Ergebnis der ratio legis. Dabei befolgt das Bundesgericht einen pragmatischen Methodenpluralismus und lehnt es namentlich ab, die einzelnen Auslegungselemente einer hierarchischen Ordnung zu unterstellen. Die Gesetzesmaterialien können beigezogen werden, wenn sie auf die streitige Frage eine klare Antwort geben (<ref-ruling> E. 6.6.2.1 S. 37; <ref-ruling> E. 7.1 S. 203; <ref-ruling> E. 5.1 S. 53; <ref-ruling> E. 5.2 S. 311).
4.4.3.3 Im Tatbestand von <ref-law> ist zwar von einem neu erzielten resp. erhöhten Erwerbseinkommen die Rede, im Zentrum der Bestimmung steht jedoch der Begriff der "Einkommensverbesserung" ("amélioration du revenu", "miglioramento del reddito"). In Abs. 2 ist sodann die Rede vom "Betrag" ("montant", "importo"), von welchem "nur zwei Drittel berücksichtigt" werden ("seuls les deux tiers ... sont pris en compte"; "solo i due terzi ... sono presi in considerazione"). Auch wenn der Wortlaut - in allen Amtssprachen - diesbezüglich nicht ganz eindeutig ist, überzeugt mit Blick auf Abs. 1 die Annahme, dass sich der Begriff "Betrag" in Abs. 2 auf die Einkommensverbesserung und nicht auf das gesamte Erwerbseinkommen bezieht.
Aus den Erläuterungen zu <ref-law> in der Botschaft vom 22. Juni 2005 zur Änderung des Bundesgesetzes über die Invalidenversicherung (5. Revision; BBl 2005 4569) ergibt sich keine Antwort auf die aufgeworfene Frage. Allgemein formuliert sollten mit der Gesetzesrevision u.a. die langfristige (finanzielle) Konsolidierung der Invalidenversicherung und die Korrektur negativer Anreize in Bezug auf eine erhöhte Erwerbstätigkeit bezweckt werden (BBl 2005 4460 f.; 4539 Ziff. 1.6.2.2). Mit der Anrechnung von zwei Dritteln der Einkommensverbesserung ist dem zweitgenannten Ziel Rechnung getragen. Wäre hingegen das gesamte Erwerbseinkommen um einen Drittel zu reduzieren, würde daraus nicht selten gar ein höherer Rentenanspruch als der bisherige resultieren. Damit würde nicht nur ein negativer Anreiz vermieden, sondern ein positiver neu geschaffen. Dies ist indessen mit dem Revisionsziel der finanziellen Sanierung des Sozialwerks nicht vereinbar.
Nach dem Gesagten bezieht sich nach dem Rechtssinn des <ref-law> der lediglich zu zwei Dritteln zu berücksichtigende Betrag auf die (um Fr. 1'500.- reduzierte) Einkommensverbesserung und nicht auf das gesamte Erwerbseinkommen. Dazu hat die II. sozialrechtliche Abteilung die Zustimmung der I. sozialrechtlichen Abteilung eingeholt (<ref-law>).
4.4.3.4 Die vorinstanzliche Festlegung des Invalideneinkommens 2008 entspricht dieser Auslegung von <ref-law>. Dass die Invaliditätsbemessung im Übrigen unzutreffend wäre, ist nicht ersichtlich. Bei einem resultierenden Invaliditätsgrad von 30 % hat das kantonale Gericht die Aufhebung der Viertelsrente auf den 1. April 2008 zu Recht bestätigt (<ref-law>).
4.4.4 Mit Bezug auf das Jahr 2009 hat die Vorinstanz verbindlich (E. 1) festgestellt, dass gegenüber 2008 eine Einkommensverminderung vorliege. Nach dem diesbezüglich klaren Wortlaut von <ref-law> fällt dessen Anwendung von vornherein nicht in Betracht. Zwar ergibt die Differenz der Vergleichseinkommen einen (gerundeten) Invaliditätsgrad von 32 %, was indessen ohne Auswirkungen auf den (fehlenden) Rentenanspruch bleibt. Soweit der Beschwerdeführer geltend macht, unter Berücksichtigung des Lohnes sowie der Invalidenrenten der Invalidenversicherung und aus beruflicher Vorsorge liege gegenüber dem Valideneinkommen 2009 keine Überentschädigung vor, kann er nichts für sich ableiten. Dieser Umstand ist für die Invaliditätsbemessung nicht relevant (vgl. Art. 16 und Art. 69 ATSG).
4.5 Nachdem weder in tatsächlicher noch in rechtlicher Hinsicht Fragen offen geblieben sind, ist der beantragten Rückweisung nicht stattzugeben. Die Beschwerde ist unbegründet.
5. Mit dem Urteil in der Sache wird das Gesuch um Gewährung der aufschiebenden Wirkung gegenstandslos. Auf dieses Gesuch bezieht sich nach der Begründung in der Beschwerde - welche für die Auslegung der Rechtsbegehren heranzuziehen ist (Anwaltsrevue 2009 8 S. 393, 9C_251/2009 E. 1.3 mit Hinweisen) - auch der Eventualantrag betreffend das Betreibungsverfahren, weshalb darauf ebenfalls nicht einzugehen ist.
6. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 15. Juli 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Dormann