Sachverhalt:
A. Die Firma X._ AG - als deren einziger Verwaltungsrat U._ und deren Direktor M._ am ... Juli 2007 zum Eintrag im Handelsregister angemeldet wurden - war der Ausgleichskasse des Kantons Zug als beitragspflichtige Arbeitgeberin angeschlossen. U._ trat am ... Juni 2008 von seinem Amt zurück. Über die Gesellschaft wurde im Dezember 2008 der Konkurs eröffnet; im März 2009 wurde das Verfahren mangels Aktiven eingestellt. Mit Verfügung vom 15. April 2009 verpflichtete die Ausgleichskasse des Kantons Zug U._ (unter solidarischer Haftung mit M._) zur Bezahlung von Schadenersatz für entgangene Beiträge, Verwaltungs-, Mahn- und Betreibungskosten sowie Verzugszinsen in der Höhe von Fr. 119'992.30. Mit Einspracheentscheid vom 30. April 2010 reduzierte sie den Betrag auf Fr. 105'733.60, wobei sie die von Juli 2007 bis Mai 2008 ausgerichteten Löhne berücksichtigte.
B. Die von U._ dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 13. Januar 2011 ab.
C. U._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, der Entscheid vom 13. Januar 2011 sei "aufzuheben und an die Vorinstanz zurückzuweisen"; eventualiter sei der kantonale Entscheid aufzuheben und seine Haftung zu verneinen; subeventualiter sei der Entscheid insofern aufzuheben, dass die Schadenersatzforderung auf entgangene Beiträge für das Jahr 2007 beschränkt werde.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
2. 2.1 Nach <ref-law>, welcher sinngemäss auch im Bereich der Invalidenversicherung (<ref-law>), der Erwerbsersatzordnung (<ref-law>, SR 834.1) und der Arbeitslosenversicherung (<ref-law>, SR 837.0) Anwendung findet, hat ein Arbeitgeber, der durch absichtliche oder grobfahrlässige Missachtung von Vorschriften einen Schaden verschuldet, diesen der Ausgleichskasse zu ersetzen. Ist der Arbeitgeber eine juristische Person, so können subsidiär gegebenenfalls die verantwortlichen Organe in Anspruch genommen werden (<ref-ruling>; <ref-ruling>; <ref-ruling> E. 5b S. 15; je mit Hinweisen).
2.2 Die Arbeitgeber sind verpflichtet, von dem von ihnen ausgerichteten Einkommen aus unselbständiger Erwerbstätigkeit die Arbeitnehmerbeiträge in Abzug zu bringen, mit der Ausgleichskasse abzurechnen sowie die erforderlichen Angaben zu machen, und die Beiträge zusammen mit dem Arbeitgeberbeitrag periodisch der Ausgleichskasse zu entrichten (Art. 14 Abs. 1 und Art. 51 AHVG, Art. 34 und 36 AHVV [SR 831.101]). Die Missachtung dieser Pflichten verletzt Vorschriften der Versicherung im Sinne von <ref-law>.
3. Es steht fest und ist unbestritten, dass die Beiträge auf den von Juli 2007 bis Mai 2008 ausgerichteten Löhnen bloss teilweise bezahlt wurden und die Ausgleichskasse durch die Verletzung der Beitragszahlungspflicht aufgrund der Zahlungsunfähigkeit der Gesellschaft im geltend gemachten Ausmass zu Schaden kam. Umstritten ist, ob der Beschwerdeführer als ehemaliger Verwaltungsrat dafür einzustehen hat.
4. 4.1 Der Beschwerdeführer macht im Wesentlichen geltend, ein (früherer) Rücktritt aus dem Verwaltungsrat hätte den der Ausgleichskasse erwachsenen Schaden nicht verhindert. Dieser sei durch die kriminellen Machenschaften des Direktors und weiterer Personen, welche ausländische Schwarzarbeiter angeheuert hatten, verursacht worden und wäre daher ohnehin entstanden. Damit stellt er insbesondere den Kausalzusammenhang zwischen seinem Verhalten und dem Schaden in Abrede.
4.2 Vorab ist auf die in diesem Zusammenhang vorgebrachte Rüge einer Verletzung der Begründungspflicht durch die Vorinstanz einzugehen. Diese hat die als wesentlich und erstellt erachteten Tatsachen und die daraus gezogenen rechtlichen Schlüsse nachvollziehbar dargelegt. Darin kann keine Verletzung der aus dem Anspruch auf rechtliches Gehör nach <ref-law> sowie <ref-law> (SR 830.1) und <ref-law> abgeleiteten Prüfungs- und Begründungspflicht (Urteil 5A_368/2007 vom 18. September 2007 E. 2; vgl. auch <ref-ruling> E. 5.3 S. 357 ff.) erblickt werden (Urteil 9C_215/2010 vom 20. April 2010 E. 3). Entscheidend ist, dass es den Parteien möglich ist, das vorinstanzliche Erkenntnis - unter Berücksichtigung der Kognition des Bundesgerichts (HANSJÖRG SEILER und andere, Bundesgerichtsgesetz [BGG], 2007, N. 9 f. zu <ref-law>) - sachgerecht anzufechten (<ref-ruling> E. 4.1 S. 88; <ref-ruling> E. 3.3 S. 445; <ref-ruling> E. 1a S. 181). Dies trifft hier zu. Im Gegenteil handelt es sich beim angefochtenen Entscheid um ein überaus gründlich, umfassend und sorgfältig motiviertes Urteil.
4.2 Vorab ist auf die in diesem Zusammenhang vorgebrachte Rüge einer Verletzung der Begründungspflicht durch die Vorinstanz einzugehen. Diese hat die als wesentlich und erstellt erachteten Tatsachen und die daraus gezogenen rechtlichen Schlüsse nachvollziehbar dargelegt. Darin kann keine Verletzung der aus dem Anspruch auf rechtliches Gehör nach <ref-law> sowie <ref-law> (SR 830.1) und <ref-law> abgeleiteten Prüfungs- und Begründungspflicht (Urteil 5A_368/2007 vom 18. September 2007 E. 2; vgl. auch <ref-ruling> E. 5.3 S. 357 ff.) erblickt werden (Urteil 9C_215/2010 vom 20. April 2010 E. 3). Entscheidend ist, dass es den Parteien möglich ist, das vorinstanzliche Erkenntnis - unter Berücksichtigung der Kognition des Bundesgerichts (HANSJÖRG SEILER und andere, Bundesgerichtsgesetz [BGG], 2007, N. 9 f. zu <ref-law>) - sachgerecht anzufechten (<ref-ruling> E. 4.1 S. 88; <ref-ruling> E. 3.3 S. 445; <ref-ruling> E. 1a S. 181). Dies trifft hier zu. Im Gegenteil handelt es sich beim angefochtenen Entscheid um ein überaus gründlich, umfassend und sorgfältig motiviertes Urteil.
4.3 4.3.1 Eine Haftung im Sinne von <ref-law> setzt voraus, dass zwischen der absichtlichen oder grobfahrlässigen Verletzung von Vorschriften und dem Eintritt des Schadens ein adäquater Kausalzusammenhang besteht (<ref-ruling> Erw. 4a mit Hinweisen; SVR 2005 AHV Nr. 18 S. 63, H 86/02 Erw. 5.4.2.3;). Daran fehlt es, wenn auch ein pflichtgemässes Verhalten den Schaden nicht hätte verhindern können. Indessen vermag die blosse Hypothese, der Schaden wäre auch bei pflichtgemässem Verhalten eingetreten, die Adäquanz nicht zu beseitigen. Dass ein Schaden ohnehin eingetreten wäre, muss vielmehr mit Gewissheit oder doch mit hoher Wahrscheinlichkeit nachgewiesen sein. Das schuldhafte Verhalten eines solidarisch Ersatzpflichtigen kann nur dann als inadäquat für den eingetretenen Schaden gelten, wenn das Verschulden des Dritten oder des Geschädigten dermassen schwer wiegt, dass das eigene Fehlverhalten eindeutig in den Hintergrund tritt und damit nach dem gewöhnlichen Lauf der Dinge und der Lebenserfahrung nicht mehr als adäquate Schadensursache erscheint (Urteil H 94/05 vom 19. Januar 2006 E. 5.2 mit Hinweisen; vgl. auch SVR 2008 AHV Nr. 5 S. 13, H 207/06, E. 4.2.2; Urteil 9C_ 228/2008 vom 5. Februar 2009 E. 4.1).
4.3.2 Die Unterbrechung des adäquaten Kausalzusammenhangs fällt insbesondere in Betracht, wenn ein Verwaltungsrat durch strafrechtlich relevante Machenschaften eines anderen Organs der Gesellschaft über die Ausstände gegenüber der Ausgleichskassen hinters Licht geführt und dadurch an der Wahrnehmung seiner Pflichten gehindert wurde (Urteile H 319/99 vom 25. Juli 1999 E. 5; H 201/06 vom 2. August 2007 E. 3.2.5; MARCO REICHMUTH, Die Haftung des Arbeitgebers und seiner Organe nach <ref-law>, 2008, Rz. 794).
4.3.2 Die Unterbrechung des adäquaten Kausalzusammenhangs fällt insbesondere in Betracht, wenn ein Verwaltungsrat durch strafrechtlich relevante Machenschaften eines anderen Organs der Gesellschaft über die Ausstände gegenüber der Ausgleichskassen hinters Licht geführt und dadurch an der Wahrnehmung seiner Pflichten gehindert wurde (Urteile H 319/99 vom 25. Juli 1999 E. 5; H 201/06 vom 2. August 2007 E. 3.2.5; MARCO REICHMUTH, Die Haftung des Arbeitgebers und seiner Organe nach <ref-law>, 2008, Rz. 794).
4.4 4.4.1 Die Vorinstanz ist der Auffassung, eine seriösere Wahrnehmung der Aufgaben als Verwaltungsrat hätte den Schaden verhindern können. Es habe diverse Hinweise für Unregelmässigkeiten gegeben, die der Beschwerdeführer bei Anwendung der gebotenen Sorgfalt hätte erkennen müssen. So habe er für die Buchhaltung - wofür er auch in seiner Funktion als Geschäftsführer der U._ Treuhand GmbH zuständig gewesen sei - angeforderte Unterlagen nicht erhalten. Weiter seien hohe Bargeldbeträge vom Bankkonto abgehoben worden und innert kürzester Zeit trotz kleiner Belegschaft mehrere Geschäftsfahrzeuge angeschafft worden. Namentlich diese Umstände hätten das aktive Eingreifen des einzigen Verwaltungsrates erfordert und ihn verpflichtet, weiter nachzufragen, Einblick in die konkreten Unterlagen zu verlangen, Weisungen zu erteilen oder eine ausserordentliche Generalversammlung einzuberufen. Er habe sich mit mündlichen Vertröstungen durch den Direktor zufrieden gegeben und lediglich im Februar 2008 die Einstellung einer Buchhalterin auf Mai 2008 veranlasst, was nicht genüge. Er sei somit nicht ausreichend darum besorgt gewesen, dass Löhne nur unter gleichzeitiger Abrechnung und Einzahlung oder Sicherstellung der darauf anfallenden Sozialversicherungsbeiträge ausgerichtet wurden. Weiter sei er nicht durch Dritte, insbesondere den Geschäftsführer, richtiggehend hinters Licht geführt oder gar durch strafrechtliche Handlungen an der Wahrnehmung seiner Pflichten gehindert worden.
4.4.2 Die vorinstanzlichen Feststellungen sind nicht offensichtlich unrichtig und beruhen auch nicht auf einer Rechtsverletzung, weshalb sie für das Bundesgericht verbindlich sind (E. 1). Angesichts der vom Beschwerdeführer getroffenen wenigen und ineffizienten Massnahmen tritt sein Fehlverhalten im Vergleich zu jenem des Geschäftsführers auch nicht eindeutig in den Hintergrund (E. 4.3), selbst wenn dieser wegen der Beschäftigung von Schwarzarbeitern strafrechtlich verfolgt wurde. Unter den gegebenen Umständen hat das kantonale Gericht zu Recht einen (natürlichen und adäquaten) Kausalzusammenhang angenommen. Daran ändert nichts, dass der Schaden möglicherweise auch entstanden wäre, wenn der Beschwerdeführer früher aus dem Verwaltungsrat ausgeschieden wäre. Der Vorwurf gegen ihn liegt denn auch nicht darin, dass er nicht (früher) von seinem Amt zurücktrat, sondern dass er trotz Hinweisen für Unregelmässigkeiten seinen Pflichten als Organ (vgl. insbesondere die nach <ref-law> unübertragbaren Aufgaben) nur ungenügend nachkam und damit schuldhaft den aus der Verletzung der der Gesellschaft obliegenden Beitragsabrechnungs- und -zahlungspflichten resultierenden Schaden bewirkte. Wenn auch nicht die kriminellen Machenschaften, so aber doch die von Anfang an fehlende Ordnungsmässigkeit des gesamten Geschäftsgebarens der Firma waren für den Beschwerdeführer - hätte er sich um seine Pflichten als Verwaltungsrat gekümmert - klar erkennbar gewesen. In solchen ungesicherten Verhältnissen hat sich der Verwaltungsrat einer Kleinfirma Gewissheit über die Zahlung der AHV-Beiträge zu verschaffen. Der Kausalzusammenhang wäre durch einen früheren Rücktritt infolge Verlusts der Dispositionsmöglichkeit unterbrochen worden, weshalb der zurückgetretene Verwaltungsrat seiner Haftung bereits ab diesem Zeitpunkt hätte entgehen können.
4.4.2 Die vorinstanzlichen Feststellungen sind nicht offensichtlich unrichtig und beruhen auch nicht auf einer Rechtsverletzung, weshalb sie für das Bundesgericht verbindlich sind (E. 1). Angesichts der vom Beschwerdeführer getroffenen wenigen und ineffizienten Massnahmen tritt sein Fehlverhalten im Vergleich zu jenem des Geschäftsführers auch nicht eindeutig in den Hintergrund (E. 4.3), selbst wenn dieser wegen der Beschäftigung von Schwarzarbeitern strafrechtlich verfolgt wurde. Unter den gegebenen Umständen hat das kantonale Gericht zu Recht einen (natürlichen und adäquaten) Kausalzusammenhang angenommen. Daran ändert nichts, dass der Schaden möglicherweise auch entstanden wäre, wenn der Beschwerdeführer früher aus dem Verwaltungsrat ausgeschieden wäre. Der Vorwurf gegen ihn liegt denn auch nicht darin, dass er nicht (früher) von seinem Amt zurücktrat, sondern dass er trotz Hinweisen für Unregelmässigkeiten seinen Pflichten als Organ (vgl. insbesondere die nach <ref-law> unübertragbaren Aufgaben) nur ungenügend nachkam und damit schuldhaft den aus der Verletzung der der Gesellschaft obliegenden Beitragsabrechnungs- und -zahlungspflichten resultierenden Schaden bewirkte. Wenn auch nicht die kriminellen Machenschaften, so aber doch die von Anfang an fehlende Ordnungsmässigkeit des gesamten Geschäftsgebarens der Firma waren für den Beschwerdeführer - hätte er sich um seine Pflichten als Verwaltungsrat gekümmert - klar erkennbar gewesen. In solchen ungesicherten Verhältnissen hat sich der Verwaltungsrat einer Kleinfirma Gewissheit über die Zahlung der AHV-Beiträge zu verschaffen. Der Kausalzusammenhang wäre durch einen früheren Rücktritt infolge Verlusts der Dispositionsmöglichkeit unterbrochen worden, weshalb der zurückgetretene Verwaltungsrat seiner Haftung bereits ab diesem Zeitpunkt hätte entgehen können.
4.5 4.5.1 Überdies macht der Beschwerdeführer hinsichtlich seiner Verantwortlichkeit ab Anfang 2008 den "Exkulpationsgrund der kurzen Dauer" geltend.
4.5.2 Nach der Rechtsprechung kann die kurze Dauer eines Normverstosses ein qualifiziertes Verschulden ausschliessen (<ref-ruling>; <ref-ruling>; Urteil 9C_330/2010 vom 18. Januar 2011 E. 3.4 mit Hinweisen). Diese Regelung ist indessen nicht so zu verstehen, dass grundsätzlich für die letzten Monate in der Funktion als Gesellschaftsorgan eine Haftung entfiele.
4.5.3 Die Vorinstanz hat verbindlich (E. 1 und 4.6) festgestellt, dass sich die Schadenersatzforderung auf Beitragsausstände betreffend Juli 2007 bis Mai 2008 in der Höhe von Fr. 105'733.60 beziehe, wobei 2007 rund 80 % der geschuldeten Summe unbezahlt geblieben und 2008 nicht einmal 10 % der Beiträge entrichtet worden seien. Somit bestand seit Aufnahme der Geschäftstätigkeit (vgl. dazu Urteil H 5/04 vom 10. Dezember 2004 E. 4.2.4 mit Hinweisen) unter der Verantwortung des Beschwerdeführers ein dauernder Schuldsaldo gegenüber der Ausgleichskasse. Es kann deshalb nicht von einem Ausstand nur während einer kurzen Dauer oder eines vorübergehenden Liquiditätsengpasses gesprochen werden (Urteil 9C_461/2009 vom 31. Dezember 2010 E. 5.5), welcher ein qualifiziertes Verschulden ausschliessen könnte (E. 4.5.2).
4.6 Die übrigen Voraussetzungen der subsidiären Haftung als Arbeitgeberorgan nach <ref-law> sowie der Umfang der Ersatzpflicht werden nicht bestritten. Es besteht kein Anlass für eine nähere Prüfung von Amtes wegen (<ref-ruling> E. 1b und 2c S. 415 ff.; BGE 110 V E. 4a S. 53). Die Vorinstanz hat die Haftung des Beschwerdeführers zu Recht bejaht, und entgegen dessen Auffassung kann dieses Ergebnis auch nicht als unhaltbar oder willkürlich (vgl. <ref-law>; <ref-ruling> E. 4.1 S. 133; <ref-ruling> E. 3.1 S. 153 mit Hinweisen) bezeichnet werden. Die Beschwerde ist unbegründet.
5. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 5'000.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 11. April 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Dormann