Sachverhalt:
A. Die im August 2000 gegründete Firma B._ AG war der Ausgleichskasse des Kantons Zug angeschlossen. Am .... wurde über die Gesellschaft der Konkurs eröffnet. Die Ausgleichskasse gab eine Forderung von Fr. 936'544.95 für unbezahlt gebliebene Sozialversicherungsbeiträge 2001 bis 2003 ein, von welcher Summe Fr. 787'651.55 ungedeckt blieben. Mit Verfügung vom 18. Februar 2008 forderte die Ausgleichskasse u.a. von S._, von Oktober 2000 bis 16. Januar 2003 Direktor mit Kollektivunterschrift zu zweien, und von T._, seit Ende September 2000 einziges Mitglied und ab Januar 2003 bis zu seinem Ausscheiden am 24. Februar 2003 Präsident des Verwaltungsrates mit Einzelunterschrift, in solidarischer Haftbarkeit Schadenersatz in der Höhe von Fr. 506'794.30. Mit Einspracheentscheid vom 5. März 2010 reduzierte sie die Forderung gegenüber S._ auf Fr. 495'276.80.
B. S._ liess beim Verwaltungsgericht des Kantons Zug Beschwerde einreichen und beantragen, der Einspracheentscheid vom 5. März 2010 und die Verfügung vom 18. Februar 2008 seien aufzuheben.
Nach Vernehmlassung der Ausgleichskasse und einem zweiten Schriftenwechsel erhielten die Parteien Gelegenheit, sich zum Urteil 9C_325/2010 vom 10. Dezember 2010, mit welchem T._ letztinstanzlich zur Bezahlung von Schadenersatz in der Höhe von Fr. 386'580.05 verpflichtet worden war, zu äussern.
Mit Entscheid vom 17. März 2011 hiess die Sozialversicherungsrechtliche Kammer des Zuger Verwaltungsgerichts die Beschwerde teilweise gut und stellte fest, dass S._ der Ausgleichskasse Schadenersatz im Betrage von Fr. 108'696.75 schulde.
C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid vom 17. März 2011 sei aufzuheben und festzustellen, dass er keinen Schadenersatz schulde.
Die Ausgleichskasse beantragt die Abweisung der Beschwerde. Das kantonale Gericht verzichtet unter Hinweis auf seine Ausführungen im angefochtenen Entscheid auf eine Stellungnahme und einen Antrag. Das Bundesamt für Sozialversicherungen hat sich nicht vernehmen lassen.

Erwägungen:
1. Der angefochtene Entscheid verpflichtet den Beschwerdeführer zur Bezahlung von Schadenersatz nach <ref-law> (seit 1. Januar 2003: <ref-law>) in der Höhe von Fr. 108'696.75. Dabei handelt es sich um den zuletzt im vorinstanzlichen Verfahren umstritten gebliebenen Betrag, welcher den Streitwert vor Bundesgericht darstellt (<ref-law> in Verbindung mit <ref-law>; Urteil 9C_125/2011 vom 7. Juni 2011 E. 1.4.-1.6). Auf die Beschwerde, welche auch den übrigen formellen Gültigkeitserfordernissen genügt, ist somit einzutreten.
2. Der Ausgleichskasse ist als Folge der Missachtung der Vorschriften betreffend die Pflicht zur Abrechnung und Bezahlung der paritätischen Beiträge (<ref-law> und <ref-law>) durch die konkursite Firma ein Schaden entstanden. Das ist unbestritten. Dieses Verhalten ist den verantwortlichen Organen grundsätzlich als qualifiziertes Verschulden zuzurechnen (<ref-ruling> E. 4b S. 244), was die volle Schadenersatzpflicht nach sich zieht (Urteil 9C_152/2009 vom 18. November 2009 E. 5.2), sofern der Schaden in einem adäquaten Kausalzusammenhang damit steht, keine Rechtfertigungs- oder Exkulpationsgründe gegeben sind (<ref-ruling> E. 4a S. 406; <ref-ruling> E. 1 S. 201) und die Ausgleichskasse kein Mitverschulden trifft (<ref-ruling>; Urteil 9C_48/2010 vom 9. Juni 2010 E. 4).
Die Rechtsprechung zu den einzelnen Haftungsvoraussetzungen, insbesondere Organstellung, Schaden, Widerrechtlichkeit und Verschulden, wird im angefochtenen Entscheid richtig wiedergegeben. Darauf wird verwiesen.
3. 3.1 Der Beschwerdeführer macht in erster Linie sinngemäss geltend, soweit ihm als ehemaliger Direktor der konkursiten Firma überhaupt Organstellung zugekommen sei, könne ihm deren widerrechtliches Verhalten (Nichtbezahlung paritätischer Beiträge) mangels Zuständigkeit für das Beitragswesen nicht angelastet werden. Er rügt eine offensichtlich unrichtige Sachverhaltsermittlung (<ref-law>) in Bezug auf die Frage, ob er die Möglichkeit gehabt habe, einen Schaden zu verursachen oder einen solchen zu verhindern. Aus den von der Vorinstanz erwähnten Dokumenten (Protokoll der Verwaltungsratssitzung vom 14. November 2002, Arbeitszeugnis vom 19. Dezember 2002) könne nicht hergeleitet werden, dass er mit dem Beitragswesen zu tun und Kenntnis von (den) Beitragsausständen gehabt habe. Die Vorinstanz habe zudem willkürlich lediglich die gegen ihn sprechenden nicht aber die für ihn streitenden Beweise berücksichtigt.
3.2 Die Vorinstanz hat festgestellt, der Beschwerdeführer sei als geschäftsführender Direktor mit dem eigentlichen Kerngeschäft "Personalvermittlung und Personalverleih" der Firma betraut gewesen. Er habe Lohn- und Tarifverhandlungen geführt und Budgets erstellt. Die internen wie die temporären Mitarbeiter seien ihm unterstellt gewesen. In dieser Position habe er auch Einblick in das sozialversicherungsrechtliche Beitragswesen haben müssen. Eine entsprechende Mitverantwortung sei folglich anzunehmen. In diesem Zusammenhang sei zu beachten, dass das Lohn- und Beitragswesen bei einer Gesellschaft, welche die Vermittlung und den Verleih von Personal als operatives Geschäft betreibe, zu dessen Kernbereich gehöre. Wer hierfür die Verantwortung trage, habe auch die Umsetzung zu überwachen, müsse mithin diesbezüglich die Aufsicht ausüben. Es sei somit von einer rechtsrelevanten Mitverantwortung für das Lohn- und Beitragswesen auszugehen. "So wie das Aufsichtsorgan, der Verwaltungsrat, zur Überwachung des Lohn- und Beitragswesens verpflichtet ist, ist auch der für die Bereiche Personal resp. Personalvermittlung und -verleih zuständige Geschäftsführer verpflichtet, dem Lohn- und Beitragswesen besonderes Augenmerk zu schenken bzw. das ihm unterstellte, mit der konkreten Ausführung betraute Personal zu beaufsichtigen". Als kollektiv zeichnungsberechtigter Direktor hätte er sich nötigenfalls um die Zugangsberechtigung zu den massgeblichen Unterlagen bzw. Internet- und Computerprogrammen bemühen müssen. Als Inhaber eines beachtlichen Aktienpaketes hätte er auch die Möglichkeit gehabt, eine Generalversammlung einzuberufen und an dieser die Bezahlung der Ausstände, sofern er diese nicht selber auslösen konnte, zu thematisieren und zum Beschluss zu erheben.
4.1 4.1.1 Bei einer Aktiengesellschaft sind alle Mitglieder des Verwaltungsrates unabhängig davon, welche Aufgaben sie tatsächlich erfüllen, Organ im formellen Sinn. Anderen Personen kommt faktische Organstellung zu, wenn sie tatsächlich die Funktion von Organen erfüllen, indem sie diesen vorbehaltene Entscheide treffen oder die eigentliche Geschäftsführung besorgen und so die Willensbildung der Gesellschaft massgebend mitbestimmen (<ref-ruling> E. 4.5 S. 528; <ref-ruling>; vgl. auch <ref-ruling>). Dabei reicht die Schadenersatzpflicht grundsätzlich nur soweit als die betreffende Person in Bezug auf die nichtbezahlten Beiträge disponieren und Zahlungen an die Ausgleichskasse veranlassen konnte (<ref-ruling> E. 5.1 S.402; vgl. <ref-ruling> E. 5 S. 123). Ausserhalb des eigenen Zuständigkeitsbereichs kommt dem faktischen Organ keine Pflicht zu, die anderen Organe zu überwachen (Urteile des Eidg. Versicherungsgerichts H 128/04 vom 14. Februar 2006 E. 3 und H 266/94 vom 17. Juli 1995, E. 5b; vgl. auch <ref-ruling> E. 5a S. 178; ferner Marco Reichmuth, Die Haftung des Arbeitgebers und seiner Organe nach <ref-law>, 2008, S. 56 Rz. 224 f.).
4.1.2 Nach der Rechtsprechung haben Geschäftsführer von Aktiengesellschaften nicht formelle Organstellung (SVR 1999 AHV Nr. 10 S. 29, H 262/96 E. 3a; vgl. auch AHI 2002 S. 172, H 252/01 E. 3c). Demgegenüber kommt im Handelsregister eingetragenen Direktoren mit Einzelzeichnungsberechtigung in der Regel formelle Organqualität zu (Urteil 9C_279/2007 vom 17. Juni 2008 E. 3.2.1; Urteile des Eidg. Versicherungsgerichts H 107/01 vom 23. Juli 2002 E. 4.2 und H 215/99 vom 29. Februar 2000 E. 4b). Allerdings haben sie nur für Handlungen und Unterlassungen in ihrem Aufgabenbereich einzustehen, was unter Umständen eine Haftung nach <ref-law> ausschliesst (Urteile des Eidg. Versicherungsgerichts H 128/04 vom 14. Februar 2006 E. 3 und H 234/02 vom 16. April 2003 E.7.3; vgl. auch Reichmuth, a.a.O., S. 54). Inwieweit Direktoren ausserhalb des eigenen Zuständigkeitsbereichs eine Pflicht zukommt, die anderen Organe zu überwachen, ist im Einzelfall aufgrund der konkreten Umstände zu entscheiden.
4.2 Nach Auffassung der Vorinstanz war der Beschwerdeführer von Oktober 2000 bis 16. Januar 2003 in seiner Funktion als Direktor mit Kollektivunterschrift zu zweien materielles Organ der im November 2003 Konkurs gegangenen Firma. Zu dieser dritten Kategorie seien nach einem Teil der Lehre Personen zu zählen, denen durch rechtsgültige gesellschaftsinterne Delegation gesetzlich den formellen Organen zustehende Aufgaben übertragen worden sind. Materielle Organe seien zwischen den formellen und faktischen Organen einzuordnen (Reichmuth, a.a.O., S. 52 f.). Der Beschwerdeführer sei in diesem Sinne materielles Organ, da aufgrund der konkreten Umstände, insbesondere seiner Verantwortung für das eigentliche Kerngeschäft "Personalvermittlung und Personalverleih", welche sich u.a. aus dem Pflichtenheft gemäss Arbeitszeugnis vom 9. Dezember 2002 ergebe, von einer rechtsrelevanten Mitverantwortung auch für das Lohn- und Beitragswesen auszugehen sei (vorne E. 3.2). Dieser tatsächliche und rechtliche Schluss beruht auf ungesicherten Annahmen und einer einseitigen Beweiswürdigung, mithin auf einer offensichtlich unrichtigen Sachverhaltsfeststellung (Art. 105 Abs. 1 und 2 BGG), wie der Beschwerdeführer rügt.
4.2.1 Es mag zutreffen, dass das Lohn- und Beitragswesen bei einer Gesellschaft, welche die Vermittlung und den Verleih von Personal als operatives Geschäft betreibt, zu dessen Kernbereich gehört. Indessen ist nicht einsehbar, inwiefern eine Person, welche den Lohn und die Anstellungsbedingungen für die eigenen sowie die zu vermittelnden und an andere Firmen zu verleihenden temporären Arbeitnehmer festsetzt, zwingend - gleichsam automatisch - auch mit der Abrechnung und Bezahlung der Sozialversicherungsbeiträge zu tun haben muss. Es handelt sich dabei um eine Feststellung, welche weder als Erfahrungstatsache gelten kann noch durch konkrete Umstände belegt ist.
4.2.2 Der detaillierten Umschreibung des Aufgabengebietes des Beschwerdeführers im Arbeitszeugnis vom 9. Dezember 2002 sodann lassen sich keine Hinweise auf allfällige Obliegenheiten des Beschwerdeführers im Zusammenhang mit der Lohnzahlung sowie Beitragsabrechnungs- und zahlungspflichten gegenüber der Ausgleichskasse entnehmen. Daraus ergibt sich in erster Linie, dass seine Haupttätigkeit im Verkauf der Dienstleistung "Personalvermittlung und Personalverleih" bestand, was u.a. das Führen von Lohn- und Tarifverhandlungen mit den (potenziellen) Temporär-Mitarbeitern einschloss. Schliesslich mussten im Budget, an deren Erstellung der Beschwerdeführer mitbeteiligt war, beim Aufwand die voraussichtlichen Sozialversicherungsabgaben aufgeführt werden. Daraus lassen sich indessen keine Schlüsse in Bezug auf allfällige Aufgaben des Beschwerdeführers im fraglichen Geschäftsbereich ziehen.
4.2.3 Weiter wurde im Protokoll der Verwaltungsratssitzung vom 14. November 2002 unter Ziff. 1.1.5 "Organe und Aktionäre" festgehalten, die Geschäftsführung der Gesellschaft sei H. und dem Beschwerdeführer gemeinsam anvertraut. H. kümmere sich hauptsächlich um die Geschäftsführung mit sämtlichen Belangen des Backoffice sowie der EDV, der Beschwerdeführer leite das Temporärgeschäft. Die Vorinstanz hat diesen Umstand unerwähnt gelassen, was in der Beschwerde zu Recht als bundesrechtswidrige weil einseitige Beweiswürdigung gerügt wird. Diese Aufteilung der Zuständigkeitsbereiche zwischen den beiden Geschäftsführern durch den letztlich verantwortlichen Verwaltungsrat spricht für das Vorbringen des Beschwerdeführers, wonach er gemäss klarer gesellschaftsinterner Regelung mit dem Beitragswesen nichts zu tun hatte. Diese Annahme wird bestätigt durch das von der Vorinstanz ebenfalls nicht erwähnte, vom anderen (zweiten) Geschäftsführer H. unterzeichnete Schreiben der Firma vom 26. August 2002 an die Ausgleichskasse, worin dieser im Zusammenhang mit der ratenweisen Abzahlung von ausstehenden Beiträgen darum ersuchte, die Korrespondenz an ihn persönlich zu adressieren. Ebenfalls waren die "AHV-Lohnbescheinigungen" (einzig) von H. unterzeichnet.
4.2.4 Das weitere vorinstanzliche Argument, als kollektiv zeichnungsberechtigter Direktor hätte sich der Beschwerdeführer nötigenfalls um die Zugangsberechtigung zu den massgeblichen Unterlagen bzw. Internet- und Computerprogrammen bemühen müssen, geht davon aus, soweit er mit dem Beitragswesen nichts zu tun gehabt habe, habe diesbezüglich zumindest eine Kontroll- und Überwachungspflicht bestanden. Es sind indessen keine Anhaltspunkte ersichtlich, welche diese Annahme zu stützen vermöchten und zu weiteren Abklärungen Anlass böten. Insbesondere weist der Beschwerdeführer zu Recht darauf hin, dass sich aus der Jahresrechnung 2001 keine Beitragsausstände ergeben hatten. Der Revisionsstellenbericht vom 25. September 2002 zu Handen der Generalversammlung der Aktionäre wies für das erste Geschäftsjahr vom 4. September 2000 bis 31. Dezember 2001 einen Bilanzgewinn von Fr. 28'627.- aus, was auch im Protokoll der Verwaltungsratssitzung vom 14. November 2002 vermerkt wurde. Darin wurde zwar auch auf im Frühsommer erkannte Probleme in der Buchhaltung, u.a. mangels fundierter Kenntnisse im Finanz- und Rechnungswesen hingewiesen und festgehalten, dass daher im Juni 2002 eine Fachperson eingestellt worden sei. Dieser Umstand vermochte indessen keine (zusätzliche) Pflicht des Beschwerdeführers zur Überwachung und Kontrolle des Beitragswesens auszulösen. Anders verhielte es sich nur, wenn er vom anwesenden einzigen Verwaltungsrat einen entsprechenden Auftrag erhalten hätte. Schliesslich lässt die Tatsache, dass der Beschwerdeführer anfänglich 45 %, seit 10. Oktober 2002 noch 25 % der Aktien hielt, keine Schlüsse in Bezug auf die Frage einer faktischen Organstellung zu (BGE <ref-ruling> E. 5 S. 219; Reichmuth, a.a.O., S. 56 Fn 354).
4.3 Zusammenfassend musste aufgrund der Akten der für das operative Geschäft zuständige Beschwerdeführer weder von Beitragsausständen wissen, noch war er "so wie das Aufsichtsorgan, der Verwaltungsrat" (vorne E. 3.2) zur Überwachung des Lohn- und Beitragswesens verpflichtet. Dem Beschwerdeführer, der für das Operative der Personalvermittlung zuständig war, kam keine faktische Organstellung zu. Von weiteren Abklärungen sind keine neuen Erkenntnisse zu erwarten und daher davon abzusehen, was zu Lasten der Ausgleichskasse geht (<ref-law>; <ref-ruling> E. 2a S. 521; <ref-ruling> E. 5 in fine S. 219; Urteil 9C_535/2008 vom 3. Dezember 2008 E. 5.1). Mangels formeller oder faktischer Organstellung entfällt seine Haftung nach <ref-law>.
5. Dem Ausgang des Verfahrens entsprechend hat die Ausgleichskasse die Gerichtskosten zu tragen (<ref-law>) und dem Beschwerdeführer eine Parteientschädigung zu bezahlen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und der Entscheid des Verwaltungsgerichts des Kantons Zug, Sozialversicherungsrechtliche Kammer, vom 17. März 2011 sowie der Einspracheentscheid der Ausgleichskasse des Kantons Zug vom 5. März 2010 werden aufgehoben.
2. Die Gerichtskosten von Fr. 5'000.- werden der Ausgleichskasse des Kantons Zug auferlegt.
3. Die Ausgleichskasse des Kantons Zug hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Das Verwaltungsgericht des Kantons Zug hat die Parteientschädigung für das vorangegangene Verfahren neu festzusetzen.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. September 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Fessler