Sachverhalt:
A. Nachdem im Januar 2006 ein Leistungsbegehren abgewiesen worden war, meldete sich der 1962 geborene A._ im März 2010 erneut bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen und Durchführung des Vorbescheidverfahrens verneinte die IV-Stelle Zug mit Verfügung vom 26. Januar 2011 wiederum einen Anspruch auf eine Invalidenrente.
B. Die Beschwerde des A._ wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 26. August 2011 ab.
C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, unter Aufhebung des Entscheids vom 26. August 2011 sei ihm ab 1. September 2010 eine ganze Invalidenrente zuzusprechen; eventualiter sei die IV-Stelle zu verpflichten, weitere medizinische Abklärungen bzw. eine Evaluation der funktionellen Leistungsfähigkeit (EFL) und allenfalls BEFAS-Abklärung vorzunehmen.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
2. 2.1 Die Vorinstanz hat gestützt auf die Beurteilung des Dr. med. B._ vom Regionalen Ärztlichen Dienst (RAD; Untersuchungsbericht vom 20. Oktober 2010 und Stellungnahme vom 4. Juli 2011) festgestellt, der Beschwerdeführer sei in einer körperlich angepassten Tätigkeit (vorwiegend im Sitzen mit der Möglichkeit zum spontanen Positionswechsel, mit leichter körperlicher Arbeit in Wechselbelastung) zu 100 % arbeitsfähig. Weiter hat sie die von der Verwaltung festgelegten Vergleichseinkommen bestätigt und bei einem resultierenden Invaliditätsgrad von 4 % einen Rentenanspruch verneint.
2.2 Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.), welche das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat (E. 1). Die konkrete Beweiswürdigung stellt ebenfalls eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach <ref-law> Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil I 865/06 vom 12. Oktober 2007 E. 4 mit Hinweisen), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (<ref-law> und <ref-law>; <ref-ruling> E. 1.4.1 und 1.4.2 S. 254) frei überprüfen kann (<ref-law>).
2.3 Der Untersuchungsbericht vom 20. Oktober 2010 mit Stellungnahme vom 4. Juli 2011 des Dr. med. B._, Facharzt Orthopädische Chirurgie und Traumatologie des Bewegungsapparates, genügt den materiellen bundesrechtlichen Anforderungen an die Beweiskraft (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352 mit Hinweis): Er beruht auf eigener Untersuchung des Beschwerdeführers, und der Experte berücksichtigte die geklagten Beschwerden sowie die im Zeitpunkt seiner Einschätzung bei der Verwaltung vorhandenen medizinischen Unterlagen. In der späteren, im Rahmen des Beschwerdeverfahrens eingeholten Stellungnahme wurde einleuchtend dargelegt, dass unter funktioneller Betrachtung die mittels CT-Untersuchung vom 13. Juli 2010 durch das Spital X._ gestellte Diagnose einer älteren Abrissfraktur des Trochanter major mit Pseudarthrose die Einschätzung der Arbeitsfähigkeit in angepasster Tätigkeit nicht weiter berührt; ausserdem fehlen Anhaltspunkte für einen ungenügenden Einbezug der sich aus der genannten Diagnose ergebenden Symptome und Beeinträchtigungen. Dr. med. B._ legte insbesondere einleuchtend dar, weshalb er die aktuelle Tätigkeit mit "ständig stehendem und gehendem Belastungsprofil" nicht für optimal angepasst hielt, indessen für leidensadaptierte Arbeiten keine Einschränkungen attestierte.
Was die abweichende Einschätzung des Dr. med. S._ vom 24. Januar 2011 anbelangt, hat das kantonale Gericht festgestellt, angesichts der von ihm als "belastungsabhängig" erkannten Schmerzen im Hüftbereich habe er keine nachvollziehbare Begründung geliefert für die Annahme, dass in sämtlichen Tätigkeiten eine Arbeitsunfähigkeit von 50 % bestehe. Diese im Rahmen freier Beweiswürdigung (<ref-law>) getroffene Feststellung ist nicht offensichtlich unrichtig und daher für das Bundesgericht verbindlich (E. 1). Dass Dr. med. B._ diesbezüglich im Beschwerdeverfahren nicht Stellung nahm, schmälert den Beweiswert seines Untersuchungsberichts nicht. Umgekehrt mangelt es dem Gutachten des Dr. med. S._ vom 24. Januar 2011 seinerseits auch insofern an Überzeugungskraft, als daraus nicht ersichtlich ist, ob es in Kenntnis der Vorakten und somit der Auffassung des Dr. med. B._ erstellt wurde (BGE <ref-ruling> E. 3a S. 352), zumal eine Auseinandersetzung damit fehlt. Weiter spricht auch die Arbeitsfähigkeitsschätzung des Dr. med. E._ (Schreiben vom 14. März 2011) nicht gegen die Beweiskraft des Berichts des Dr. med. B._: In Bezug auf angepasste Tätigkeiten ist ebenfalls keine Begründung vorhanden; ausserdem ist der Verschiedenheit von Behandlungs- und Begutachtungsauftrag Rechnung zu tragen (BGE <ref-ruling> E. 3b/cc S. 353; Urteile 8C_740/2010 vom 29. September 2011 E. 6; 9C_842/2009 vom 17. November 2009 E. 2.2).
Schliesslich steht in Bezug auf die Art der gegenwärtig ausgeübten (Reinigungs-)Arbeit als Hauswart - auch ohne Rücksprache mit dem Arbeitgeber - fest, dass sie vorwiegend im Gehen oder Stehen auszuüben ist. Auch wenn sie verschiedentlich als "körperlich leicht" und für den Versicherten als "angepasst" erachtet wurde, entspricht sie nicht dem durch Dr. med. B._ nachvollziehbar begründeten medizinischen Anforderungsprofil. Ein solches bildet indessen die notwendige Grundlage für die Qualifikation einer Tätigkeit als leidensadaptiert. Im Übrigen gingen die Hausärztin (Bericht vom 23. April 2010) und der Orthopäde Dr. med. W._ (Bericht vom 28. April 2010) medizinisch-theoretisch ebenfalls von einer nicht resp. kaum eingeschränkten Arbeitsfähigkeit in anderen, leidensangepassten Beschäftigungen aus.
2.4 Ein EFL-Testverfahren (vgl. SVR 2009 IV Nr. 26 S. 73, 8C_547/2008 E. 4.2.1) ist nicht in jedem Fall durchzuführen, sondern allenfalls in Betracht zu ziehen, wenn sich die beteiligten Fachärzte ausser Stande sehen, eine zuverlässige Einschätzung des leistungsmässig Machbaren vorzunehmen, und deshalb eine konkrete leistungsorientierte berufliche Abklärung als zweckmässigste Massnahme ausdrücklich empfehlen (Urteil 8C_976/2010 vom 23. Februar 2011 E. 5.5). Es ist indessen nicht bereits dann erforderlich, wenn lediglich ärztliche Einschätzungen der gesundheitlich bedingten Einschränkung voneinander abweichen. Eine medizinisch-theoretische Beurteilung der Arbeitsfähigkeit genügt als Grundlage für die Bemessung der Invalidität; liegt eine solche vor, darf auf eine Begutachtung durch eine berufliche Abklärungsstelle (BEFAS; vgl. <ref-law>) verzichtet werden (Urteile 9C_466/2010 vom 23. August 2010 E. 3.4.2; 9C_332/2009 vom 28. Mai 2009 E. 3.4).
Bei der im konkreten Fall gegebenen Aktenlage (vgl. E. 2.3) hat das kantonale Gericht in pflichtgemässer antizipierender Beweiswürdigung (<ref-ruling> E. 5.2 S. 69; <ref-ruling> E. 5.3 S. 236) auf weitere Abklärungen verzichtet.
2.5 Nach dem Gesagten sind die vorinstanzliche Beweiswürdigung und Sachverhaltsfeststellung betreffend die Arbeitsfähigkeit (vgl. E. 2.1) nicht offensichtlich unrichtig und beruhen auch nicht auf einer Rechtsverletzung. Sie bleiben daher für das Bundesgericht verbindlich (E. 1).
2.6 In Bezug auf dieses Ergebnis werden die übrigen Faktoren der Invaliditätsbemessung nicht angefochten. Es besteht kein Anlass für eine nähere Prüfung von Amtes wegen (<ref-ruling> E. 1b und 2c S. 415 ff.; <ref-ruling> E. 4a S. 53). Das kantonale Gericht hat folglich zu Recht einen Rentenanspruch verneint (<ref-law>).
3. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. Februar 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Dormann