Sachverhalt:
A. Mit Verfügung vom 3. August 2011 verneinte die IV-Stelle Schwyz den Anspruch von F._ auf berufliche Massnahmen und eine Rente der Invalidenversicherung.
B. Die Beschwerde des F._ wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 18. November 2011 ab.
C. F._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der Entscheid vom 18. November 2011 sei aufzuheben und eine dem Beschwerde- und Krankheitsbild angemessene Abklärung und Untersuchung anzuordnen, unter Befreiung von der Bezahlung von Verfahrenskosten.
Die IV-Stelle beantragt die Abweisung der Beschwerde. Das kantonale Verwaltungsgericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. Im angefochtenen Entscheid werden die vorliegend massgebenden Rechtsgrundlagen, insbesondere zum Anspruch auf Umschulung (<ref-law>) und Rente (<ref-law>) richtig wiedergegeben. Darauf wird verwiesen.
2. Die Vorinstanz hat die Akten dahingehend gewürdigt, der Beschwerdeführer sei seit dem 19. September 2010 in einer leichten adaptierten Tätigkeit voll arbeitsfähig. Dabei hat sie im Wesentlichen auf den Bericht des Dr. med K._ vom 24. Juni 2011 abgestellt. Daraus ergebe sich, dass zumindest in einer leichten angepassten Tätigkeit (wieder) von einer vollen Arbeitsfähigkeit auszugehen sei. Gestützt darauf hat die Vorinstanz durch Einkommensvergleich (<ref-law> in Verbindung mit <ref-law>) einen Invaliditätsgrad von 10 % ermittelt, was einen Rentenanspruch ausschliesse (vgl. <ref-law>).
Ebenfalls fehle es an der quantitativen Voraussetzung für den Anspruch auf Umschulung (vgl. SVR 2010 IV Nr. 16 S. 50, 9C_547/2009 E. 2).
3. 3.1 Der Beschwerdeführer wendet zu Recht ein, dass der behandelnde Rheumatologe Dr. med. K._ im Bericht vom 24. Juni 2011 keine Einschätzung der Arbeitsfähigkeit vornahm, sondern sich zur Indikation für eine ambulante Rehabilitation (interdisziplinäres Schmerzprogramm) äusserte. Darauf kann somit nicht abgestellt werden.
3.2 Dr. med. K._ äusserte sich in seiner E-Mail vom 29. September 2011 an Dr. med. L._ dahingehend, aus rheumatologischer Sicht bestehe eine Arbeitsfähigkeit von 70 % für eine körperlich leichte Tätigkeit unter Vermeidung belastender Körperhaltungen und Heben und Tragen von Lasten repetitiv bis 10 kg, nur intermittierend mit mittelschweren Lasten bis 20 kg. Auf diese Einschätzung kann jedenfalls bis zu der den gerichtlichen Prüfungszeitraum begrenzenden Verfügung vom 3. August 2011 (Urteil 9C_126/2011 vom 8. Juli 2011 E. 4.1) abgestellt werden. Entgegen der Feststellung der Vorinstanz handelt es sich dabei nicht um eine Korrektur der Beurteilung gegenüber dem Bericht vom 24. Juni 2011 (vorne E. 3.1).
4. Die Vorinstanz hat bei der Ermittlung des Invaliditätsgrades Validen- und Invalideneinkommen auf statistischer Grundlage ausgehend vom selben Tabellenlohn berechnet unter Berücksichtigung eines Abzuges vom Tabellenlohn gemäss <ref-ruling> von 10 %. Das ist unbestritten. Es besteht kein Anlass zu einer näheren Prüfung. Daraus resultiert bei einer Arbeitsfähigkeit von 30 % ein Invaliditätsgrad von 37 % (= [1 - 0,7 x 0,9] x 100 %; vgl. Urteil 9C_882/2010 vom 25. Januar 2011 E. 7.3.1). Somit besteht zwar kein Rentenanspruch, jedoch kann der Anspruch auf Eingliederungsmassnahmen beruflicher Art, insbesondere Umschulung nicht mit der Begründung verneint werden, es fehle an der hiezu notwendigen minimalen gesundheitlich bedingten Erwerbseinbusse von 20 % (vorne E. 2 in fine). Die IV-Stelle wird diesbezügliche Abklärungen vorzunehmen haben. In diesem Sinne ist die Beschwerde begründet.
5. Bei diesem Ausgang des Verfahrens rechtfertigt es sich mit Blick auf die Beschwerdebegehren, der IV-Stelle die Gerichtskosten aufzuerlegen (<ref-law>). Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege ist demzufolge gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 18. November 2011 und die Verfügung der IV-Stelle Schwyz vom 3. August 2011, soweit Eingliederungsmassnahmen beruflicher Art betreffend, werden aufgehoben. Die Sache wird an die Verwaltung zurückgewiesen, damit sie im Sinne von E. 4 verfahre.
2. Die Gerichtskosten von Fr. 500.- werden der IV-Stelle Schwyz auferlegt.
3. Das Verwaltungsgericht des Kantons Schwyz hat die Gerichtskosten und die Parteientschädigung für das vorangegangene Verfahren neu festzusetzen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 15. Mai 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Fessler