Sachverhalt:
A. Mit Verfügung vom 4. Dezember 2009 sprach die IV-Stelle des Kantons Zug dem 1961 geborenen K._ eine halbe Invalidenrente für die Zeit vom 1. August 2005 bis 30. November 2006 samt zwei Kinderrenten zu.
B. Die von K._ hiegegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, mit Entscheid vom 24. Februar 2011 insoweit gut, als es die Verfügung vom 4. Dezember 2009 aufhob und dem Versicherten für die Zeit vom 1. August 2005 bis 30. September 2007 eine halbe Rente der Invalidenversicherung zusprach.
C. K._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, in Abänderung des Entscheids vom 24. Februar 2011 sei ihm auch mit Wirkung ab 1. Oktober 2007 eine Viertelsrente der Invalidenversicherung zuzusprechen.
Das kantonale Gericht und die IV-Stelle beantragen die Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen hat auf eine Vernehmlassung verzichtet.

Erwägungen:
1. Die Vorinstanz hat für die Zeit ab 1. Oktober 2007 durch Einkommensvergleich (<ref-law> in Verbindung mit <ref-law>) einen Invaliditätsgrad von 38 % ermittelt, was für den Anspruch auf eine Invalidenrente nicht ausreicht (<ref-law>). Das Invalideneinkommen (Fr. 57'183.05) ist unbestritten. Es besteht kein Anlass zu einer näheren Prüfung. Der Beschwerdeführer rügt eine aktenwidrige und willkürliche Festsetzung des Valideneinkommens, welche <ref-law> verletze. Die Vorinstanz habe zu Unrecht die als Schaler in einer Baufirma regelmässig geleisteten Überstunden sowie zwei Nebenerwerbstätigkeiten nicht berücksichtigt.
2. 2.1 Das Valideneinkommen bestimmt sich danach, was die versicherte Person nach dem Beweisgrad der überwiegenden Wahrscheinlichkeit als Gesunde im Zeitpunkt des frühestmöglichen Rentenbeginns (hier: 1. Januar 2004) bis zum Verfügungserlass (hier: 4. Dezember 2009; <ref-ruling>) tatsächlich verdient hätte. Dabei ist in der Regel am zuletzt vor Eintritt der Gesundheitsschädigung im angestammten Bereich erzielten Lohn anzuknüpfen. Ausnahmen müssen mit überwiegender Wahrscheinlichkeit erstellt sein (<ref-ruling> E. 4.1 S. 325; SVR 2009 IV Nr. 28 S. 79, 8C_576/2008 E. 6.2). Nach der Rechtsprechung ist der Lohn für regelmässig geleistete Überstunden ebenfalls zum Valideneinkommen zu zählen (AHI 2002 S. 155, I 357/01 E. 3b; Urteile 8C_765/2007 vom 11. Juli 2008 E. 4.1.2 und I 433/06 vom 23. Juli 2007 E. 4.1.2, je mit Hinweisen). Ebenfalls ist das Entgelt aus einer im Gesundheitsfall ausgeübten Nebenerwerbstätigkeit in das Valideneinkommen einzubeziehen (RKUV 2003 Nr. U 476 S. 107, U 130/02 E. 3.2.1; vgl. Ulrich Meyer, Rechtsprechung des Bundesgerichts zum Sozialversicherungsrecht, Bundesgesetz über die Invalidenversicherung [IVG], 2. Aufl. 2010, S. 305 f.).
2.2 Zu den replikweise geltend gemachten Überstunden hat die Vorinstanz festgestellt, gemäss dem Fragebogen für den Arbeitgeber vom 9. August 2005 habe der Beschwerdeführer in den Monaten Januar und Februar 2004 unterdurchschnittlich verdient. Das von Januar bis Juli 2004 erzielte Einkommen hochgerechnet auf ein Jahr ergebe unter Berücksichtigung eines 13. Monatslohns ein Jahreseinkommen von Fr. 83'056.60. Angepasst an die Nominallohnentwicklung resultiere für 2005 ein Jahreseinkommen von Fr. 84'014.65. Dieser Betrag liege unter dem Einkommen von Fr. 85'345.- (13 x Fr. 6'565.-), welches der Beschwerdeführer gemäss Fragebogen als Gesunder in diesem Jahr verdient hätte. Zu seinen Gunsten sei jedoch von diesem Einkommen auszugehen. Angepasst an die Nominallohnentwicklung ergebe sich für 2007 ein hypothetisches Einkommen in der angestammten Haupttätigkeit als Schaler von Fr. 87'734.65.
2.3 Gemäss dem Fragebogen für den Arbeitgeber vom 9. August 2005 war der Beschwerdeführer im Monatslohn angestellt. Dieser betrug Fr. 6'465.- (2003) und Fr. 6'485.- (2004). Das angegebene AHV-beitragspflichtige Einkommen lag teils über (Monate Mai bis September 2003 sowie März und Mai 2004), teils unter (Februar und April 2003 sowie Januar und Februar 2004) dem jeweiligen Monatslohn. Es belief sich auf Fr. 81'213.60 (2003) und Fr. 44'666.75 (1. Januar bis 31. Juli 2004) resp. Fr. 83'056.60 (12/7 x Fr. 44'666.75 + Fr. 6'485.-) auf ein Jahr hochgerechnet, betrug somit weniger als das auf Monatslohnbasis berechnete Einkommen von Fr. 84'045.- (13 x Fr. 6'465.-; 2003) resp. Fr. 84'305.- (13 x Fr. 6'485.-; 2004). Diese Diskrepanz, zu welcher sich die Vorinstanz nicht geäussert hat, lässt sich entgegen der Auffassung der IV-Stelle nicht allein damit erklären, dass die Arbeitszeit 8 bis 9 Stunden pro Tag resp. durchschnittlich 40,5 Stunden in der Woche betrug und im Fragebogen eine Soll-Jahresarbeitszeit von 2112 Stunden (2003) und 2114 Stunden (2004) angegeben wurde, was "Minusstunden" nicht ausschliesst.
2.3 Gemäss dem Fragebogen für den Arbeitgeber vom 9. August 2005 war der Beschwerdeführer im Monatslohn angestellt. Dieser betrug Fr. 6'465.- (2003) und Fr. 6'485.- (2004). Das angegebene AHV-beitragspflichtige Einkommen lag teils über (Monate Mai bis September 2003 sowie März und Mai 2004), teils unter (Februar und April 2003 sowie Januar und Februar 2004) dem jeweiligen Monatslohn. Es belief sich auf Fr. 81'213.60 (2003) und Fr. 44'666.75 (1. Januar bis 31. Juli 2004) resp. Fr. 83'056.60 (12/7 x Fr. 44'666.75 + Fr. 6'485.-) auf ein Jahr hochgerechnet, betrug somit weniger als das auf Monatslohnbasis berechnete Einkommen von Fr. 84'045.- (13 x Fr. 6'465.-; 2003) resp. Fr. 84'305.- (13 x Fr. 6'485.-; 2004). Diese Diskrepanz, zu welcher sich die Vorinstanz nicht geäussert hat, lässt sich entgegen der Auffassung der IV-Stelle nicht allein damit erklären, dass die Arbeitszeit 8 bis 9 Stunden pro Tag resp. durchschnittlich 40,5 Stunden in der Woche betrug und im Fragebogen eine Soll-Jahresarbeitszeit von 2112 Stunden (2003) und 2114 Stunden (2004) angegeben wurde, was "Minusstunden" nicht ausschliesst.
2.4 2.4.1 Wie in der Beschwerde richtig vorgebracht wird, war im Fragebogen für den Arbeitgeber vom 9. August 2005 das AHV-beitragspflichtige Einkommen "ohne Ersatzleistungen, wie SUVA oder Krankenkassen-Taggelder etc." anzugeben. Im Zeitraum vom 1. Januar 2003 bis 31. Juli 2004 bestanden vom 4. bis 16. Februar 2003 und vom 20. Februar bis 2. März 2003 sowie vom 28. Januar bis 8. Februar 2004 krankheits- oder unfallbedingte Absenzen aufgrund einer Arbeitsunfähigkeit von 100 %, was maximal 24 Arbeitstagen entspricht. Gemäss dem mit der vorinstanzlichen Replik eingereichten Lohnausweis für die Steuererklärung vom 19. Januar 2004 waren für 2003 Taggelder in der Höhe von Fr. 4'350.- ausgerichtet worden. Wird dieser Betrag zu dem im Fragebogen für den Arbeitgeber vom 9. August 2005 genannten, gemäss IK-Auszug vom 27. Juli 2005 tatsächlich verabgabten AHV-beitragspflichtigen Einkommen von Fr. 81'213.60 hinzugezählt und von der so erhaltenen Summe von Fr. 85'563.60 das auf Monatslohnbasis berechnete Jahreseinkommen von Fr. 84'045.- abgezogen, ergibt sich ein Überschuss von Fr. 1'518.60. Dieser Betrag stellt Überstundenentschädigung dar. Damit ist für 2003 von einem Jahreseinkommen von Fr. 85'563.60 auszugehen.
Wieviele Taggelder 2004 ausbezahlt worden waren, ist nicht bekannt. Gemäss dem Fragebogen für den Arbeitgeber vom 9. August 2005 war der Beschwerdeführer vom 28. Januar bis 8. Februar 2004 krankheitsbedingt 100 % arbeitsunfähig. Das entspricht acht Arbeitstagen Absenz, somit die Hälfte von 2003. Wird von einer ausbezahlten Taggeldsumme von Fr. 2'175.- ausgegangen, ergibt sich nach der gleichen Vorgehensweise wie für 2003 für die Zeit vom 1. Januar bis 31. Juli 2004 eine Überstundenentschädigung von Fr. 1'446.75 und, hochgerechnet auf ein Jahr, ein Einkommen von Fr. 86'785.15 (12/7 x [Fr. 44'666.75 + Fr. 2'175.-] + Fr. 6'485.-).
2.4.2 Die beiden Einkommen 2003 und 2004 angepasst an die Nominallohnentwicklung (Statistisches Lexikon der Schweiz, Nominallohnindex 2002-2009 Sektor Baugewerbe, T1.93_V), ergibt für 2007 ein hypothetisches Einkommen aus der Haupttätigkeit als Schaler von Fr. 89'755.90 (1/2 x [Fr. 89'298.90 + Fr. 90'212.90]). Zusammen mit dem unbestrittenen Nebenverdienst aus Reinigungsarbeiten in einer Arztpraxis von Fr. 5'199.90 resultiert ein Valideneinkommen von Fr. 94'955.80. Daraus ergibt sich bei einem Invalideneinkommen von Fr. 57'183.05 (vorne E. 1) ein Invaliditätsgrad von 39,78 %, was Anspruch auf eine Viertelsrente gibt (<ref-law>; zum Runden <ref-ruling>).
2.5 Bei diesem Ergebnis kann offenbleiben, ob die Vorinstanz zu Recht beim Valideneinkommen keinen Verdienst aus weiteren Nebenerwerbstätigkeiten berücksichtigt hat. Die vom Beschwerdeführer unter diesem Titel geltend gemachten Fr. 5'159.30 ergäben zwar einen höheren Invaliditätsgrad, änderten aber nichts am Umfang des Rentenanspruchs.
Die Beschwerde ist begründet.
3. Dem Ausgang des Verfahrens entsprechend hat die IV-Stelle die Gerichtskosten zu tragen (<ref-law>) und dem Beschwerdeführer eine Parteientschädigung zu bezahlen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Zug, Sozialversicherungsrechtliche Kammer, vom 24. Februar 2011 wird aufgehoben, soweit damit der Anspruch auf eine Rente der Invalidenversicherung ab 1. Oktober 2007 verneint wird, und es wird festgestellt, dass der Beschwerdeführer ab diesem Zeitpunkt Anspruch auf eine Viertelsrente hat.
2. Die Gerichtskosten von Fr. 500.- werden der IV-Stelle des Kantons Zug auferlegt.
3. Die IV-Stelle des Kantons Zug hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Das Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, hat die Gerichtskosten und die Parteientschädigung für das vorangegangene Verfahren neu festzusetzen.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, der Ausgleichskasse Panvica, Bern, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. Juni 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Fessler