Sachverhalt:
A. Der 1969 geborene K._ meldete sich im Juni 2006 (ein zweites Mal) bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 2. April 2008 sprach ihm die IV-Stelle Luzern eine befristete ganze Rente vom 1. Oktober 2006 bis 30. September 2007 zu. Mit Entscheid vom 7. September 2009 hob das Verwaltungsgericht des Kantons Luzern diesen Verwaltungsakt auf und wies die Sache an die IV-Stelle zurück, damit sie nach erfolgten Abklärungen im Sinne der Erwägungen über den Anspruch auf Invalidenrente neu verfüge. In der Folge liess die IV-Stelle den Versicherten im Medizinischen Zentrum X._ untersuchen und begutachten (Expertise vom 6. September 2010). Nach durchgeführtem Vorbescheidverfahren sprach ihm die IV-Stelle mit Verfügung vom 4. März 2011 für die Zeit vom 1. Dezember 2005 bis 30. September 2006 sowie ab 1. Oktober 2007 eine halbe Rente zu. Dabei wies sie darauf hin, für die Zeit vom 1. Oktober 2006 bis 30. September 2007 sei bereits eine ganze Rente zugesprochen und ausbezahlt worden.
B. Die Beschwerde des K._ hiess das Verwaltungsgericht des Kantons Luzern, Abgaberechtliche Abteilung, mit Entscheid vom 12. März 2012 insofern teilweise gut, soweit es darauf eintrat, als es die Verfügung vom 4. März 2011 aufhob und die IV-Stelle verpflichtete, vom 1. Dezember 2005 bis 31. Dezember 2006 sowie ab 1. Februar 2008 eine halbe und vom 1. Januar 2007 bis 31. Januar 2008 eine ganze Invalidenrente zu bezahlen.
C. K._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der Entscheid vom 12. März 2012 sei insofern aufzuheben, als ein höherer Rentenanspruch für den Zeitraum vom 1. Dezember 2005 bis 31. Dezember 2006 sowie ab dem 1. Februar 2008 verneint worden sei, und es sei die Sache zur Vornahme einer psychiatrischen Begutachtung an die IV-Stelle zurückzuweisen; eventualiter sei ihm für den Zeitraum vom 1. Dezember 2005 bis 31. Dezember 2006 sowie ab dem 1. Februar 2008 eine Dreiviertelsrente zuzusprechen.

Erwägungen:
1. Der angefochtene Entscheid spricht dem Beschwerdeführer eine halbe Rente vom 1. Dezember 2005 bis 31. Dezember 2006 und ab 1. Februar 2008 sowie eine ganze Rente vom 1. Januar 2007 bis 31. Januar 2008 zu. Es geht somit um die rückwirkende Zusprechung einer abgestuften Invalidenrente (vgl. dazu <ref-law> und <ref-law>; Urteil 8C_670/2011 vom 10. Februar 2012 E. 5.1). Streitig und zu prüfen ist einzig der Umfang des Rentenanspruchs (<ref-law>) für die Zeit vom 1. Dezember 2005 bis 31. Dezember 2006 und ab 1. Februar 2008 (<ref-law>).
2. Die Vorinstanz ist bei der Invaliditätsbemessung durch Einkommensvergleich (<ref-law> in Verbindung mit <ref-law>) gestützt auf das Gutachten des Medizinischen Zentrums X._ vom 6. September 2010 von einer ausschliesslich aus rheumatologischer Sicht eingeschränkten Arbeitsfähigkeit von 50 % in leidensangepassten Tätigkeiten ausgegangen. Bei der Berechnung des Invalideneinkommens auf der Grundlage der Schweizerischen Lohnstrukturerhebung 2008 des Bundesamtes für Statistik (vgl. dazu <ref-ruling>) hat sie einen Abzug vom Tabellenlohn nach <ref-ruling> von 15 % vorgenommen.
3. 3.1 Der Beschwerdeführer bestreitet den Beweiswert des Administrativgutachtens, soweit darin keine psychiatrische Diagnose mit Auswirkungen auf die Arbeitsfähigkeit gestellt wurde. Zur Begründung verweist er wie schon im vorinstanzlichen Verfahren auf die Berichte der Psychiatrie M._ vom 19. Januar 2012 und 29. Februar 2012, ohne sich indessen mit den diesbezüglichen Erwägungen der Vorinstanz auseinanderzusetzen. Damit übt er unzulässige appellatorische Kritik an der vorinstanzlichen Sachverhaltsfeststellung und Beweiswürdigung (<ref-law>; <ref-ruling> E. 5.1 S. 356; Urteil 9C_735/2010 vom 21. Oktober 2010 E. 3).
3.2 Weiter rügt der Beschwerdeführer eine Verletzung des Untersuchungsgrundsatzes durch die Vorinstanz (<ref-law>). Aufgrund der Berichte der Psychiatrie M._ vom 19. Januar und 29. Februar 2012 erscheine es als wahrscheinlich, dass sich der psychische Gesundheitszustand nach der Begutachtung durch das Medizinische Zentrum X._, aber noch vor Erlass der Verfügung vom 4. März 2011 verändert habe. Weitere diesbezügliche Abklärungen wären somit angezeigt gewesen.
Die Vorinstanz hat festgestellt, der Diagnose einer rezidivierenden depressiven Störung, leichte Episode (ICD-10 F33.0) im Bericht vom 19. Januar 2012 liege keine Erhebung der depressiven Symptomatik zu Grunde. Ausserdem werde der Beschwerdeführer als arbeitsfähig erachtet. Den Berichten vom 19. Januar und 29. Februar 2012 könnten auch keine Hinweise darauf entnommen werden, dass der - gemäss Angaben des Beschwerdeführers im Winter 2010/2011 angefangene - Konsum von Heroin durch eine psychische Störung bewirkt worden sei oder eine solche zur Folge gehabt habe. Diesen nicht offensichtlich unrichtigen und daher für das Bundesgericht verbindlichen Feststellungen ist beizufügen, dass im Bericht vom 19. Januar 2012 festgehalten wurde, der Patient habe als Auslöser für seinen Heroinkonsum die Rückenschmerzen genannt; an einer psychotherapeutischen Behandlung habe er kein Interesse gezeigt. Unter diesen Umständen ist der Verzicht der Vorinstanz auf weitere Abklärungen als Ergebnis pflichtgemässer antizipierter Beweiswürdigung von Bundesrechts wegen nicht zu beanstanden und der Vorwurf der Verletzung des Untersuchungsgrundsatzes somit unbegründet (vgl. SVR 2009 EL Nr. 7 S. 19, 9C_724/2009 E. 3.2.3.1).
3.3 Schliesslich rügt der Beschwerdeführer, der vorinstanzliche Abzug vom Tabellenlohn nach <ref-ruling> von 15 % verletze Bundesrecht. Es rechtfertige sich ein Abzug von 25 %. Mit seinen Vorbringen vermag er indessen nicht aufzuzeigen, inwiefern ein Abzug von 15 % das Ergebnis rechtsfehlerhafter Ermessensbetätigung ist (Urteil 9C_40/ 2011 vom 1. April 2011 E. 2.1).
3.3.1 Wie die Vorinstanz zutreffend erkannt hat, ist der Abzug vom Tabellenlohn unter Würdigung der Umstände im Einzelfall nach pflichtgemässem Ermessen gesamthaft zu schätzen (SVR 2011 IV Nr. 31 S. 90, 9C_728/2009 E. 4.1.1). Konkret hat sie berücksichtigt, dass der Beschwerdeführer gesundheitlich bedingt lediglich noch ein hälftiges Arbeitspensum ausüben kann und aufgrund des ergonomischen Anforderungsprofils selbst bei leichten Tätigkeiten zusätzlich eingeschränkt ist, insbesondere durch die notwendigen Positionswechsel und die fehlende Möglichkeit, Gewichte zu heben. Dagegen wirke sich der Umstand, dass der Versicherte seit Ende 2004 die schweizerische Staatsbürgerschaft besitze, tendenziell lohnerhöhend aus.
Der Beschwerdeführer bringt vor, es müsse zusätzlich berücksichtigt werden, dass er lediglich zwei Stunden am Morgen und zwei Stunden am Nachmittag mit einer langen Pause dazwischen arbeiten könne. Sodann bestünden doch massive Einschränkungen, da lediglich eine sehr leichte Tätigkeit in Betracht falle, in welcher zumindest halbstündlich ein Positionswechsel möglich sei, keine oder nur leichteste Gewichte zu heben und auch keine Erschütterungen möglich seien. Schliesslich fehlten Anhaltspunkte für eine einkommenserhöhende Wirkung des Merkmals "Nationalität".
3.3.2
3.3.2.1 Die statistischen Angaben, die Grundlage für einen Abzug unter dem Titel Beschäftigungsgrad bilden (vgl. Urteil 9C_472/2010 vom 5. Juli 2010 E. 2.2), differenzieren nicht danach, wie das - vorliegend hälftige - Arbeitspensum auf die normale betriebsübliche wöchentliche und tägliche Arbeitszeit verteilt ist. Als abzugserhöhend können daher grundsätzlich nur Umstände anerkannt werden, die auch auf einem ausgeglichenen Arbeitsmarkt als ausserordentlich zu bezeichnen sind. Zu denken ist etwa an den Fall, wo das Arbeitspensum aus gesundheitlichen Gründen nicht vorhersehbar und damit für den Arbeitgeber nicht oder nur schwer kalkulierbar nur sehr unregelmässig geleistet werden kann. Dies trifft vorliegend nicht zu.
3.3.2.2 Weiter ist zu beachten, dass Anforderungs- und Belastungsprofil, wie das Einnehmen wechselnder Positionen, Vermeiden von Zwangshaltungen der Wirbelsäule sowie Hebe- und Traglimiten, das Spektrum der erwerblichen Tätigkeiten bestimmen, die unter Berücksichtigung der Fähigkeiten, Ausbildung und Berufserfahrung der versicherten Person realistischerweise noch in Frage kommen (Urteil 9C_624/2009 vom 7. Oktober 2009 E. 4.1.1). Davon zu unterscheiden ist die hier interessierende Frage, ob mit Bezug auf eine konkret in Betracht fallende Tätigkeit bei ausgeglichener Arbeitsmarktlage verglichen mit einem gesunden Mitbewerber nur bei Inkaufnahme einer Lohneinbusse reale Chancen für eine Anstellung bestehen (SVR 2010 IV Nr. 28 S. 87, 9C_708/2009 E. 2.3.1). Es ist nicht anzunehmen, dass das für den Beschwerdeführer grundsätzlich in Frage kommende Arbeitsmarktsegment durch das ergonomische Anforderungsprofil (vorne E. 3.3.1) entscheidend verkleinert wird.
3.3.3 Aufgrund der vorstehenden Erwägungen kann ein Abzug vom Tabellenlohn von 15 % nicht als rechtsfehlerhaft bezeichnet werden, zumal der Beschwerdeführer mit Bezug auf das Merkmal "Nationalität" nicht in Abrede stellt, dass er mindestens soviel verdienen könnte wie der statistische Durchschnittslohn beträgt.
3.4 Die Beschwerde ist unbegründet.
4. Bei diesem Ausgang des Verfahrens hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. Mai 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Fessler