Sachverhalt:
A. G._ war ab 8. September 2003 bei der X._ AG angestellt. Wegen Rückenbeschwerden arbeitete er ab 4. August 2004 nicht mehr und bezog Krankentaggelder. Im Januar 2005 meldete sich G._ bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 4. März 2010 sprach ihm die IV-Stelle Basel-Stadt ausgehend von einer ab Juni 2006 bestehenden Arbeitsunfähigkeit eine Dreiviertelsrente samt drei Kinderrenten zu. Daraufhin ersuchte G._ die BVG-Sammelstiftung Swiss Life, bei welcher er im Rahmen seiner Anstellung bei der X._ AG berufsvorsorgeversichert gewesen war, um Invalidenleistungen, was diese jedoch ablehnte (Schreiben vom 16. Juli 2010).
B. Am 26. Oktober 2010 liess G._ beim Sozialversicherungsgericht des Kantons Basel-Stadt Klage einreichen mit dem Rechtsbegehren, die Swiss Life AG BVG Sammelstiftung sei zu verpflichten, ihm gestützt auf einen Invaliditätsgrad von 68 % eine volle, reglementarische sowie indexierte Rente mit Wirkung ab Juni 2007 von monatlich Fr. 1'468.60 sowie drei Kinderrenten von jeweils monatlich Fr. 293.70, beides zuzüglich Verzugszins von 5 % zu bezahlen; weiter sei ihm mit Wirkung ab April 2005, eventualiter ab Oktober 2006, eine Prämienbefreiung zu gewähren.
Mit Entscheid vom 21. September 2011 wies das angerufene Gericht die Klage ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt G._ das im vorinstanzlichen Verfahren gestellte Rechtsbegehren erneuern, eventualiter die Rückweisung der Sache an die Vorinstanz zur weiteren Abklärung beantragen, unter Aufhebung des Entscheids vom 21. September 2011.

Erwägungen:
1. Die Vorinstanz hat festgestellt, der Kläger habe den von der IV-Stelle auf Juni 2006 festgelegten Beginn der rentenbegründenden psychisch bedingten Invalidität nie in Frage gestellt. In diesem Zeitpunkt sei der Kläger wegen Unterschreitens des Mindestlohnes spätestens ab Januar 2005 nicht mehr unter das Versicherungsobligatorium gefallen. Da er eine freiwillige Weiterversicherung nicht beantragt habe, habe er im Juni 2006 keinen Versicherungsschutz mehr genossen. Die Beklagte habe daher ihre Leistungspflicht zu Recht verneint.
2. Der Beschwerdeführer bringt vor, das Vorsorgeverhältnis mit der Beschwerdegegnerin habe frühestens Ende Dezember 2004 geendet, was unbestritten ist. Er rügt, die Vorinstanz habe Bundesrecht verletzt, indem sie unbesehen den Zeitpunkt des Eintritts der Arbeitsunfähigkeit, deren Ursache zur Invalidität geführt hat (Art. 23 lit. a BVG), mit dem Zeitpunkt der im IV-Verfahren festgelegten Invalidität ab Juni 2006 gleichgesetzt habe. Die berufsvorsorgerechtlich relevante Arbeitsunfähigkeit sei im August 2004 eingetreten. Bereits damals bei noch bestehendem Vorsorgeverhältnis und vor Ausrichtung von Krankentaggeldern bzw. Unterschreiten des Mindestlohnes sei er wegen der Rückenschmerzen, der somatoformen Schmerzstörung sowie der depressiven Episode arbeitsunfähig gewesen. Da auch der enge sachliche und zeitliche Konnex im Sinne von <ref-ruling> E. 3.2 S. 22 gegeben sei, sei die Beschwerdegegnerin leistungspflichtig.
3. 3.1 Der Beschwerdeführer hatte sich im Januar 2005 bei der Invalidenversicherung zum Leistungsbezug angemeldet. Nach aArt. 48 Abs. 2 IVG (in Kraft gestanden bis 31. Dezember 2007) konnte somit frühestens ab 1. Januar 2004 eine Rente ausgerichtet werden. Zu diesem Zeitpunkt bis spätestens Ende Januar 2005 war er (noch) bei der Beschwerdegegnerin berufsvorsorgeversichert, insbesondere für das Risiko Invalidität. Er focht die Verfügung der kantonalen IV-Stelle vom 4. März 2010 (Dreiviertelsrente ab 1. Juni 2007) indessen nicht an und machte eine frühere Eröffnung der Wartezeit und einen entsprechend früheren Leistungsbeginn nicht geltend. Hiezu wäre er berechtigt gewesen, nicht jedoch die am Recht stehende Vorsorgeeinrichtung, die unbestrittenermassen bei einem Beginn der Wartezeit im Juni 2006 nicht leistungspflichtig ist (Urteil 9C_936/2010 vom 28. Januar 2011 E. 2.2.2).
Der im IV-Verfahren auf Juni 2006 festgelegte Beginn der einjährigen Wartezeit nach <ref-law> (in Kraft gestanden bis 31. Dezember 2007; <ref-ruling> E. 3.1.2 S. 21) ist somit für die Belange der beruflichen Vorsorge unter Vorbehalt offensichtlicher Unhaltbarkeit verbindlich, zumal da der am Recht stehenden Vorsorgeeinrichtung Vorbescheid und Verfügung eröffnet worden waren (Urteil 9C_702/2011 vom 28. Februar 2012 E. 3.1). Ein diese Bindungswirkung ausschliessender Tatbestand, insbesondere eine verspätete IV-Anmeldung, ist nicht gegeben (SVR 2011 BVG Nr. 12 S. 44, 9C_693/2009 E. 5.1 in fine; Urteil 9C_735/2010 vom 21. Oktober 2010 E. 1).
3.2 Gemäss Art. 26 Abs. 1 BVG gelten für den Beginn des Anspruchs auf Invalidenleistungen sinngemäss die entsprechenden Bestimmungen des Bundesgesetzes vom 19. Juni 1959 über die Invalidenversicherung (IVG). Aufgrund dieser Verweisung fallen in der Regel der berufsvorsorgerechtlich relevante Eintritt der Arbeitsunfähigkeit nach aArt. 23 BVG (seit 1. Januar 2005: Art. 23 lit. a BVG) mit dem Beginn der einjährigen Wartezeit nach a<ref-law> (in Kraft gestanden bis 31. Dezember 2007) zusammen (Urteil 9C_689/2008 vom 25. Februar 2009 E. 1.2). Der Beschwerdeführer scheint dies bestreiten zu wollen, ohne indessen seine gegenteilige Auffassung näher zu begründen. Dass das Vorsorgereglement in Bezug auf den weitergehenden Vorsorgebereich eine andere Regelung vorsieht, macht er nicht geltend.
3.2.1 Feststellungen der Vorinstanz zur gesundheitlich bedingten Arbeitsunfähigkeit (Eintreten, Grad, Dauer, Prognose etc.) betreffen Tatfragen, soweit sie auf der Würdigung konkreter Umstände beruhen, und sind daher lediglich unter eingeschränktem Blickwinkel überprüfbar (<ref-law> sowie Art. 105 Abs. 1 und 2 BGG; vgl. <ref-ruling> E. 3.2 S. 397 f.). Dies gilt auch für den Zeitpunkt des Eintritts der Arbeitsunfähigkeit, deren Ursache zur Invalidität geführt hat, nach Art. 23 lit. a BVG. Demgemäss ist auch Tatfrage, ob der von der IV-Stelle festgesetzte Beginn der Wartezeit nach a<ref-law> unrichtig ist. Frei überprüfbare Rechtsfrage (Art. 95 lit. a BVG) ist demgegenüber, ob eine allfällige Unrichtigkeit offensichtlich und demgemäss die Bindungswirkung aufgehoben ist (Art. 105 Abs. 1 und 2 BGG; SVR 2008 BVG Nr. 31 S. 126, 9C_182/2007 E. 4.1.1; Urteil 9C_689/2008 vom 25. Februar 2009 E. 3.1).
Die Vorinstanz hat die Frage der offensichtlichen Unrichtigkeit des berufsvorsorgerechtlich relevanten Eintritts der Arbeitsunfähigkeit nach Art. 23 lit. a BVG nicht geprüft und demzufolge auch keine Feststellungen dazu getroffen, weil dieser Zeitpunkt nicht in Frage gestellt worden sei (vorne E. 1). Der Beschwerdeführer bestreitet dies nicht. Damit ist aber seiner Rüge, die Vorinstanz habe insofern den Untersuchungsgrundsatz nach Art. 73 Abs. 2 BVG verletzt, der Boden entzogen.
3.2.2
3.2.2.1 Da die Klage nach Art. 73 BVG nicht auf ein Verfahren der ursprünglichen Verwaltungsrechtspflege folgt (<ref-ruling> E. 2 S. 452), bedingt sie die Darlegung sämtlicher rechtserheblicher Tatsachen und Beweismittel zu sämtlichen anspruchsbegründenden Voraussetzungen. Zwar gilt auch im Rahmen der beruflichen Vorsorge der Untersuchungsgrundsatz (Art. 73 Abs. 2 BVG); dieser wird aber durch die Mitwirkungspflichten der Parteien beschränkt (<ref-ruling> E. 2 S. 195). Dazu gehört in erster Linie die Substanziierungspflicht, die besagt, dass die wesentlichen Tatsachenbehauptungen und -bestreitungen in den Rechtsschriften enthalten sein müssen (vgl. bereits Urteile des Eidg. Versicherungsgerichts B 61/00 vom 26. September 2001 E. 1a/bb und B 21/02 vom 11. Dezember 2002 E. 3.2). Die Bestreitungslast darf nicht zu einer Umkehr der Behauptungs- und Beweislast führen. Zudem sind an den Untersuchungsgrundsatz geringere Anforderungen zu stellen, wenn die Parteien anwaltlich vertreten sind (Niccolo Raselli, Verfahrensrechtliche Probleme bei der Beurteilung von Streitigkeiten aus Zusatzversicherungen zur sozialen Krankenversicherung, in: SZS 2005 S. 283; Staehelin/Vischer, Zürcher Kommentar, 3. Aufl. 1996, N. 31 zu <ref-law>; BGE 9C_73/2011 vom 17. Januar 2012 E. 5.2.3).
3.2.2.2 Der Beschwerdeführer verweist zur Stützung seines Standpunktes, wonach er bereits 2004 aus psychischen Gründen nicht mehr voll arbeitsfähig gewesen sei, auf verschiedene ärztliche Berichte, u.a. das psychiatrische Gutachten des Dr. med. W._ vom 24. Oktober 2008. Damit vermag er indessen im Rahmen der ihm obliegenden Begründungspflicht (<ref-law>) auch bei freier Tatsachenprüfung nicht darzutun, inwiefern der in den Juni 2006 gelegte Beginn der Wartezeit bzw. Eintritt der Arbeitsunfähigkeit nach Art. 23 lit. a BVG offensichtlich unhaltbar ist. Dies gilt umso mehr, als die IV-Stelle (auch) diesbezüglich im Wesentlichen auf die Expertise vom 24. Oktober 2008 abgestellt hatte. Selbst wenn im August 2004 eine relevante Arbeitsunfähigkeit bestand und der enge sachliche Konnex mit der Invalidität bejaht wird, ergäbe sich daraus nichts zu Gunsten des Beschwerdeführers. Aufgrund der Akten ist in Bezug auf die Frage des engen zeitlichen Konnexes von Beweislosigkeit auszugehen, was zu seinen Lasten geht (<ref-law>; <ref-ruling> E. 3b S. 264; Urteil 9C_210/2011 vom 21. April 2011 E. 2.1 in fine).
3.3 Die auf der nicht bundesrechtswidrigen Annahme des Eintritts der Arbeitsunfähigkeit nach Art. 23 lit. a BVG im Juni 2006 beruhenden (weiteren) vorinstanzlichen Erwägungen (vorne E. 1) sind nicht bestritten. Die Beschwerde ist somit unbegründet.
4. Bei diesem Ausgang des Verfahrens hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. April 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Fessler