Sachverhalt:
A. Der 1952 geborene P._ erlitt am ..... einen Auffahrunfall. Für die gesundheitlichen und erwerblichen Folgen dieses Ereignisses bezog er (bis Ende 2004) Leistungen der obligatorischen Unfallversicherung (Heilbehandlung, Taggeld). Mit Verfügung vom 2.März 2005 sprach ihm die IV-Stelle des Kantons Zürich rückwirkend ab 1. Juni 2001 eine ganze Invalidenrente zu. Nach revisionsweiser Bestätigung des Rentenanspruchs (Mitteilung vom 12. Juli 2007) setzte die IV-Stelle mit Verfügung vom 22. April 2010 die Rentenleistungen mit sofortiger Wirkung aus. Mit Entscheid vom 30. Juni 2010 hob das Sozialversicherungsgericht des Kantons Zürich die Verfügung ersatzlos auf.
P._ war im Zeitpunkt des Unfalles bei der Personalversicherung der Firma X._ berufsvorsorgeversichert. Diese richtete ihm ab 1. Mai 2005 Invaliditätsleistungen von monatlich Fr. 1'191.35 aus. Aufgrund der Ergebnisse einer von ihr angeordneten Überwachung stellte sie ihre Zahlungen auf Ende Mai 2006 ein.
B. Am 13. April 2006 liess P._ beim Sozialversicherungsgericht des Kantons Zürich Klage gegen die Personalversicherung der Firma X._ erheben und zur Hauptsache beantragen, die Beklagte sei zu verpflichten, ihm ab 1. Januar 2005 nebst der bereits anerkannten obligatorischen monatlichen Invalidenrente von Fr. 1'191.35 auch die überobligatorische Rente zu bezahlen und die noch ausstehenden obligatorischen Leistungen rückwirkend für die Monate Januar bis und mit April 2005 auszurichten.
Nach Klageantwort mit widerklageweise geltend gemachter Rückforderung und zweitem Schriftenwechsel bei zwischenzeitlicher Sistierung des Prozesses und Behandlung eines Ausstandsbegehrens führte das kantonale Gericht eine Instruktionsverhandlung durch, zog danach die UV- und IV-Akten bei und holte ein psychiatrisches Gutachten vom 14. Dezember 2010 ein, zu dem die Parteien Stellung nahmen.
Mit Entscheid vom 17. August 2011 wies das kantonale Sozialversicherungsgericht Klage und Widerklage ab und auferlegte der Beklagten von den Kosten der gerichtlichen Begutachtung pauschal Fr.30'000.-.
C. P._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid vom 17. August 2011 sei aufzuheben und es sei festzustellen, dass er ab 1. Januar 2005 Anspruch auf eine Invalidenrente gemäss den gesetzlichen und reglementarischen Bestimmungen hat, zuzüglich Verzugszins von 5 %.
Die Personalversicherung der Firma X._ beantragt die Abweisung der Beschwerde. Das kantonale Sozialversicherungsgericht und das Bundesamt für Sozialversicherungen haben auf eine Vernehmlassung verzichtet.
Erwägungen:
1. Die IV-Stelle des Kantons Zürich hatte dem Beschwerdeführer mit Verfügung vom 2. März 2005 aufgrund eines Invaliditätsgrades von 100 % rückwirkend ab 1. Juni 2001 eine ganze Invalidenrente zugesprochen.
2. Die Vorinstanz hat eine Bindung an den im IV-Verfahren ermittelten Invaliditätsgrad, soweit nicht offensichtlich unhaltbar (BGE 130 V 270 E. 3.1 S. 273), mit der Begründung verneint, die beklagte Vorsorgeeinrichtung sei nicht ordnungsgemäss am IV-rechtlichen Verfahren beteiligt worden. In der Folge hat sie frei geprüft, ob das der Verfügung vom 2. März 2005 zugrundeliegende medizinische Tatsachenfundament hält. Sie ist zum Ergebnis gelangt, die Annahme der IV-Stelle einer Arbeitsunfähigkeit von 100 % aus psychiatrischer Sicht gemäss dem MEDAS-Gutachten vom 31. Dezember 2004 sei aufgrund der damaligen Aktenlage offensichtlich unhaltbar. Gestützt auf das von ihr eingeholte, "alles in allem" überzeugende psychiatrische Gerichtsgutachten vom 14. Dezember 2010 hat sie einen engen Konnex zwischen dem eingetretenen Zustand und dem in Frage stehenden Vorsorgeverhältnis und damit eine Leistungspflicht der beklagten Vorsorgeeinrichtung verneint (vgl. BGE 134 V 20 E. 3.2 S. 22).
3. Der Beschwerdeführer rügt, die vorinstanzliche Verneinung der Bindungswirkung verletze Bundesrecht, erscheine als rechtsmissbräuchlich. Dabei verweist er auf das Urteil des Eidg. Versicherungsgerichts K 38/03 vom 9. März 2004 E. 3.3 und 3.4.
3.1 Die einzig unter dem Vorbehalt offensichtlicher Unhaltbarkeit stehende Verbindlichkeit des von der IV-Stelle ermittelten Invaliditätsgrades und des von ihr festgelegten Beginns der einjährigen Wartezeit nach Art. 29 Abs. 1 lit. b IVG (in Kraft gestanden bis 31. Dezember 2007; BGE 134 V 20 E. 3.1.2 S. 21) für die Belange der beruflichen Vorsorge setzt voraus, dass die allenfalls zur Erbringung von Invalidenleistungen nach Massgabe von Gesetz und Vorsorgereglement verpflichtete Vorsorgeeinrichtung ins Vorbescheid- oder ins Einspracheverfahren (nach der vom 1. Januar 2003 bis 30. Juni 2006 geltenden Rechtslage) einbezogen und ihr die Verfügung und allenfalls der Einspracheentscheid formgültig eröffnet wurde (BGE 130 V 270 E. 3.1 S. 273; SVR 2011 BVG Nr. 12 S. 44, 9C_693/2009 E. 5.1). Dies trifft nach unbestrittener Feststellung der Vorinstanz nicht zu (vorne E. 2).
3.2 Die beklagte Vorsorgeeinrichtung erlangte zwar durch ein Schreiben der Rechtsvertretung des Klägers vom 16. März 2005 Kenntnis von der Verfügung vom 2. März 2005. Dies ändert indessen nichts daran, dass sie nicht ins IV-rechtliche Verfahren einbezogen (worden) war. Sie war nach Treu und Glauben auch nicht gehalten, Einsprache zu erheben oder die Eröffnung der Verfügung an sie zu verlangen. Sie hat sich daher die Kenntnis von der Verfügung vom 2. März 2005 nicht anrechnen zu lassen, wie wenn ihr diese korrekt eröffnet worden wäre. Soweit im Urteil B 109/06 vom 16. Mai 2007 E. 4.3.1 etwas anderes gesagt wird, kann daran nicht festgehalten werden. Das in der Beschwerde erwähnte Urteil des Eidg. Versicherungsgerichts K 38/03 vom 9. März 2004 E. 3.3 und 3.4 gibt zu keiner anderen Betrachtungsweise Anlass. Massgeblich ist die amtlich publizierte Rechtsprechung, die besagt: Versäumt eine IV-Stelle das Einbeziehen einer präsumtiv leistungspflichtigen Vorsorgeeinrichtung in das IV-Verfahren, ist die invalidenversicherungsrechtliche Festsetzung des Invaliditätsgrades für die Vorsorgeeinrichtung nicht verbindlich, weshalb kein Grund besteht, der Vorsorgeeinrichtung bei nachträglicher Kenntnis der IV-Rentenverfügung den Rechtsweg gegen diese zu eröffnen (BGE 132 V 1 E. 2 S. 2, unter der Geltung des ATSG bestätigt in E. 3, bes. E. 3.3.2 S. 5). Somit besteht keine Bindungswirkung in Bezug auf die das Rechtsverhältnis "Rente der Invalidenversicherung" bestimmenden Elemente bzw. Teilaspekte (Umfang des Anspruchs, Höhe und Beginn der Leistung; BGE 125 V 413 E. 2b und 2d S. 416 f.) gemäss Verfügung der IV-Stelle vom 2. März 2005 (Urteil 9C_858/2010 vom 17. Mai 2011 E. 2.3.1).
4. 4.1 Nach Art. 15 Abs. 3 des anwendbaren Vorsorgereglements besteht bei Erwerbsunfähigkeit von mindestens 25 % Anspruch auf eine Invalidenrente. Gemäss Art. 4 Abs. 2 gilt ein Versicherter als voll- oder teilinvalid, wenn ein Versicherter aus gesundheitlichen Gründen infolge Krankheit oder Unfall seine bisherige oder eine andere seinem Wissen und Können entsprechende Erwerbsfähigkeit (recte: Erwerbstätigkeit) nicht mehr oder nur noch teilweise ausüben kann oder wenn er aufgrund eines Entscheides der Eidgenössischen IV-Kommission für voll- oder teilinvalid erklärt wurde. Mit der alternativ geltenden zweiten Umschreibung wird Bezug genommen auf den Begriff der Invalidität im Sinne der Invalidenversicherung.
4.2 Die Vorinstanz hat nicht offensichtlich unrichtig festgestellt, aufgrund der überzeugenden Einschätzung des Gerichtsgutachters sei dem Kläger aus psychiatrischer Sicht die Ausübung einer mit der angestammten vergleichbaren Erwerbstätigkeit objektiv jederzeit und ohne namhafte Restriktionen zumutbar gewesen. Das Unfallereignis vom 1. Juni 2000 habe abgesehen von einer vorübergehenden etwaigen Akzentuierung vorbestehender Schmerzen im HWS- und LWS-Bereich keine relevante Einbusse an funktionellem Leistungsvermögen im Sinne der mit BGE 130 V 352 begründeten Rechtsprechung zur Folge gehabt. In der Tat ergibt sich aus dem Gerichtsgutachten mit aller Deutlichkeit, dass keine der diagnostizierten Störungen schwerwiegende und langdauernde Auswirkungen auf die Arbeitsfähigkeit hat (Gerichtsexpertise, S. 196 unten). Die weitere Beschreibung auf S. 197 und dann auch die abschliessende Beurteilung auf S. 232 führen im Lichte von BGE 131 V 49 klar zur Verneinung einer Invalidität. Das gerichtsgutachterlich durchgehend ausgewiesene im Wesentlichen intakte Leistungsvermögen hat die Vorinstanz festgestellt, was für das Bundesgericht verbindlich ist.
Der Beschwerdeführer stellt der vorinstanzlichen Sachverhaltsfeststellung und Beweiswürdigung im Wesentlichen einzig die abweichende Beurteilung im MEDAS-Gutachten vom 31. Dezember 2004 entgegen, womit er jedoch keine Rechtsverletzung darzutun vermag (Art. 97 Abs. 1 und Art. 105 Abs. 1 und 2 BGG; SVR 2010 KV Nr. 3 S. 9, 9C_397/2009 E. 2.2; Urteil 9C_418/2009 vom 24. August 2009 E. 2). Aufgrund der vorinstanzlichen Erwägungen ist bei freier Prüfung ein Anspruch auf eine Invalidenrente der beruflichen Vorsorge ab 1. Januar 2005 zu verneinen. Bei diesem Ergebnis braucht das Anspruchserfordernis eines engen sachlichen und zeitlichen Zusammenhangs zwischen der während der Dauer des Vorsorgeverhältnisses (einschliesslich der Nachdeckungsfrist nach Art. 10 Abs. 3 BVG) bestandener Arbeitsunfähigkeit und der allenfalls erst später eingetretener Invalidität (BGE 134 V 20 E. 3.2 S. 22 mit Hinweis) nicht geprüft zu werden.
Der vorinstanzliche Entscheid verletzt kein Bundesrecht.
5. Bei diesem Ausgang des Verfahrens hat grundsätzlich der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Seinem Gesuch um unentgeltliche Rechtspflege kann jedoch entsprochen werden (Art. 64 BGG; BGE 125 V 201 E. 4a S. 202). Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG hingewiesen, wonach er der Gerichtskasse Ersatz zu leisten hat, wenn er später dazu in der Lage ist.
Die Beschwerdegegnerin hat praxisgemäss keinen Anspruch auf Parteientschädigung (SVR 2012 BVG Nr. 3 S. 11, 9C_1024/2010 E. 5).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes einstweilen auf die Gerichtskasse genommen.
3. Zufolge Gewährung der unentgeltlichen Rechtspflege wird Rechtsanwalt Beat Wieduwilt für das bundesgerichtliche Verfahren mit Fr. 2'800.- aus der Gerichtskasse entschädigt.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 28. Februar 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Fessler