Sachverhalt:
A. Die 1959 geborene K._ zog sich am 28. Mai 1999 bei einem Unfall Verletzungen am rechten Fuss zu. Für die erwerblichen Folgen bezog sie Leistungen der obligatorischen Unfallversicherung (bis 31. Mai 2005 Taggelder, ab 1. Juni 2005 eine Invalidenrente) und der Invalidenversicherung (vom 1. Mai 2000 bis 31. Mai 2006 eine ganze, ab 1. Juni 2006 eine halbe Invalidenrente samt Zusatzrente für den Ehegatten und zwei bzw. eine Kinderrente bis Ende Mai 2006). Zur Durchsetzung ihrer Ansprüche musste sie mehrmals den Gerichtsweg beschreiten (u.a. Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 23. September 2008 betreffend Invalidenrente der Unfallversicherung). Ebenfalls richtete die CPV/CAP Coop Personalversicherung (heute: CPV/CAP Pensionskasse Coop) Invalidenleistungen der beruflichen Vorsorge (Invalidenrente, Kinderrenten) aus. Mit Schreiben vom 10. März 2008 teilte sie dem Rechtsvertreter von K._ mit, die Überentschädigungsberechnung für die Zeit ab 1. November 2002 habe unter Berücksichtigung der Zahlungen bis 29. Februar 2008 eine Differenz von Fr. 8'044.10 zu Gunsten seiner Mandantin ergeben. Weiter wies die Vorsorgeeinrichtung auf die Vereinbarung vom 24. März 2003 hin, worin sich die Rentenbezügerin verpflichtet habe, allenfalls bis zum Abschluss des Einspracheverfahrens zuviel überwiesene Leistungen zurückzuerstatten.
Nach rechtskräftiger Festsetzung der Leistungsansprüche gegenüber der Unfallversicherung (Verfügung vom 26. November 2008) und der Invalidenversicherung nahm die CPV/CAP Pensionskasse Coop eine neue Überentschädigungsberechnung vor. Diese ergab unter Berücksichtigung ihrer Zahlungen bis 31. Mai 2009 eine Differenz von Fr. 56'592.90 zu ihren Gunsten. Mit Schreiben vom 5. Juni 2009 teilte sie K._ mit, sie werde ab diesem Monat ihre Rentenzahlungen einstellen: gleichzeitig ersuchte sie unter Hinweis auf die Vereinbarung vom 24. März 2003 um Rückerstattung der zuviel ausgerichteten Leistungen. Schliesslich setzte sie die Forderung in Betreibung. Auf den Zahlungsbefehl vom 8. November 2010 erhob die Betriebene Rechtsvorschlag.
B. B.a Am 21. März 2011 erhob die CPV/CAP Pensionskasse Coop beim Sozialversicherungsgericht des Kantons Zürich Klage gegen K._ mit dem Rechtsbegehren, die Beklagte sei zu verurteilen, ihr den Betrag von Fr. 56'592.90 nebst Zins zu 5 % ab Klageeinreichung zuzüglich der Kosten des Zahlungsbefehls von Fr. 100.- zu bezahlen, der Rechtsvorschlag in der Betreibung Nr. _ des Betreibungsamtes X._ sei zu beseitigen und ihr für die eingeklagte Summe die definitive Rechtsöffnung zu erteilen. Auf Aufforderung des Gerichts reichte die Vorsorgeeinrichtung am 29. März 2011 eine neu unterzeichnete Klageschrift ein.
In ihrer Klageantwort beantragte K._, auf das Rechtsmittel sei nicht einzutreten, eventualiter sei es abzuweisen; gleichzeitig erhob sie Widerklage mit den Rechtsbegehren, es sei festzustellen, dass sie Anspruch auf eine Erwerbsunfähigkeitsrente habe, und die Widerbeklagte sei zur Erbringung der gesetzlichen Leistungen (Nachzahlung der ab Juni 2009 zu Unrecht zurückbehaltenen Rentenleistungen zuzüglich Zins von 5 %) zu verpflichten; weiter seien eine Referentenaudienz und eine öffentliche Gerichtsverhandlung durchzuführen. Im Rahmen des weiteren Schriftenwechsels präzisierte die Beklagte ihre Anträge dahingehend, die Klägerin sei zu verpflichten, die grundsätzlich anerkannten, aber ab Juni 2009 zurückbehaltenen Renten nachzuzahlen.
B.b Am 19. Januar 2012 erliess das kantonale Gericht eine Verfügung, in der sie auf der Grundlage der Überentschädigungsberechnung der Vorsorgeeinrichtung vom 5. Juni 2009 und ihres Entscheids vom 23. September 2008 eine Liste der massgeblichen "Eckdaten" erstellte. Es gab der Klägerin und Widerbeklagten auf, Belege für die Zahlung der provisorischen Rentenbetreffnisse einzureichen. Weiter hielt es fest, die Parteien seien im Rahmen ihrer Mitwirkungspflicht gehalten, Einwendungen gegen die Annahme des Gerichts nachvollziehbar darzulegen und insbesondere zu substantiieren. Dieser Aufforderung kamen Klägerin und Beklagte bzw. Widerbeklagte und Widerklägerin nach, wobei sie zu den gegnerischen Eingaben jeweils Stellung nehmen konnten.
Mit Entscheid vom 28. August 2012 hiess das Sozialversicherungsgericht des Kantons Zürich die Klage teilweise gut und verpflichtete die Beklagte und Widerklägerin, der Klägerin den Betrag von Fr. 54'574.75 inklusive Zins von 5 % ab 22. März 2011 zu bezahlen; im Mehrbetrag wies es die Klage ab (Dispositiv-Ziffer 1). Weiter hob das Gericht den Rechtsvorschlag in der Betreibung Nr. _ des Betreibungsamtes X._ im Umfang von Fr. 54'574.75 auf (Dispositiv-Ziffer 2). Die Widerklage wurde abgewiesen (Dispositiv-Ziffer 3).
C. K._ hat Beschwerde in öffentlich-rechtlichen Angelegenheiten erhoben mit dem Rechtsbegehren, der Entscheid vom 28. August 2012 sei aufzuheben und die Klage abzuweisen, soweit darauf eingetreten werden könne; weiter sei der Beschwerde aufschiebende Wirkung einzuräumen.
Die CPV/CAP Pensionskasse Coop beantragt, die Beschwerde, soweit darauf eingetreten werden könne, und das Gesuch um Einräumung der aufschiebenden Wirkung seien abzuweisen. Das kantonale Sozialversicherungsgericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.
Erwägungen:
1. Die Beschwerdeführerin rügt wie schon in der Klageantwort, die Klage sei ohne rechtsgültige Unterschrift eingereicht bzw. von Personen unterschrieben worden, die nicht Mitglieder des Stiftungsrates und damit nicht zur Vertretung im Prozess berechtigt gewesen seien. Die Unterschriftsberechtigung sei zweifelhaft und unbelegt. Ebenfalls sei die Klage unzureichend begründet und die von der Vorinstanz in unzulässiger Weise selber verfasste Begründung stütze sich auf fremde (UV- und IV-)Verfahrensakten. Auf die Klage hätte nicht eintreten werden dürfen bzw. das Rechtsmittel ohne materielle Prüfung der Begehren zurückgewiesen werden müssen.
1.1 Die Vorinstanz hat die Prozessfähigkeit der Unterzeichnenden in der zweiten diesbezüglich verbesserten Klageschrift vom 29. März 2011 als hinreichend belegt bezeichnet. Dem vermag die Beschwerdeführerin nichts entgegenzuhalten. Gemäss Art. 18 des mit Replik und Widerklageantwort eingereichten Organisationsreglements (in der ab 17. September 2009 gültigen Fassung) hat die Geschäftsleitung alle Aufgaben und Kompetenzen, die nicht dem Stiftungsrat, dessen Präsidenten oder den Ausschüssen vorbehalten sind. Daraus leitete die Klägerin auch die Befugnis der Geschäftsleitung zur Aufnahme und/ oder Einstellung von Prozessen ab. Die Beschwerdeführerin nennt keine Bestimmung des Organisationsreglements, die diese Kompetenz allenfalls einem anderen Organ, namentlich dem Stiftungsrat, zuordnen könnte. Unbestritten ist, dass die beiden Personen, welche die Eingabe vom 29. März 2011 unterzeichnet hatten, der Geschäftsleitung der Beschwerdegegnerin angehörten.
1.2 Die Beschwerdegegnerin begründete die Rückforderung zuviel ausgerichteter Leistungen mit der Überentschädigungsberechnung vom 5. Juni 2009, welche zwar nicht in der Klageschrift enthalten war, jedoch in den aufgelegten Akten. Belege für ihre Zahlungen fehlten. Es ist nicht ersichtlich und die Beschwerdeführerin legt auch nicht dar, inwiefern es ihr mit zumutbarem Aufwand nicht möglich gewesen sein soll, die fragliche Berechnung etwa durch Vorlage eigener Belege über die erhaltenen Zahlungen substanziiert zu bestreiten (vgl. SVR 2011 AHV Nr. 13 S. 42, 9C_325/2010 E. 7.1.1; Urteil 9C_314/2008 vom 25. August 2008 E. 3.2). Abgesehen davon betrafen ihre Haupteinwendungen nicht in erster Linie die angerechneten Beträge als solche, sondern ob diese überhaupt berücksichtigt werden durften, was sie insbesondere in Bezug auf das zumutbarerweise noch erzielbare Erwerbseinkommen bestritt. Was schliesslich die Bezifferung der "Eckdaten" der Überentschädigungsberechnung in der Verfügung vom 19. Januar 2012 anbetrifft, bewegte sich die Vorinstanz damit durchaus im Rahmen von Art. 73 Abs. 2 BVG, wonach im erstinstanzlichen berufsvorsorgerechtlichen Verfahren der Untersuchungsgrundsatz gilt, eingeschränkt durch eine verstärkte Mitwirkungspflicht der Parteien (Urteil 9C_140/2012 vom 12. April 2012 E. 3.2.2.).
1.3 Schliesslich befanden sich - mit Ausnahme der Belege für die eigenen Zahlungen - die wesentlichen Unterlagen für die Überentschädigungsberechnung, die der Rückforderung zugrundeliegen, bei den von der Beschwerdegegnerin eingereichten Akten, wie sich auch der vorinstanzlichen Begründung entnehmen lässt. Jedenfalls nennt die Beschwerdeführerin kein einziges Dokument, welches das kantonale Berufsvorsorgegericht aus einem fremden Verfahren beigezogen haben soll, ohne dass sie dazu Stellung nehmen konnte.
Es verletzt somit kein Bundesrecht, dass die Vorinstanz auf die Klage eingetreten ist. Die in diesem Zusammenhang erhobene Rüge der Parteilichkeit des Berufsvorsorgegerichts ist unbegründet.
2. Die Beschwerdeführerin beantragte in der Klageantwort eine öffentliche mündliche Gerichtsverhandlung (mindestens Parteiöffentlichkeit). In der Duplik hielt sie an diesem Begehren fest. Die Vorinstanz hat von einer öffentlichen Verhandlung abgesehen mit der Begründung bei der im Streite stehenden Frage der Überentschädigung handle es sich um eine rein rechnerische Frage von hoher Technizität. Es sei schlicht undenkbar, dass eine mündliche Verhandlung für die Falllösung erhebliche Informationen liefern könnte. Im Übrigen lasse das Verhalten der Beklagten auf eine Verzögerungstaktik schliessen, weshalb auch aus diesem Grund von einer öffentlichen Verhandlung abzusehen sei. Die Beschwerdeführerin rügt diese Rechtsauffassung zu Recht als bundesrechtswidrig.
2.1 Aufgrund des klaren und unmissverständlichen Antrags der Beklagten war nach Art. 6 Ziff. 1 Satz 1 EMRK grundsätzlich eine öffentliche Verhandlung durchzuführen (vgl. auch Art. 61 lit. a ATSG, wonach das Verfahren vor den kantonalen Versicherungsgerichten in der Regel öffentlich ist; Urteil des Eidg. Versicherungsgerichts I 453/04 vom 21. Juli 2005 E. 2.2.2). Da sie zudem auch eine Referentenaudienz verlangte, ging ihr Begehren über eine bloss persönliche Anhörung oder Befragung hinaus (Urteil 8C_390/2012 vom 10. Oktober 2012 E. 2.1 und 2.3 mit Hinweisen). Nach der Rechtsprechung kann zwar von einer ausdrücklich beantragten öffentlichen Verhandlung abgesehen werden bei hoher Technizität der zur Diskussion stehenden Materie, worunter etwa rein rechnerische, versicherungsmathematische oder buchhalterische Probleme zu verstehen sind (BGE 136 I 279 E. 1 S. 281; Urteil 8C_106/2011 vom 1. Juni 2011 E. 2.1). Wie die Beschwerdeführerin indessen richtig vorbringt, sind die rechnerischen Operationen im Rahmen der Überentschädigungsberechnung einfach. Die allenfalls zu berücksichtigenden Faktoren sind von Gesetz (Art. 24 BVV 2 in Verbindung mit Art. 34a Abs. 1 BVG) und Vorsorgereglement (hier: Art. 24 Versicherungsreglement 2005) vorgegeben. Im Vordergrund stehen dagegen etwa die Höhe des mutmasslich entgangenen Verdienstes oder ob und in welcher Höhe ein zumutbarerweise noch erzielbares Erwerbseinkommen anzurechnen ist. Es kann diesbezüglich nicht ohne weiteres auf das im invalidenversicherungsrechtlichen Verfahren ermittelte Invalideneinkommen abgestellt werden (BGE 137 V 20 E. 2.2 S. 23).
2.2 Auch die weiteren Tatbestände, die das Absehen von einer öffentlichen Verhandlung rechtfertigen können, sind zu verneinen. Vorab hat die Vorinstanz nicht näher begründet, weshalb der bereits in der Klageantwort gestellte diesbezügliche Antrag als schikanös zu betrachten war und auf eine Verzögerungstaktik schliessen liess. Ebenfalls kann nicht gesagt werden, auch ohne öffentliche Verhandlung sei der Ausgang des Verfahrens prozessual oder materiell offensichtlich gewesen (BGE 136 I 279 E. 1 S. 281).
2.3 Der Verzicht der Vorinstanz auf eine mündliche öffentliche Verhandlung verletzt Art. 6 Ziff. 1 EMRK. Der angefochtenen Entscheid ist somit aufzuheben, ohne dass auf die materiellen Vorbringen der Parteien in ihren Rechtsschriften einzugehen wäre. Die Sache geht an die Vorinstanz zurück, damit sie eine öffentliche Verhandlung durchführe und danach über die Klage und die Widerklage neu entscheide.
3. Mit dem Entscheid in der Sache ist die Frage der aufschiebenden Wirkung der Beschwerde gegenstandslos.
4. Dem Prozessausgang entsprechend hat die Beschwerdegegnerin die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG) und der Beschwerdeführerin eine Parteientschädigung zu bezahlen (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 28. August 2012 aufgehoben und Sache an die Vorinstanz zurückgewiesen wird, damit sie im Sinne der Erwägungen verfahre und über die Klage und die Widerklage neu entscheide.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat die Beschwerdeführerin für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. Januar 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Der Gerichtsschreiber: Fessler