Sachverhalt:
A. A.a Mit Fusion per ... gingen die Aktiven und Passiven der B._ AG auf die W._ AG über. Erstere war für die Durchführung der beruflichen Vorsorge bei der Pensionskasse der X._ AG (nachfolgend: Stiftung; Anschlussvereinbarungen vom 1. Dezember 2006 und 23. August 2007), letztere ist bei der C._ Sammelstiftung (nachfolgend: Sammelstiftung) angeschlossen. Die beiden Vorsorgeeinrichtungen schlossen am 14./23. Januar 2009 eine Vorvereinbarung betreffend den kollektiven Übertritt der aktiven Versicherten und Rentner der ehemaligen B._ AG auf die Sammelstiftung ab. Gestützt darauf überwies die Stiftung eine Akontozahlung in der Höhe von 90 % der Vermögensteile zuzüglich 2 % Zins per Valuta 15. Januar 2009. Ein weiterer Betrag wurde Ende April 2009 bezahlt. Seit Januar 2009 richtete die Sammelstiftung die Renten aus.
A.b Im Frühling 2009 trat eine Meinungsverschiedenheit zwischen der Sammelstiftung und der Stiftung über die Frage auf, ob diese für die Rentner 100 % des Rentendeckungskapitals oder wegen der festgestellten Unterdeckung per 31. Dezember 2008 entsprechend weniger zu zahlen habe. Am 23. April 2009 teilte die Sammelstiftung dem Amt für berufliche Vorsorge und Stiftungen des Kantons Zürich (nachfolgend: Aufsichtsbehörde) mit, dass sie die Renten nur noch bis und mit Mai 2009 ausrichte. Gleichzeitig ersuchte sie vorsorglich u.a. darum, die Stiftung anzuweisen, die Renten ab Juni 2009 wieder selber auszuzahlen und einem allfälligen Rechtsmittel die aufschiebende Wirkung zu entziehen.
In der Folge stellte die Aufsichtsbehörde eine Verfügung in Aussicht, die u.a. vorsah, dass die Rentenbezüger bei der Stiftung verbleiben würden, bis eine anderslautende Vereinbarung gemäss Art. 53e Abs. 5 BVG oder ein anderslautender rechtskräftiger Entscheid vorliege, und die Stiftung den Verpflichtungen gegenüber den Rentenbezügern auch nach dem 1. Januar 2009 nachzukommen und deren Rechte und Pflichten zu wahren habe. Zum Verfügungsentwurf vom 29. April 2009 reichte die Stiftung eine Vernehmlassung ein.
A.c Mit Verfügung vom 22. Mai 2009 wies die Aufsichtsbehörde die Begehren der Sammelstiftung in der Eingabe vom 23. April 2009 ab, die sie als Aufsichtsbeschwerde behandelte, soweit darauf eingetreten werden könne. Zur Begründung führte sie im Wesentlichen aus, bei der Frage, ob bzw. zu welchen Bedingungen die Rentner auf die neue Vorsorgeeinrichtung übertragen worden seien, handle es sich um einen Rechtsstreit, der durch die zuständige Gerichtsinstanz zu entscheiden sei. Bis dahin würden die Verpflichtungen gegenüber den Rentnern bei der Sammelstiftung bleiben. Das Verfügen einer Rückübertragung würde unter den gegebenen Umständen einen unverhältnismässigen und unangemessenen Eingriff der Aufsichtsbehörde darstellen.
B. Die dagegen erhobene Beschwerde der Sammelstiftung wies das Bundesverwaltungsgericht mit Entscheid vom 29. März 2012 ab, soweit es darauf eintrat.
C. Die Sammelstiftung hat Beschwerde in öffentlich-rechtlichen Angelegenheiten erhoben mit dem hauptsächlichen Rechtsbegehren, der Entscheid vom 29. März 2012 sei aufzuheben und der Beschwerde gegen die Verfügung der Aufsichtsbehörde vom 22. Mai 2009 stattzugeben.
Die Stiftung und die Aufsichtsbehörde stellen je Antrag auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Bundesverwaltungsgericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.
Erwägungen:
1. 1.1 Es steht fest und ist unbestritten, dass der Anschlussvertrag vom 23. August 2007 zwischen der Stiftung und der ehemaligen B._ AG seitens der Vorsorgeeinrichtung gekündigt wurde, was zu deren Teilliquidation (Stichtag: 31. Dezember 2008) führte.
Löst die Vorsorgeeinrichtung den Anschlussvertrag mit dem Arbeitgeber auf, so haben sich die bisherige und die neue Vorsorgeeinrichtung über den Verbleib der Rentenbezüger bei der bisherigen oder den Wechsel zur neuen Vorsorgeeinrichtung zu einigen. Kommt keine Vereinbarung zustande, so verbleiben die Rentenbezüger bei der bisherigen Vorsorgeeinrichtung (Art. 53e Abs. 5 BVG).
1.2 Die Stiftung und die Sammelstiftung haben am 14./23. Januar 2009 eine Vorvereinbarung abgeschlossen. Diese wurde insoweit erfüllt, als die Aktiven und die Rentner der abgebenden Stiftung mit dem jeweiligen, um den anteilsmässigen Betrag der Unterdeckung (Deckungsgrad: 90.5 %) gekürzten Vorsorgekapital auf die übernehmende Sammelstiftung übertragen wurden. Die beiden Vorsorgeeinrichtungen sind dabei uneins darüber, ob die Unterdeckung auch auf dem Vorsorgekapital der Rentner proportional in Abzug zu bringen ist.
2. Das Bundesverwaltungsgericht ist insoweit auf die Beschwerde der Sammelstiftung gegen die Verfügung vom 22. Mai 2009 eingetreten, als darin gerügt wurde, die Aufsichtsbehörde habe sich zu Unrecht nicht als zuständig erachtet zum Entscheid darüber, zu welchen Bedingungen (ohne oder mit Kürzung des zu übertragenden Vorsorgekapitals) die Rentner der Stiftung auf sie übertragen worden seien. Weitergehende Rechtswirkungen der angefochtenen Verfügung hat es verneint. Eine allfällige implizite Anordnung einer vorsorglichen Massnahme des Inhalts, dass die Verpflichtungen gegenüber den Rentnern bei der Sammelstiftung bleiben würden, sei unbeachtlich.
Streitgegenstand ist somit in erster Linie, ob im Klageverfahren nach Art. 73 BVG oder im verwaltungsrechtlichen Beschwerdeverfahren nach Art. 74 BVG zu prüfen und zu entscheiden ist, ob das Vorsorgekapital der Rentner der Stiftung ungekürzt oder gekürzt, entsprechend dem Deckungsgrad von 90.5 %, auf die Sammelstiftung zu übertragen ist. Die Rechtsprechung zur Abgrenzung der beiden Rechtswege bzw. der sachlichen Zuständigkeit von Berufsvorsorgegericht einerseits, Aufsichtsbehörde und Bundesverwaltungsgericht anderseits wird im angefochtenen Entscheid zutreffend wiedergegeben, worauf verwiesen wird (vgl. SVR 2007 BVG Nr. 27 S. 95, B 114/05 E. 4 und 7.2, 2004 BVG Nr. 21 S. 65, B 34/02 E. 2.1 [nicht publ. in: BGE 130 V 80] und Urteil 2A.140/2002 vom 18. Oktober 2002 E. 3).
3. Nach Auffassung des Bundesverwaltungsgerichts geht es vorliegend um eine typischerweise berufsvorsorgerechtliche Streitigkeit zweier Vorsorgeeinrichtungen im Lichte von Art. 53a Abs. 5 BVG und nicht um eine aufsichtsrechtliche Streitigkeit. Es sei nicht an der Aufsichtsbehörde zu beurteilen, unter welchen Umständen die Vorvereinbarung vom 14./23. Januar 2009 abgeschlossen worden sei und wer nun auf dauerhafte Weise für die Verpflichtungen gegenüber den Rentnern der Stiftung aufzukommen habe, diese oder die Beschwerde führende Sammelstiftung. Die Aufsichtsbehörde habe sich daher zu Recht in der Hauptsache als unzuständig erklärt.
4. 4.1 Geht es wie im vorliegenden Fall um eine Unterdeckung, ist ein Verteilungsplan nicht Thema (BGE 135 V 113 E. 2.1.5 in fine S. 118). Dessen ungeachtet vermag die diesbezügliche Rechtsprechung zum massgebenden Rechtsweg - Art. 74 BVG, wenn die (generelle) Erstellung des Verteilungsplans, Art. 73 BVG, wenn dessen (individuell-konkrete) Vollzug zur Diskussion steht (SVR 2008 BVG Nr. 8 S. 27, B 156/06 E. 2.1 und 4; SVR 2005 BVG Nr. 19 S. 63, B 41/03 E. 4.1 und 6.3) - hier Richtschnur zu bilden. Denn auch einer Vereinbarung im Sinne von Art. 53e Abs. 5 BVG über den Wechsel der Rentner zur neuen Vorsorgeeinrichtung (Übernahmevertrag) ist eine Zweiteilung im Sinne von Gestaltung und Umsetzung immanent, die dem Bundesgericht im Zusammenhang mit Streitigkeiten zwischen zwei Vorsorgeeinrichtungen um das Deckungskapital als Abgrenzungskriterium für den Rechtsweg dient (SVR 2007 BVG Nr. 27 S. 95, B 114/05 vom 14. November 2006 E. 7.2; vgl. auch Urteil 2A.735/2005 vom 19. Juni 2006 E. 3.4).
4.2 Die rechnerische Höhe des Vorsorgekapitals der Rentner (Fr. 9'060'038.- [Deckungsgrad: 100 %] bzw. Fr. 8'199'334.- [effektiver Deckungsgrad: 90.5 % per 31. Dezember 2008 gemäss vollständigem Teilliquidationsbeschluss der Stiftung vom 30. März 2009]) ist nicht umstritten. Zur Diskussion steht, wer den Fehlbetrag von Fr. 860'704.- zu tragen hat. Dabei ist zwischen den beiden Rechtsfragen zu unterscheiden, inwieweit eine Kürzung des zu übertragenden Vorsorgekapitals der Rentner verbindlicher Inhalt der Vorvereinbarung vom 14./23. Januar 2009 ist, und inwieweit eine solche Kürzung gesetzlich und reglementarisch überhaupt zulässig ist. In concreto ist Ersteres streitig. Die Sammelstiftung hatte vor der Aufsichtsbehörde unter ausdrücklicher Bezugnahme auf die betreffende Vereinbarung und ein Schreiben an die Stiftung sinngemäss geltend gemacht, sie habe die fragliche Vereinbarung in der Annahme abgeschlossen, dass die Stiftung das ganze Deckungskapital der Rentenbezüger überweise. Weitergehendes konnte der Eingabe vom 23. April 2009 nicht entnommen werden, was implizit bereits die Vorinstanz festgestellt hat. Es geht somit um eine Frage der Auslegung des Übernahmevertrages. Darüber hat klarerweise nicht die Aufsichtsbehörde, sondern das Berufsvorsorgegericht zu befinden (E. 4.1). Die Bezeichnung des Übernahmevertrags als Vorvereinbarung ist im Übrigen nicht massgebend (Art. 18 OR).
4.3 Die Beschwerde führende Sammelstiftung bringt vor, auf Grund des Verfügungsentwurfs vom 29. April 2009, der ihr von der Aufsichtsbehörde vorgängig vorgelegt worden sei (vgl. Sachverhalt lit. A.b), habe sie nach Treu und Glauben vom Schutz ihrer Interessen ausgehen dürfen. Ein solcher Entwurf, der die Gewährung des rechtlichen Gehörs vor der definitiven Verfügung bezweckt, ist jedoch keine Garantie dafür, dass die Sache gleichermassen erledigt wird. Insbesondere lässt die Beschwerdeführerin ausser Acht, dass eine Zusicherung lediglich von einer zuständigen Amtsstelle erteilt werden kann. Soweit sie die (sachliche) Unzuständigkeit der Aufsichtsbehörde nicht erkannt haben will, ist ein daraus resultierender Schaden weder ersichtlich noch substanziiert (vgl. statt vieler Urteil 1C_151/2012 vom 5. Juli 2012 E. 4.2.1 mit Hinweisen). Abgesehen davon kann die Eintretensfrage auch erst vor Bundesgericht zum Thema werden. Dieses prüft seine Zuständigkeit und diejenige ihrer Vorinstanzen von Amtes wegen und mit freier Kognition (Urteil 8C_852/2011 vom 12. Juni 2012 E. 4.1; BGE 136 V 7 E. 2 S. 9). Dass der Beschwerdeführerin vor Erlass der definitiven Verfügung vom 22. Mai 2009 nicht noch einmal das rechtliche Gehör gewährt wurde, vermag deshalb deren Aufhebung nicht zu begründen.
Gleichzeitig kann offen bleiben, inwieweit die Aufsichtsbehörde über den vorläufigen Verbleib der Rentner bei der Sammelstiftung bzw. deren Rückübertragung an die Stiftung wirksam entschieden hat. So oder anders handelt es sich dabei "nur" um Aussagen im Sinne einer vorsorglichen Massnahme bis zur Klärung des Auslegungsstreits. Wie bereits die Vorinstanz zu Recht erwogen hat, ist indes kein rechtsgenüglicher Grund gegeben, von der diesbezüglichen Kompetenzattraktion der Hauptsachezuständigkeit abzuweichen. Weder liegt Dringlichkeit vor - und wird eine solche auch nicht behauptet - noch besteht die Gefahr von widersprüchlichen Urteilen. Die Überprüfung des Teilliquidationsverfahrens, was gemäss Beschwerdeführerin mehrere Rentner beantragt hätten, fällt wohl - anders als der Auslegungsstreit (vgl. E. 4.2) - in den Zuständigkeitsbereich der Aufsichtsbehörde (vgl. Art. 53d Abs. 6 BVG). Inhaltlich unterscheiden sich die beiden Streitsachen aber deutlich voneinander (vgl. E. 4.1). Die vorinstanzliche Feststellung, die Verfügung vom 22. Mai 2009 habe nur insoweit Rechtswirkung entfaltet, als darin auf die Begehren mangels Zuständigkeit nicht eingetreten worden sei, ist somit nicht zu beanstanden.
4.4 Die Beschwerde ist unbegründet.
5. Diesem Ausgang des Verfahrens entsprechend hat die Sammelstiftung die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Die Stiftung hat keine Parteientschädigung beantragt.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 3'000.- werden der C._ Sammelstiftung auferlegt.
3. Dieses Urteil wird den Parteien, dem Pensionskasse der X._ AG, dem Bundesverwaltungsgericht und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 13. November 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Fessler