Sachverhalt:
A. A.a Die Freizügigkeitsstiftung der Basellandschaftlichen Kantonalbank (nachfolgend: Freizügigkeitsstiftung) löste am 28. Februar 2006 das seit kurzem bestehende Freizügigkeitskonto des A._ vorzeitig auf und zahlte die Austrittsleistung von Fr. 106'329.30 nach dessen Weisungen aus. Seine Ehefrau P._ erhob am 3. April 2006 Klage auf Scheidung. In diesem Verfahren bestritt die Freizügigkeitsstiftung die Existenz einer teilbaren Austrittsleistung, während die Ehefrau geltend machte, die Saldierung des Freizügigkeitskontos sei ohne ihre Zustimmung erfolgt. Mit Entscheid des Kreisgerichts Werdenberg-Sargans vom 7. Dezember 2006 wurde die Ehe der P._ und des A._ geschieden (Dispositiv-Ziffer 1) und u.a. der jeweilige Anspruch der Parteien auf die Hälfte der nach Freizügigkeitsgesetz für die Ehedauer zu ermittelnden Austrittsleistung des anderen Ehegatten festgestellt (Dispositiv-Ziffer 6). Am 27. Februar 2007 überwies das Kreisgericht die Sache zur weiteren Beurteilung an das Versicherungsgericht des Kantons St. Gallen. Dieses räumte P._ Gelegenheit ein, gegen die Freizügigkeitseinrichtung beim "zuständigen Versicherungsgericht des Kantons Basel-Landschaft" Klage zu erheben und sistierte das bei ihm anhängig gemachte Vorsorgeausgleichsverfahren.
A.b P._ erhob am 27. Juni 2008 beim Kantonsgericht Basel-Landschaft Klage gegen die Freizügigkeitsstiftung mit folgenden Rechtsbegehren:
1. Es sei festzustellen, dass die Beklagte die Freizügigkeitsleistung des A._ im Betrag von Fr. 106'214.95 am 20. Februar 2006 an ihn ausbezahlt hat, ohne dass die erforderliche Zustimmung der Klägerin als Ehefrau vorlag.
2. Die Beklagte sei zu verpflichten, der Klägerin auf deren Vorsorgeeinrichtung mit Fr. 53'107.45 zuzüglich gesetzliche Zinsen vom 21. Februar 2006 bis zur effektiven Überweisung (abzüglich 1⁄2 der eigenen Austrittsleistung gemäss Art. 122 ZGB) den ihr gemäss Scheidungsurteil zustehenden hälftigen Anspruch zu bezahlen.
Mit Entscheid vom 21. November 2008 trat das Gericht mangels örtlicher Zuständigkeit auf die Klage nicht ein und überwies die Angelegenheit zuständigkeitshalber zur weiteren Behandlung an das Versicherungsgericht des Kantons St. Gallen. Die von der Freizügigkeitsstiftung dagegen erhobene Beschwerde wies das Bundesgericht mit Urteil 9C_1060/2008 vom 26. Mai 2009 ab.
A.c Das Versicherungsgericht des Kantons St. Gallen wies mit Entscheid vom 8. Februar 2010 (Verfahren BV 2007/06) die Klage ab (Dispositiv-Ziffer 1) und verweigerte die Teilung der Austrittsleistung der P._ im Sinn der Anordnung des Scheidungsurteils (Dispositiv-Ziffer 2). Ferner sprach es ihrem Rechtsvertreter als unentgeltlichem Rechtsbeistand eine Entschädigung durch den Staat zu (Dispositiv-Ziffer 4). Die dagegen erhobene Beschwerde hiess das Bundesgericht mit Urteil 9C_153/2010 vom 1. September 2010 - soweit es darauf eintrat - in dem Sinne gut, dass der Entscheid vom 8. Februar 2010 aufgehoben und die Sache an die Vorinstanz zurückgewiesen wurde, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über den Anspruch der P._ neu entscheide. Mit Entscheid vom 16. Juni 2011 (Verfahren BV 2010/15) hiess das Versicherungsgericht des Kantons St. Gallen die Klage vom 27. Juni 2008 gut und verpflichtete die Freizügigkeitsstiftung, den Betrag von Fr. 29'956.75 nebst Zinsen an die Vorsorgeeinrichtung der P._ zu Gunsten ihres Vorsorgekontos zu überweisen (Dispositiv-Ziffer 1) und der Klägerin eine Parteientschädigung von Fr. 6'000.- zu bezahlen (Dispositiv-Ziffer 3).
B. P._ und ihr Rechtsvertreter erhoben beim Verwaltungsgericht des Kantons St. Gallen "Rechtsverweigerungsbeschwerde" mit folgenden Anträgen:
1. Ziff. 3 des Dispositivs des Urteils des Versicherungsgerichts St. Gallen vom 16. Juni 2011 (BV 2010/15) sei aufzuheben.
2. Es sei den Beschwerdeführern eine Parteientschädigung in der Höhe von mindestens Fr. 10'000.- zuzüglich Barauslagen von pauschal 4 % und Mehrwertsteuer von 7,6 bzw. 8 % zuzusprechen.
Mit Entscheid vom 14. Februar 2012 trat das Verwaltungsgericht auf die Beschwerde nicht ein und überwies die Sache an das Bundesgericht.
Die Freizügigkeitsstiftung lässt auf Abweisung der Beschwerde schliessen. Das kantonale Gericht beantragt, auf die Beschwerde sei nicht einzutreten, eventuell sei sie abzuweisen. Das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme.
Erwägungen:
1. 1.1 Das Bundesgericht prüft seine Zuständigkeit resp. die Zulässigkeit der bei ihm erhobenen Rechtsmittel von Amtes wegen und mit freier Kognition (Art. 29 Abs. 1 BGG; vgl. BGE 135 II 94 E. 1 S. 96; Urteil 8C_264/2009 vom 19. Mai 2009 E. 1; je mit Hinweisen).
1.2 Die Beschwerdefrist gilt auch als gewahrt, wenn die Eingabe rechtzeitig bei der Vorinstanz oder bei einer unzuständigen eidgenössischen oder kantonalen Behörde eingereicht worden ist. Die Eingabe ist unverzüglich dem Bundesgericht zu übermitteln (Art. 48 Abs. 3 BGG).
Dass die Beschwerde zunächst bei einem unzuständigen kantonalen Gericht eingereicht wurde, ist daher - entgegen der vorinstanzlichen Auffassung - kein Grund, nicht darauf einzutreten (vgl. AMSTUTZ/ARNOLD, in: Basler Kommentar, Bundesgerichtsgesetz, 2. Aufl. 2011, N. 21 zu Art. 48 BGG). Dies gilt auch bei anwaltlicher Vertretung und trotz zutreffender Rechtsmittelbelehrung im angefochtenen Entscheid.
1.3 Zur Beschwerde in öffentlich-rechtlichen Angelegenheiten ist berechtigt, wer u.a. durch den angefochtenen Entscheid oder Erlass besonders berührt ist und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung hat (Art. 89 Abs. 1 lit. b und c BGG). Dies ist für den Rechtsvertreter der Beschwerdeführerin nur dann zu bejahen, wenn es um ein von der Vorinstanz zugesprochenes Honorar als unentgeltlicher Rechtsbeistand (vgl. Art. 29 Abs. 3 BV) geht. Diese Konstellation ist hier nicht gegeben.
Die Vorinstanz hat im angefochtenen Entscheid klargestellt, dass mit der zugesprochenen Parteientschädigung auch die Kosten des am 8. Februar 2010 entschiedenen Verfahrens BV 2007/06 abgegolten werden. Für dieses Verfahren war zwar der Rechtsvertreter als unentgeltlicher Rechtsbeistand der Beschwerdeführerin bestellt worden, indessen hob das Bundesgericht mit Urteil 9C_153/2010 vom 1. September 2010 den Entscheid vom 8. Februar 2010 auch in dieser Hinsicht auf. Aufgrund der (nachträglichen) Gutheissung der Klage besteht kein Anlass, von einem eigenen Anspruch auf Kostenersatz und damit einer Beschwerdelegitimation des Rechtsvertreters auszugehen.
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 2 BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es prüft die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG).
3. Die Vorinstanz hat "wegen der durch das Bundesgericht angeordneten prozessualen Erweiterung" die "gegenüber dem Normalsatz angemessen erhöhte Entschädigung" auf Fr. 6'000.- festgesetzt. Laut Stellungnahme vom 7. Juni 2012 setzt sich diese zusammen aus der gerichtsüblichen "mittleren pauschalen Entschädigung" von Fr. 3'500.- für das Verfahren BV 2007/06 und einer reduzierten Pauschale von Fr. 2'500.- für das Verfahren BV 2010/15, bei dem sich der zusätzliche Prozessaufwand im Wesentlichen auf einfache Stellungnahmen zu den Abklärungen und Abklärungsergebnissen beschränkt habe.
Mit der Beschwerde wird ein Prozessaufwand von über 40 Stunden geltend gemacht. Der sich daraus bei der zugesprochenen Entschädigung ergebende Stundensatz von Fr. 132.50 sei "willkürlich tief".
4. 4.1 Der kantonale Prozess betreffend Leistungen der beruflichen Vorsorge untersteht nicht den Verfahrensregeln der Art. 56 bis 62 ATSG (vgl. Art. 2 ATSG), und die Rechtspflegebestimmungen von Art. 73 BVG enthalten keine zu Art. 61 lit. g ATSG analoge Regelung des Parteikostenersatzes. Daher sind sowohl die Voraussetzungen als auch die Bemessung der einem obsiegenden Kläger zustehenden Parteientschädigung ausschliesslich dem kantonalen Recht überlassen. Damit hat sich das Bundesgericht grundsätzlich nicht zu befassen. Es darf die Zusprechung resp. Nichtzusprechung und die Höhe einer Parteientschädigung für das vorinstanzliche Verfahren nur daraufhin überprüfen, ob die Anwendung der einschlägigen kantonalen Bestimmungen zu einer Verletzung von Bundesrecht geführt hat (Art. 95 lit. a BGG; E. 2). Dabei fällt praktisch nur das Willkürverbot von Art. 9 BV in Betracht (vgl. BGE 125 V 408 E. 3a S. 408 f. mit Hinweisen; Urteil 9C_115/2008 vom 23. Juli 2008 E. 9.1).
4.2 Es trifft zwar zu, dass es willkürlich wäre, für die Entschädigung des angemessenen Aufwandes einen Stundenansatz von nur ge-rade rund Fr. 130.- heranzuziehen (SVR 2011 AHV Nr. 7 S. 23, 9C_338/2010 E. 5.2 mit Hinweisen). Indessen legt die Beschwerdeführerin nicht dar und ist auch nicht ersichtlich, inwiefern die der Pauschale zugrunde liegende (implizite) vorinstanzliche Annahme eines durchschnittlichen resp. um etwa 30 % reduzierten Arbeitsaufwandes offensichtlich unrichtig, d.h. willkürlich (BGE 136 III 627 E. 3.1 S. 630; 133 II 249 E. 1.2.2 S. 252) sein oder auf einer anderen Verletzung von Bundesrecht beruhen soll (E. 2). Auch wenn es sich bei Gesamtbetrachtung um einen komplexen Fall handelt, sind nur die Aufwendungen für die beiden vorinstanzlichen Verfahren BV 2007/06 und BV 2010/15 massgeblich, wie die Beschwerdeführerin selber einräumt. Weiter ist dem kantonalen Gericht beizupflichten, dass im zweiten Verfahren, bei dem es hauptsächlich nur noch um die Abklärung der Echtheit einer Unterschrift ging, ein relativ geringer Prozessaufwand anfiel. Zudem reichte die Beschwerdeführerin weder im vor- noch im letztinstanzlichen Verfahren (vgl. betreffend Zulässigkeit SVR 2011 AHV Nr. 7 S. 23, 9C_338/2010 E. 5.2) eine (detaillierte) Kostennote ein, aus welcher der geltend gemachte Aufwand von über 40 Stunden nachvollziehbar geworden wäre. Die blosse Behauptung dieses Umfangs genügt nicht, ihn für überwiegend wahrscheinlich (zum Beweismass vgl. BGE 135 V 39 E. 6.1 S. 45; 126 V 353 E. 5b S. 360) zu halten oder gar die vorinstanzliche Annahme eines geringeren Aufwandes als willkürlich (BGE 134 II 124 E. 4.1 S. 133; 133 I 149 E. 3.1 S. 153 mit Hinweisen) erscheinen zu lassen. Andere Gründe für eine willkürliche Festsetzung der Parteientschädigung werden nicht vorgebracht, weshalb davon nicht die Rede sein kann. Die Beschwerde ist unbegründet.
5. Dem Ausgang des Verfahrens entsprechend haben die Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 700.- werden den Beschwerdeführern je zur Hälfte auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 11. Juli 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Dormann