Sachverhalt: A. A.a Die Freizügigkeitsstiftung der Basellandschaftlichen Kantonalbank (nachfolgend: Freizügigkeitsstiftung) löste am 28. Februar 2006 das seit kurzem bestehende Freizügigkeitskonto des A._ vorzeitig auf und zahlte die Austrittsleistung von Fr. 106'329.30 nach dessen Weisungen aus. Seine Ehefrau P._ erhob am 3. April 2006 Klage auf Scheidung. In diesem Verfahren bestritt die Freizügigkeitsstiftung die Existenz einer teilbaren Austrittsleistung, während die Ehefrau geltend machte, die Saldierung des Freizügigkeitskontos sei ohne ihre Zustimmung erfolgt. Mit Entscheid des Kreisgerichts Werdenberg-Sargans vom 7. Dezember 2006 wurde die Ehe der P._ und des A._ geschieden (Dispositiv-Ziffer 1) und u.a. der jeweilige Anspruch der Parteien auf die Hälfte der nach Freizügigkeitsgesetz für die Ehedauer zu ermittelnden Austrittsleistung des anderen Ehegatten festgestellt (Dispositiv-Ziffer 6). Am 27. Februar 2007 überwies das Kreisgericht die Sache zur weiteren Beurteilung an das Versicherungsgericht des Kantons St. Gallen. Dieses räumte P._ Gelegenheit ein, gegen die Freizügigkeitseinrichtung beim "zuständigen Versicherungsgericht des Kantons Basel-Landschaft" Klage zu erheben und sistierte das bei ihm anhängig gemachte Vorsorgeausgleichsverfahren. A.b P._ erhob am 27. Juni 2008 beim Kantonsgericht Basel-Landschaft Klage gegen die Freizügigkeitsstiftung mit folgenden Rechtsbegehren: 1. Es sei festzustellen, dass die Beklagte die Freizügigkeitsleistung des A._ im Betrag von Fr. 106'214.95 am 20. Februar 2006 an ihn ausbezahlt hat, ohne dass die erforderliche Zustimmung der Klägerin als Ehefrau vorlag. 2. Die Beklagte sei zu verpflichten, der Klägerin auf deren Vorsorgeeinrichtung mit Fr. 53'107.45 zuzüglich gesetzliche Zinsen vom 21. Februar 2006 bis zur effektiven Überweisung (abzüglich 1⁄2 der eigenen Austrittsleistung gemäss Art. 122 ZGB) den ihr gemäss Scheidungsurteil zustehenden hälftigen Anspruch zu bezahlen. Mit Entscheid vom 21. November 2008 trat das Gericht mangels örtlicher Zuständigkeit auf die Klage nicht ein und überwies die Angelegenheit zuständigkeitshalber zur weiteren Behandlung an das Versicherungsgericht des Kantons St. Gallen. Die von der Freizügigkeitsstiftung dagegen erhobene Beschwerde wies das Bundesgericht mit Urteil 9C_1060/2008 vom 26. Mai 2009 ab. A.c Das Versicherungsgericht des Kantons St. Gallen wies mit Entscheid vom 8. Februar 2010 (Verfahren BV 2007/06) die Klage ab (Dispositiv-Ziffer 1) und verweigerte die Teilung der Austrittsleistung der P._ im Sinn der Anordnung des Scheidungsurteils (Dispositiv-Ziffer 2). Ferner sprach es ihrem Rechtsvertreter als unentgeltlichem Rechtsbeistand eine Entschädigung durch den Staat zu (Dispositiv-Ziffer 4). Die dagegen erhobene Beschwerde hiess das Bundesgericht mit Urteil 9C_153/2010 vom 1. September 2010 - soweit es darauf eintrat - in dem Sinne gut, dass der Entscheid vom 8. Februar 2010 aufgehoben und die Sache an die Vorinstanz zurückgewiesen wurde, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über den Anspruch der P._ neu entscheide. Mit Entscheid vom 16. Juni 2011 (Verfahren BV 2010/15) hiess das Versicherungsgericht des Kantons St. Gallen die Klage vom 27. Juni 2008 gut und verpflichtete die Freizügigkeitsstiftung, den Betrag von Fr. 29'956.75 nebst Zinsen an die Vorsorgeeinrichtung der P._ zu Gunsten ihres Vorsorgekontos zu überweisen (Dispositiv-Ziffer 1) und der Klägerin eine Parteientschädigung von Fr. 6'000.- zu bezahlen (Dispositiv-Ziffer 3). B. P._ und ihr Rechtsvertreter erhoben beim Verwaltungsgericht des Kantons St. Gallen "Rechtsverweigerungsbeschwerde" mit folgenden Anträgen: 1. Ziff. 3 des Dispositivs des Urteils des Versicherungsgerichts St. Gallen vom 16. Juni 2011 (BV 2010/15) sei aufzuheben. 2. Es sei den Beschwerdeführern eine Parteientschädigung in der Höhe von mindestens Fr. 10'000.- zuzüglich Barauslagen von pauschal 4 % und Mehrwertsteuer von 7,6 bzw. 8 % zuzusprechen. Mit Entscheid vom 14. Februar 2012 trat das Verwaltungsgericht auf die Beschwerde nicht ein und überwies die Sache an das Bundesgericht. Die Freizügigkeitsstiftung lässt auf Abweisung der Beschwerde schliessen. Das kantonale Gericht beantragt, auf die Beschwerde sei nicht einzutreten, eventuell sei sie abzuweisen. Das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme.