Sachverhalt: A. A.a Am 17. Dezember 2003 stellte die Stiftung Sicherheitsfonds BVG gesetzliche Leistungen für die Destinäre der Vorsorgeeinrichtung der Firma M._ AG (nachfolgend: Vorsorgeeinrichtung), sicher. Diese befand sich seit ........ in Liquidation und wurde im ........ gelöscht. Die Sicherstellung blieb in der Höhe von Fr. 2'668'405.15 ungedeckt. Die Vorsorgeeinrichtung hatte sowohl der Stifterfirma M._ AG (später N._), die der W._ AG gehörte, als auch dieser Darlehen gewährt, die nicht zurückbezahlt wurden. Erstere ist heute ebenfalls gelöscht, Letztere befindet sich in Liquidation. A.b Die P._ AG wurde im Jahre 19.. gegründet. Am 25. August 1999 verfasste sie erstmals den Kontrollstellenbericht zur Jahresrechnung 1998 der Vorsorgeeinrichtung. Davor zeichnete die S._ AG resp. die vormalige Treuhandgesellschaft C._ AG für den Kontrollstellenbericht verantwortlich. Im Jahr .... fusionierte die S._ AG (seit .... D._ AG) mit der C._ AG. Beide Firmen waren im Besitz der E._ AG und wurden im .... an die P._ AG verkauft. Diese hält seit Dezember 2000 auch ein Revisionsmandat bei der M._ AG und ab 5. Februar 2003 ein solches bei der N._ in Liq. inne. Zudem war sie von September 1999 bis zur Löschung im .... Revisionsstelle der W._ AG. B. Mit Klage vom 14. Juli 2011 forderte die Stiftung Sicherheitsfonds BVG von der P._ AG Fr. 2'668'405.15 nebst 5 % Zins seit 17. Dezember 2003. Sie legte ihr verschiedene Pflichtverletzungen im Zusammenhang mit den Darlehen an die W._-Gesellschaften zur Last. Die P._ AG bestritt in der Klageantwort vom 30. August 2010 vorab ihre Passivlegitimation. In der Folge beschränkte das Sozialversicherungsgericht des Kantons Zürich den Prozess auf dieses Thema und wies die Klage am 23. August 2011 wegen fehlender Passivlegitimation ab. C. Dagegen erhebt die Stiftung Sicherheitsfonds BVG am 3. Oktober 2011 Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, der Entscheid vom 23. August 2011 sei aufzuheben, die Passivlegitimation sei zu bejahen und es sei die Sache zur weiteren Beurteilung an das Sozialversicherungsgericht des Kantons Zürich zurückzuweisen. Eventuell sei der Entscheid aufzuheben und die Sache zur Vervollständigung der Sachverhaltsfeststellungen an das Sozialversicherungsgericht zurückzuweisen. Ausserdem sei die Beschwerdegegnerin zu verpflichten, die von der Beschwerdeführerin am 28. September 2011 bezahlte Parteientschädigung von Fr. 7'000.- zuzüglich Zinsen an diese zurückzuerstatten. Die Beschwerdegegnerin schliesst in der Vernehmlassung auf Abweisung der Beschwerde. Die Vorinstanz und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. D. Am 16. Dezember 2011 und 12. Januar 2012 reichen die Beschwerdeführerin und die Beschwerdegegnerin je eine weitere Stellungnahme ein.