Sachverhalt:
A. Am 22. Oktober 2008 meldete sich die 1959 geborene J._ bei der Invalidenversicherung zum Leistungsbezug an. Nach Beizug eines medizinischen Gutachtens stellte die IV-Stelle des Kantons Zürich J._ mit Vorbescheid vom 5. November 2009 die Ablehnung des Leistungsgesuchs in Aussicht. Mit Eingabe vom 4. Dezember 2009 liess die Versicherte Einwendungen erheben und um Bewilligung der unentgeltlichen Verbeiständung ersuchen. Am 30. April 2010 verfügte die IV-Stelle die Abweisung des Gesuchs um unentgeltliche Verbeiständung, weil die Bedürftigkeit von J._ nicht ausgewiesen sei. Mit Verfügung vom 13. September 2010 lehnte die IV-Stelle sodann das Invalidenrentengesuch der Versicherten ab.
B. J._ liess beide Verfügungen beschwerdeweise anfechten. Die gegen die Verweigerung der unentgeltlichen Verbeiständung eingereichte Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 25. August 2011, welcher nach Vereinigung der beiden Beschwerdeverfahren auch die Verneinung des Invalidenrentenanspruchs gemäss Verfügung vom 13. September 2010 zum Gegenstand hat (Dispositiv-Ziffern 1, 3 und 4), gut, hob die entsprechende Verfügung vom 30. April 2010 auf und stellte fest, dass die Versicherte bedürftig sei und im Einspracheverfahren (Verwaltungsverfahren) Anspruch auf unentgeltliche Verbeiständung habe, sofern die übrigen Anspruchsvoraussetzungen erfüllt sind (Dispositiv-Ziffer 2). Ferner verpflichtete es die IV-Stelle, J._ eine Prozessentschädigung von Fr. 1'200.- zu bezahlen (Dispositiv-Ziffer 5).
C. Die IV-Stelle führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Rechtsbegehren, Dispositiv-Ziffern 2 und 5 des vorinstanzlichen Entscheides seien aufzuheben und das Gesuch um unentgeltliche Verbeiständung im Verwaltungsverfahren sei mangels Bedürftigkeit abzuweisen.
Während J._ auf Abweisung der Beschwerde schliessen und um die Bewilligung der unentgeltlichen Rechtspflege ersuchen lässt, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. Letztinstanzliche Entscheide, mit welchen die unentgeltliche Verbeiständung verweigert wurde, sind nach der Rechtsprechung Zwischenentscheide, die einen nicht wieder gutzumachenden Nachteil bewirken können (<ref-law>; <ref-ruling> E. 1.1 S. 131), dessen ungeachtet, ob sie während des Hauptverfahrens, zusammen mit dessen Endentscheid oder mit separatem Entscheid ergangen sind (Urteile 5D_35/2008 vom 16. Juni 2008 [Pra 2009 Nr. 36 S. 213], 5A_336/2007 vom 5. Oktober 2007 [Pra 2008 Nr. 67 S. 444], 5A_108/2007 vom 11. Mai 2007).
2. Im vorliegenden Fall liegt kein Entscheid vor, mit dem ein Gesuch um unentgeltliche Prozessführung abgewiesen wurde. Vielmehr verhält es sich so, dass die Vorinstanz lediglich über ein Teilelement der unentgeltlichen Verbeiständung für das vorangegangene Verwaltungsverfahren, die prozessuale Bedürftigkeit der Beschwerdegegnerin, entschieden und diese bejaht hat. Die weiteren Kriterien (fehlende Aussichtslosigkeit der Anträge, sachliche Gebotenheit anwaltlicher Vertretung: <ref-ruling> E. 7.1 S. 2) hat sie hingegen nicht beurteilt. Schon aus diesem Grund liegt kein das Verfahren abschliessender, voraussetzungslos anfechtbarer Endentscheid nach <ref-law>, sondern ein Zwischenentscheid vor. Dieser ist laut <ref-law> mit Beschwerde anfechtbar, wenn er einen nicht wieder gutzumachenden Nachteil bewirken kann (lit. a) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b). Das Gleiche wie für einen Zwischenentscheid gilt für einen Rückweisungsentscheid (<ref-ruling> E. 4.2 S. 481 f.). Als solcher könnte der angefochtene Entscheid vom 25. August 2011 betrachtet werden, weil die IV-Stelle über den Anspruch der Beschwerdegegnerin auf unentgeltliche Rechtsvertretung im Verwaltungsverfahren noch zu befinden haben wird, auch wenn im Dispositiv des kantonalen Gerichtsentscheids nicht eine ausdrückliche Rückweisung angeordnet wurde.
2.1 Die Anfechtbarkeit des kantonalen Entscheides aufgrund von <ref-law> fällt ausser Betracht; ein Endentscheid könnte wohl herbeigeführt werden, doch ein weitläufiges Beweisverfahren ist nicht durchzuführen und lässt sich somit auch nicht einsparen. Die Beschwerdeführerin äussert sich ohnehin nicht dazu.
2.2 Inwiefern der Zwischenentscheid des Sozialversicherungsgerichts für sie einen irreparablen Nachteil bewirken könnte, begründet die Beschwerdeführerin ebenfalls mit keinem Wort. Vielmehr beschränkt sie sich in der Beschwerde darauf, die einzelnen Positionen der Bedürftigkeitsberechnung der Vorinstanz in Zweifel zu ziehen oder als falsch darzustellen, dies im Übrigen ohne näher dazulegen, inwiefern der angefochtene Entscheid Bundesrecht, namentlich allfällige bundesrechtliche Richtlinien über die Bemessung der Bedürftigkeit im invalidenversicherungsrechtlichen Verwaltungsverfahren, verletzen soll (<ref-law>).
2.3 Fehlt es zunächst an einer Begründung der Eintretensvoraussetzungen im Falle der Anfechtung eines Zwischen- oder Rückweisungsentscheides (vgl. Urteil 5A_175/2009 vom 9. Juni 2009 E. 1.3 und 4A_92/2007 vom 8. Juni 2007 E. 2 in fine) und wird des Weiteren auch nicht näher dargelegt, inwiefern der kantonale Gerichtsentscheid Bundesrecht missachten soll, fehlt es an einer hinreichenden Begründung der Beschwerde (<ref-law>), weshalb darauf nicht einzutreten ist.
2.4 Dass sodann die Vorinstanz in Dispositiv-Ziffer 2 den Begriff Einspracheverfahren statt Verwaltungsverfahren verwendet hat, ist ein Versehen, welches für den Verfahrensausgang ohne Bedeutung ist, zumal es nicht der Klarheit entbehrt, dass damit das Verwaltungsverfahren bei der IV-Stelle bis Verfügungserlass gemeint ist.
3. Dem Prozessausgang entsprechend sind die Gerichtskosten der unterliegenden IV-Stelle aufzuerlegen (<ref-law>). Diese hat der Beschwerdegegnerin zudem eine Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG). Damit wird das Gesuch der Beschwerdegegnerin um unentgeltliche Prozessführung und Verbeiständung im bundesgerichtlichen Verfahren gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 2'000.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 15. Mai 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Widmer