Sachverhalt:
A. A.a Mit Verfügung vom 19. November 2008 eröffnete die (damalige) Eidgenössische Bankenkommission über das Vermögen der Z._ AG mit Sitz in A._ den Konkurs, da diese über keine Bewilligung zur Entgegennahme von Publikumseinlagen gemäss Art. 1 Abs. 2 des Bundesgesetzes über Banken und Sparkassen (BankG, SR 952.0) verfügte. Als Konkursliquidatorin wurde die W._ AG bestellt.
A.b Nachdem die FINMA am 19. November 2010 die Bewilligung zur Prozessführung erteilt hatte, reichte die Z._ AG in Liquidation am 22. November 2011 beim Bezirksgericht Baden gegen X._ eine paulianische Anfechtungsklage in der Höhe von EUR 161'274.37 zuzüglich Zinsen ein.
A.c Mit Eingabe vom 30. März 2011 ersuchte X._, die Klägerin zur Sicherstellung der Parteikosten in der Höhe von Fr. 27'000.-- zu verpflichten.
B. Der Präsident 1 des Bezirksgerichts Baden wies das Begehren am 12. Mai 2011 ab. Das Obergericht des Kantons Aargau trat auf die von X._ dagegen erhobene Beschwerde am 24. Oktober 2011 nicht ein.
C. X._ ist mit Beschwerde in Zivilsachen vom 12. Dezember 2011 an das Bundesgericht gelangt. Der Beschwerdeführer beantragt die Aufhebung des obergerichtlichen Entscheides und die Rückweisung der Sache an die Vorinstanz. Zudem stellt er das Gesuch um unentgeltliche Rechtspflege.
Die Z._ AG in Liquidation als Beschwerdegegnerin schliesst auf Abweisung der Beschwerde.
Erwägungen:
1. 1.1 Angefochten ist ein kantonal letztinstanzlicher Entscheid (Art. 75 Abs. 1 BGG), mit welchem das Obergericht auf eine Beschwerde betreffend die Sicherstellung der Parteikosten nicht eingetreten ist. Dabei handelt es sich um einen Zwischenentscheid, der gemäss dem Grundsatz der Einheit des Verfahrens mit dem in der Hauptsache zulässigen Rechtsmittel anzufechten ist (BGE 134 V 138 E. 3 S. 144). Hierbei geht es um eine paulianische Anfechtungsklage nach Art. 288 SchKG und damit eine Zwangsvollstreckungssache mit Vermögenswert (Art. 72 Abs. 2 lit. a BGG; Urteil 5A_287/2009 vom 2. Juni 2010 E. 1.1, nicht publ. in BGE 136 III 341), wobei die gesetzliche Streitwertgrenze weit überschritten ist (Art. 74 Abs. 1 lit. b BGG). Zwar wurde die Konkursliquidatorin gestützt auf Art. 32 BankG tätig, und die genannte Bestimmung weist zudem Besonderheiten zur Geltendmachung von Anfechtungsansprüchen auf, was indessen an der Natur der Anfechtungsklage als betreibungsrechtliche Streitigkeit (BGE 131 III 227 E. 3.3 S. 232; 130 III 672 E. 3.2 S. 676) sowie am Zweck, das Vollstreckungssubstrat wieder herzustellen, nichts ändert (BGE 136 III 341 E. 3 S. 343).
1.2 Selbständig eröffnete Vor- und Zwischenentscheide können vor Bundesgericht nur unter den Voraussetzungen von Art. 92 und Art. 93 BGG angefochten werden. Vorliegend kommt einzig die Variante gemäss Art. 93 Abs. 1 lit. a BGG in Betracht, d.h. die Beschwerde ist zulässig, wenn der Zwischenentscheid einen nicht wieder gutzumachenden Nachteil bewirken kann. Ein solcher muss nach der bundesgerichtlichen Rechtsprechung rechtlicher Natur sein, was voraussetzt, dass er sich auch mit einem späteren günstigen Endentscheid nicht oder nicht gänzlich beseitigen lässt (BGE 136 II 165 E. 1.2.1 S. 170). Dagegen reichen rein tatsächliche Nachteile wie die Verfahrensverzögerung oder -verteuerung nicht aus (BGE 134 III 188 E. 2.2 S. 191).
1.3 Im vorliegenden Fall befürchtet der Beschwerdeführer die Zahlungsunfähigkeit der Klägerin und damit deren Säumnis im Hauptverfahren. Selbst wenn ihm in einem solchen Fall der Ersatz seiner Parteikosten zugesprochen würde, wären diese wohl uneinbringlich. Durch die Abweisung seines Gesuchs um Sicherstellung drohe ihm daher ein erheblicher Nachteil. Der Beschwerdeführer weist in diesem Zusammenhang auf das bundesgerichtliche Urteil 5A_385/2011 vom 25. Oktober 2011 hin. Im genannten Fall war die Höhe der vom Kläger zu leistenden Kostensicherheit strittig. Das Bundesgericht erblickte in der Androhung des Nichteintretensentscheides bei Nichtbezahlung der Sicherheit einen nicht wieder gutzumachenden Nachteil und trat auf die Beschwerde gegen den vorinstanzlichen Zwischenentscheid ein. Im nun vom Bundesgericht zu beurteilenden Fall droht hingegen dem Beschwerdeführer kein Nichteintretensentscheid, da er nicht als Kläger, sondern als Beklagter auftritt. Werden seine Parteikosten nicht sichergestellt, so bleibt davon der Fortgang des Verfahrens und die materielle Beurteilung der Klage unberührt. Durch den angefochtenen Zwischenentscheid kann ihm ein finanzieller Schaden entstehen, soweit die ihm zugesprochene Parteientschädigung nicht erhältlich sein sollte. Darin liegt ein rein tatsächlicher Nachteil, der nicht zur Beschwerdeführung berechtigt.
2. Nach dem Gesagten ist der Beschwerde kein Erfolg beschieden. Ausgangsgemäss trägt der Beschwerdeführer die Verfahrenskosten (Art. 66 Abs. 1 BGG). Wegen Aussichtslosigkeit der Begehren wird sein Gesuch um unentgeltliche Rechtspflege abgewiesen (Art. 64 Abs. 1 BGG). Der Beschwerdegegnerin wird keine Entschädigung zugesprochen, da sie durch die Konkursliquidatorin bzw. deren Organe oder Angestellte vertreten wurde (Art. 68 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde in Zivilsachen wird nicht eingetreten.
2. Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4. Es wird keine Parteientschädigung zugesprochen.
5. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 4. Kammer, schriftlich mitgeteilt.
Lausanne, 23. Februar 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Levante