Sachverhalt:
A. Der nigerianische Staatsangehörige X._ (geb. 1981) durchlief nach illegaler Einreise (unter falscher Identität) in der Schweiz 2002/03 zunächst erfolglos ein Asylverfahren. Am 5. Oktober 2005 reiste er erneut illegal ein und heiratete am 25. November 2005 die Schweizer Bürgerin Y._ (geb. 1983), worauf er die Aufenthaltsbewilligung im Rahmen des Familiennachzugs erhielt. Die Eheleute leben seit Mai/Juli 2010 getrennt; ihre gemeinsame Tochter Z._ (2009) wurde gemäss Entscheid des Gerichtspräsidiums Baden vom 27. Juni 2011 unter die elterliche Obhut der Mutter gestellt und es wurde dem Vater ein gerichtsübliches Besuchsrecht zugesprochen (jedes zweite Wochenende, 2 Wochen Ferien).
B. Zwischen 2007 und 2010 erwirkte X._ 14 Strafbefehle und 3 Strafverfügungen wegen Verstössen gegen das Strassenverkehrsgesetz und gegen das Schuldbetreibungs- und Konkursgesetz; gegen ihn bestehen sodann gemäss Betreibungsregisterauszug vom 22. Juli 2011 offene Betreibungen von rund Fr. 42'600.-- und 51 Verlustscheine von rund Fr. 53'700.-- .
C. Mit Verfügung vom 9. Dezember 2010 verweigerte das Migrationsamt des Kantons Aargau X._ die Niederlassungsbewilligung, drohte ihm den Widerruf der Aufenthaltsbewilligung an und verwarnte ihn - "im Sinne einer allerletzten Chance zur Bewährung". Am 4. März 2011 unterbreitete das kantonale Amt die Akten dem Bundesamt für Migration zur Zustimmung zur Verlängerung der Aufenthaltsbewilligung.
D. Nachdem das Bundesamt für Migration X._ das rechtliche Gehör gewährt hatte, verweigerte es mit Entscheid vom 8. Juli 2011 diese Zustimmung. Die Gewährung der unentgeltlichen Rechtspflege lehnte es ab und wies X._ aus der Schweiz weg. Das Bundesamt erwog im Wesentlichen, die Voraussetzungen für einen Weiterbestand des Anspruchs auf Verlängerung der Aufenthaltsbewilligung nach Auflösung der Familiengemeinschaft seien mangels erfolgreicher Integration nicht erfüllt.
E. Gegen diesen Entscheid gelangte X._ an das Bundesverwaltungsgericht und beantragte dort u.a., die Zustimmung zur Verlängerung der Aufenthaltsbewilligung sei zu erteilen. Gleichzeitig ersuchte er um unentgeltliche Rechtspflege und Verbeiständung.
Mit Verfügung vom 28. November 2011 wies das Bundesverwaltungsgericht das letztgenannte Ersuchen ab und verpflichtete X._ zur Zahlung eines Kostenvorschusses von Fr. 1'000.--. Das Gericht erwog im Wesentlichen, das bei ihm erhobene Rechtsmittel sei aussichtslos.
F. Mit Eingabe vom 30. Dezember 2011 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht mit den Anträgen, die letztgenannte Verfügung aufzuheben und ihm - dem Beschwerdeführer - im Verfahren betreffend Verweigerung der Zustimmung zur Verlängerung der Aufenthaltsbewilligung und Wegweisung die unentgeltliche Rechtspflege und Verbeiständung zu gewähren. Dasselbe Begehren stellt er auch für das Beschwerdeverfahren vor dem Bundesgericht.
Die Akten sind eingeholt, ein Schriftenwechsel ist dagegen nicht durchgeführt worden.

Erwägungen:
1. Angefochten ist eine Zwischenverfügung des Bundesverwaltungsgerichts (<ref-law>), mit dem die unentgeltliche Rechtspflege verweigert wurde, mithin ein Zwischenentscheid, der einen nicht wieder gutzumachenden Nachteil bewirken kann (<ref-law>; <ref-ruling> E. 1.1 S. 131 mit Hinweis). Von einem nicht wieder gutzumachenden Nachteil ist auszugehen, wenn nicht nur die unentgeltliche Rechtspflege verweigert, sondern - wie hier - zugleich auch die Anhandnahme des Rechtsmittels von der Bezahlung eines Kostenvorschusses durch die gesuchstellende Partei abhängig gemacht wird (<ref-ruling> E. 2b S. 202 mit Hinweisen). Bei Zwischenentscheiden folgt der Rechtsweg jenem der Hauptsache (Urteil 5A_145/2010 vom 7. April 2010 E. 1.1). In dieser geht es hier um eine im Sinne von Art. 50 Abs. 1 lit. a des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG, SR 142.20) und Art. 8 EMRK anspruchsbegründende Verlängerung einer Aufenthaltsbewilligung bzw. der Zustimmung dazu, mithin um eine Angelegenheit, die der Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht unterliegt (<ref-law>; <ref-ruling> E. 1.2.1 S. 4). Insoweit steht dasselbe Rechtsmittel auch gegen die Verweigerung der unentgeltlichen Rechtspflege und Verbeiständung für das Verfahren vor dem Bundesverwaltungsgericht offen. Auf die vorliegende Beschwerde ist daher einzutreten.
2. Der Bundesrat legt fest, in welchen Fällen Kurzaufenthalts-, Aufenthalts- und Niederlassungsbewilligungen sowie kantonale arbeitsmarktliche Vorentscheide dem Bundesamt für Migration zu unterbreiten sind (Art. 99 AuG). Das Bundesamt ist u.a. zuständig für die Zustimmung zu solchen Bewilligungen, wenn es ein Zustimmungsverfahren zur Koordination der Praxis im Rahmen des Gesetzesvollzugs für bestimmte Personen- und Gesuchskategorien als notwendig erachtet (Art. 85 Abs. 1 lit. a der Verordnung vom 24. Oktober 2007 über Zulassung, Aufenthalt und Erwerbstätigkeit, VZAE; SR 142.201). Dies ist u.a. der Fall bei der Verlängerung der Aufenthaltsbewilligung eines Ausländers nach der Auflösung der ehelichen Gemeinschaft mit dem schweizerischen Ehegatten, falls der Ausländer nicht aus einem Mitgliedstaat der EG oder der EFTA stammt (<ref-law> in Verbindung mit Ziff. 1.3.1.4 der Weisungen "Verfahren und Zuständigkeiten" des Bundesamtes für Migration [Fassung vom 30. September 2011], abrufbar unter www.bfm.admin.ch; zur Bundesrechtskonformität dieses Zustimmungserfordernisses vgl. Urteil 2C_140/2010 vom 17. Juni 2010, E. 5.4. und 5.5). Diese Voraussetzung ist vorliegend erfüllt, weswegen der Kanton Aargau die Akten dem Bundesamt für Migration zur Zustimmung zu unterbreiten hatte. Dessen Entscheid unterliegt der Beschwerde an das Bundesverwaltungsgericht (Art. 112 AuG in Verbindung mit Art. 31 VGG).
3. Das Bundesverwaltungsgericht hat das Ersuchen des Beschwerdeführers um unentgeltliche Rechtspflege und Verbeiständung abgewiesen, weil es dessen Rechtsmittel als aussichtslos erachtet.
Als aussichtslos sind nach der bundesgerichtlichen Rechtsprechung zu <ref-law> Prozessbegehren anzusehen, bei denen die Gewinnaussichten beträchtlich geringer sind als die Verlustgefahren und die deshalb kaum als ernsthaft bezeichnet werden können. Dagegen gilt ein Begehren nicht als aussichtslos, wenn sich Gewinnaussichten und Verlustgefahren ungefähr die Waage halten oder jene nur wenig geringer sind als diese. Massgebend ist, ob eine Partei, die über die nötigen finanziellen Mittel verfügt, sich bei vernünftiger Überlegung zu einem Prozess entschliessen würde; eine Partei soll einen Prozess, den sie auf eigene Rechnung und Gefahr nicht führen würde, nicht deshalb anstrengen können, weil er sie nichts kostet (<ref-ruling> E. 5 S. 616 mit Hinweis). Ob im Einzelfall genügende Erfolgsaussichten bestehen, beurteilt sich aufgrund einer summarischen Prüfung nach den Verhältnissen zur Zeit, zu der das Gesuch um unentgeltliche Rechtspflege gestellt wird (<ref-ruling> E. 5 S. 616 mit Hinweisen).
4. 4.1 Gemäss Art. 42 Abs. 1 AuG haben ausländische Ehegatten und ledige Kinder unter 18 Jahren von Schweizerinnen und Schweizern Anspruch auf Erteilung der Aufenthaltsbewilligung, wenn sie mit diesen zusammenwohnen. Nach Auflösung der Ehe oder der Familiengemeinschaft besteht der Anspruch des Ehegatten und der Kinder auf Erteilung und Verlängerung der Aufenthaltsbewilligung nach den Artikeln 42 und 43 weiter, wenn u.a. die Ehegemeinschaft mindestens drei Jahre bestanden hat und eine erfolgreiche Integration besteht (Art. 50 Abs. 1 lit. a AuG).
Das Bundesverwaltungsgericht durfte angesichts der umfangreichen Vorstrafenliste und der zahlreich vorhandenen Betreibungen und Verlustscheine vorliegend aufgrund summarischer Prüfung annehmen, der Beschwerdeführer sei in der Schweiz nicht erfolgreich integriert und es fehle deswegen schon von vornherein an den Voraussetzungen von Art. 50 Abs. 1 lit. a AuG. Die Beteuerungen des Beschwerdeführers, Strafbefehle und Strafverfügungen gegen ihn seien nur bis zum 4. August 2010 ergangen, worauf er sich "stark gebessert" habe und nach der (kantonalen) Verwarnung "seinen Verpflichtungen absolut nachgekommen" sei, sind insoweit zu relativieren, als auch nach der Verwarnung vom 9. Dezember 2010 weitere Betreibungen hinzugekommen sind (vgl. Betreibungsregisterauszug vom 22. Juli 2011). Aus dem Umstand, dass ihm der Kanton die Aufenthaltsbewilligung verlängern wollte, kann er sodann nichts für sich ableiten, ist der Bund bei der Erteilung seiner Zustimmung doch nicht an einen kantonalen Entscheid gebunden (Urteil 2C_140/2010 vom 17. Juni 2010, E. 5.4).
4.2 Zu prüfen bleibt, ob das Bundesverwaltungsgericht die Aussichtslosigkeit auch darin erkennen durfte, dass die Voraussetzungen für einen Bleibeanspruch in Bezug auf die Beziehung zu seiner Tochter offensichtlich nicht erfüllt seien; hat ein Ausländer nämlich nahe Verwandte mit einem gefestigten Anwesenheitsrecht in der Schweiz und wird die intakte familiäre Beziehung tatsächlich gelebt, kann es sodann Art. 8 EMRK bzw. <ref-law> verletzen, wenn ihm die Anwesenheit in der Schweiz untersagt und damit sein Familienleben vereitelt wird (<ref-ruling> E. 3.1 S. 285 mit Hinweisen).
4.3 Aus familienrechtlichen Gründen muss der Elternteil, der sich für das Zusammenleben mit seinen Kindern auf Art. 8 EMRK beruft, grundsätzlich über das Sorge- bzw. Obhutsrecht verfügen (BGE 2C_711/2010 vom 1. April 2011 E. 2.3.1; <ref-ruling> E. 4.2.1 und 4.2.2 S. 250 f.; <ref-ruling> E. 2.2.4 S. 158; Urteile 2C_173/2011 vom 24. Juni 2011 E. 4 und 5; 2C_234/2010 vom 11. Juli 2011 E. 2.4). Dabei sind die zivilrechtlichen Vorgaben von den Migrationsbehörden anzuerkennen, so lange sie nicht auf den dort vorgesehenen Rechtswegen abgeändert wurden (Urteil 2C_234/2010 vom 11. Juli 2011 E. 2.4.2). Der nicht sorge- bzw. obhutsberechtigte Ausländer kann die familiäre Beziehung mit seinen Kindern schon aus zivilrechtlichen Gründen von vornherein nur in einem beschränkten Rahmen leben, nämlich durch Ausübung des ihm eingeräumten Besuchsrechts. Hierzu ist grundsätzlich nicht erforderlich, dass er dauernd im gleichen Land wie das Kind lebt und dort über eine Aufenthaltsbewilligung verfügt. Ein Anspruch auf Erteilung einer Aufenthaltsbewilligung ist ausnahmsweise dann zu bejahen, wenn zwischen dem Ausländer und dessen Kindern in wirtschaftlicher und affektiver Hinsicht besonders enge Beziehungen bestehen, die - würde eine Bewilligung verweigert - wegen der Distanz zwischen der Schweiz und dem Land, in welches der Ausländer vermutlich auszureisen hätte, praktisch nicht aufrechterhalten werden könnten. Zudem muss sich der Ausländer tadellos verhalten haben (vgl. Urteil 2C_578/2011 vom 1. Dezember 2011, E. 3.4.3, mit Hinweisen).
Diese letztgenannte Voraussetzung ist beim Beschwerdeführer offensichtlich nicht erfüllt. Dass das Sorgerecht entgegen den Ausführungen im angefochtenen Entscheid noch gar nicht der Mutter zugesprochen worden ist, ändert nichts; es ist von den tatsächlichen Betreuungsverhältnissen auszugehen (Z._ lebt unter der Obhut ihrer Mutter, vgl. vorne lit. A). Ausserdem ist nicht ersichtlich, inwiefern das Bundesverwaltungsgericht ein Schreiben der Kindsmutter vom 13. September 2011, wonach der Beschwerdeführer "ein guter Mensch" und "toller Vater" sei, willkürlich gewürdigt hätte; das entsprechende, nicht unterzeichnete und zudem unrichtig adressierte Schreiben befindet sich nicht in den amtlichen Akten der Vorinstanz. Sodann ist das Besuchsrecht nicht besonders grosszügig ausgestaltet (vgl. ebenfalls vorne lit. A), und der Beschwerdeführer umschreibt auch die Art der Beziehungspflege zu seiner Tochter nicht.
Nach dem Gesagten durfte die Vorinstanz das bei ihr erhobene Rechtsmittel ohne Rechtsverletzung als aussichtslos bezeichnen und das entsprechende Gesuch um unentgeltliche Rechtspflege und Verbeiständung abweisen.
5. Dies führt zur Abweisung der Beschwerde.
Bei diesem Ausgang wird der Beschwerdeführer an sich kostenpflichtig (Art. 65/66 BGG). Seinem Gesuch, ihm für das bundesgerichtliche Verfahren die unentgeltliche Rechtspflege und Verbeiständung zu gewähren, kann nicht entsprochen werden, zumal der angefochtene Entscheid im Einklang mit der veröffentlichten Rechtsprechung des Bundesgerichts steht und der Beschwerdeführer deshalb nicht ernsthaft mit einer Gutheissung seiner Anträge rechnen durfte (<ref-law>). Vorliegend rechtfertigen es die Umstände jedoch, auf die Erhebung von Gerichtskosten zu verzichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Es werden keine Gerichtskosten erhoben.
4. Dieses Urteil wird dem Beschwerdeführer, dem Bundesamt für Migration und dem Bundesverwaltungsgericht, Abteilung III, Instruktionsrichter, schriftlich mitgeteilt.
Lausanne, 22. Februar 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident Der Gerichtsschreiber
Zünd Klopfenstein