Sachverhalt: A. Der nigerianische Staatsangehörige X._ (geb. 1981) durchlief nach illegaler Einreise (unter falscher Identität) in der Schweiz 2002/03 zunächst erfolglos ein Asylverfahren. Am 5. Oktober 2005 reiste er erneut illegal ein und heiratete am 25. November 2005 die Schweizer Bürgerin Y._ (geb. 1983), worauf er die Aufenthaltsbewilligung im Rahmen des Familiennachzugs erhielt. Die Eheleute leben seit Mai/Juli 2010 getrennt; ihre gemeinsame Tochter Z._ (2009) wurde gemäss Entscheid des Gerichtspräsidiums Baden vom 27. Juni 2011 unter die elterliche Obhut der Mutter gestellt und es wurde dem Vater ein gerichtsübliches Besuchsrecht zugesprochen (jedes zweite Wochenende, 2 Wochen Ferien). B. Zwischen 2007 und 2010 erwirkte X._ 14 Strafbefehle und 3 Strafverfügungen wegen Verstössen gegen das Strassenverkehrsgesetz und gegen das Schuldbetreibungs- und Konkursgesetz; gegen ihn bestehen sodann gemäss Betreibungsregisterauszug vom 22. Juli 2011 offene Betreibungen von rund Fr. 42'600.-- und 51 Verlustscheine von rund Fr. 53'700.-- . C. Mit Verfügung vom 9. Dezember 2010 verweigerte das Migrationsamt des Kantons Aargau X._ die Niederlassungsbewilligung, drohte ihm den Widerruf der Aufenthaltsbewilligung an und verwarnte ihn - "im Sinne einer allerletzten Chance zur Bewährung". Am 4. März 2011 unterbreitete das kantonale Amt die Akten dem Bundesamt für Migration zur Zustimmung zur Verlängerung der Aufenthaltsbewilligung. D. Nachdem das Bundesamt für Migration X._ das rechtliche Gehör gewährt hatte, verweigerte es mit Entscheid vom 8. Juli 2011 diese Zustimmung. Die Gewährung der unentgeltlichen Rechtspflege lehnte es ab und wies X._ aus der Schweiz weg. Das Bundesamt erwog im Wesentlichen, die Voraussetzungen für einen Weiterbestand des Anspruchs auf Verlängerung der Aufenthaltsbewilligung nach Auflösung der Familiengemeinschaft seien mangels erfolgreicher Integration nicht erfüllt. E. Gegen diesen Entscheid gelangte X._ an das Bundesverwaltungsgericht und beantragte dort u.a., die Zustimmung zur Verlängerung der Aufenthaltsbewilligung sei zu erteilen. Gleichzeitig ersuchte er um unentgeltliche Rechtspflege und Verbeiständung. Mit Verfügung vom 28. November 2011 wies das Bundesverwaltungsgericht das letztgenannte Ersuchen ab und verpflichtete X._ zur Zahlung eines Kostenvorschusses von Fr. 1'000.--. Das Gericht erwog im Wesentlichen, das bei ihm erhobene Rechtsmittel sei aussichtslos. F. Mit Eingabe vom 30. Dezember 2011 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht mit den Anträgen, die letztgenannte Verfügung aufzuheben und ihm - dem Beschwerdeführer - im Verfahren betreffend Verweigerung der Zustimmung zur Verlängerung der Aufenthaltsbewilligung und Wegweisung die unentgeltliche Rechtspflege und Verbeiständung zu gewähren. Dasselbe Begehren stellt er auch für das Beschwerdeverfahren vor dem Bundesgericht. Die Akten sind eingeholt, ein Schriftenwechsel ist dagegen nicht durchgeführt worden.