Sachverhalt:
A. Der aus Nigeria stammende Y._ (geb. 1975) reiste im Juli 2004 illegal in die Schweiz ein und durchlief - unter falscher Identität - erfolglos ein Asylverfahren. Verschiedenen Aufforderungen, das Land zu verlassen, kam er nicht nach. Er wurde straffällig und mehrmals zu kürzeren Freiheitsstrafen verurteilt (wegen Verstössen gegen ausländerrechtliche Vorschriften sowie wegen Hausfriedensbruchs). Am 28. Juni 2006 verurteilte ihn das Bezirksgericht Winterthur wegen Betäubungsmitteldelikten (Verkauf von 50 g Kokain) zu 14 Monaten Zuchthaus. Nach der Entlassung aus dem Strafvollzug wurde er am 6. September 2007 mit einem Sonderflug des Bundesamtes für Migration nach Lagos ausgeschafft.
B. Am 31. Oktober 2007 heiratete Y._ in Nigeria die Schweizer Bürgerin X._ (geb. 1970), bei welcher er während seines illegalen Aufenthalts in der Schweiz zeitweise gewohnt hatte. Ein erstes Familiennachzugsgesuch der Ehefrau, die zwei nicht von ihrem Ehemann abstammende Kinder hat, blieb im Jahre 2008 erfolglos, nachdem das Bundesamt für Migration am 21. Mai 2008 gegen Y._ ein Einreiseverbot verfügt hatte. Dieser wehrte sich hiegegen beim Bundesverwaltungsgericht, und am 17. April 2009 ersuchte X._ erneut um Bewilligung des Familiennachzugs. Dieses Gesuch lehnte das Migrationsamt des Kantons Thurgau am 26. März 2010 ab. Ein hiegegen erhobener Rekurs beim kantonalen Departement für Justiz und Sicherheit erhobener Rekurs blieb erfolglos, und mit Urteil vom 27. Oktober 2010 wies das Verwaltungsgericht des Kantons Thurgau die gegen den Departementsentscheid vom 29. Juni 2010 erhobene Beschwerde ebenfalls ab.
C. Mit gemeinsamer Eingabe vom 17. Dezember 2010 führen X._ und Y._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, den Entscheid des Verwaltungsgerichts des Kantons Thurgau vom 27. Oktober 2010 aufzuheben und dem Ehemann die Einreise- und Aufenthaltsbewilligung im Rahmen des Familiennachzugs zu erteilen.
Das Migrationsamt des Kantons Thurgau, das Departement für Justiz und Sicherheit sowie das Verwaltungsgericht des Kantons Thurgau schliessen auf Abweisung der Beschwerde, ebenso das Bundesamt für Migration.
D. Mit Eingabe vom 10. Mai 2011 liess X._ unaufgefordert ein Arztzeugnis vom 4. April 2011 nachreichen, wonach sich die Trennung von ihrem Ehemann zur Zeit negativ auf ihren Gesundheitsverlauf auswirke. Sie vermisse die direkte, persönliche Unterstützung ihres Ehemannes stark.
Erwägungen:
1. 1.1 Gemäss Art. 42 Abs. 1 des hier anwendbaren, am 1. Januar 2008 in Kraft getretenen Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG, SR 142.20) haben ausländische Ehegatten und ledige Kinder unter 18 Jahren von Schweizerinnen und Schweizern Anspruch auf Erteilung der Aufenthaltsbewilligung, wenn sie mit diesen zusammenwohnen bzw. wichtige Gründe für das Getrenntleben - wie hier das Einreiseverbot - geltend machen können (vgl. Art. 49 AuG). Ein analoger Anspruch besteht zudem aufgrund des in Art. 8 EMRK bzw. Art. 13 Abs. 1 BV garantierten Rechts auf Achtung des Familienlebens, wenn nahe Angehörige - wie hier die Ehefrau - über ein gefestigtes Anwesenheitsrecht in der Schweiz verfügen und die familiäre Beziehung tatsächlich gelebt wird (statt vieler: BGE 130 II 281 E. 3.1 S. 285 f.).
Soweit die Beschwerdeführer mit entsprechenden Sachverhaltsangaben einen solchen Bewilligungsanspruch geltend machen, ist ihre fristgerecht eingereichte Beschwerde in öffentlich-rechtlichen Angelegenheiten trotz des Ausschlussgrundes des Art. 83 lit. c Ziff. 2 AuG zulässig (vgl. Urteile 2C_231/2011 vom 21. Juli 2011, E. 1; 2C_388/2009 vom 9. Dezember 2009, E. 1).
1.2 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG; vgl. BGE 134 II 244 E. 2.1 S. 245 f.), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (BGE 133 II 249 E. 1.4.1 S. 254).
1.3 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG). Die Feststellung des Sachverhalts kann nur gerügt bzw. vom Bundesgericht von Amtes wegen berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 97 Abs. 1 BGG bzw. Art. 105 Abs. 2 BGG). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG; vgl. BGE 135 I 143 E. 1.5 S. 146 f.). Als so genanntes echtes Novum fällt die Berücksichtigung des Arztzeugnisses vom 4. April 2011 (vorne lit. D) daher ausser Betracht.
2. 2.1 Gemäss Art. 51 Abs. 1 AuG erlöschen die Ansprüche nach Art. 42 AuG (oben E. 1.1), wenn sie rechtsmissbräuchlich geltend gemacht werden (lit. a) oder Widerrufsgründe nach Art. 63 AuG vorliegen (lit. b). Einen derartigen Widerrufsgrund setzt ein Ausländer unter anderem dann, wenn er "zu einer längerfristigen Freiheitsstrafe verurteilt wurde" (Art. 62 lit. b AuG in Vebindung mit Art. 63 lit. a AuG) oder "in schwerwiegender Weise gegen die öffentliche Sicherheit und Ordnung in der Schweiz oder im Ausland verstossen hat oder diese gefährdet" (Art. 63 lit. b AuG). Als längerfristig im Sinne von Art. 62 lit. b AuG gilt eine Freiheitsstrafe, wenn ihre Dauer ein Jahr überschreitet (BGE 135 II 377 E. 4.2 und E. 4.5 S. 379 ff.). In schwer wiegender Weise gegen die öffentliche Sicherheit und Ordnung verstösst in der Regel, wer durch seine Handlungen besonders hochwertige Rechtsgüter wie namentlich die körperliche, psychische und sexuelle Integrität eines Menschen verletzt oder gefährdet (BGE 137 II 297 E. 3.3).
Bei gegebenen Voraussetzungen rechtfertigt sich der Widerruf bzw. die Verweigerung der Bewilligung zudem nur, wenn die jeweils im Einzelfall vorzunehmende Interessenabwägung die entsprechende Massnahme als verhältnismässig erscheinen lässt, wobei namentlich die Schwere des Verschuldens, die Dauer der Anwesenheit sowie die dem Betroffenen und seiner Familie drohenden Nachteile zu berücksichtigen sind (vgl. Art. 96 AuG; Urteil 2C_793/2008 vom 27. März 2009, E. 2.1 mit Hinweisen). Was das Fernhalteinteresse anbetrifft, so darf bei Ausländern, welche sich nicht auf das Freizügigkeitsabkommen (FZA; SR 0.142.112.681) berufen können, im Rahmen der Interessenabwägung abgesehen von der aktuellen Gefährdung der öffentlichen Ordnung und Sicherheit, die von der betroffenen Einzelperson ausgeht, namentlich auch generalpräventiven Gesichtspunkten Rechnung getragen werden.
2.2 Hat ein Ausländer nahe Verwandte mit einem gefestigten Anwesenheitsrecht in der Schweiz und wird die intakte familiäre Beziehung tatsächlich gelebt, kann es Art. 8 EMRK bzw. Art. 13 Abs. 1 BV verletzen, wenn ihm die Anwesenheit in der Schweiz untersagt und damit sein Familienleben vereitelt wird (BGE 130 II 281 E. 3.1 S. 285 mit Hinweisen). Der betreffende Anspruch gilt indessen nicht absolut. Vielmehr ist nach Art. 8 Ziff. 2 EMRK ein Eingriff in das durch Ziff. 1 geschützte Rechtsgut statthaft, soweit er gesetzlich vorgesehen ist und eine Massnahme darstellt, die in einer demokratischen Gesellschaft für die nationale Sicherheit, die öffentliche Ruhe und Ordnung, das wirtschaftliche Wohl des Landes, die Verteidigung der Ordnung und zur Verhinderung von strafbaren Handlungen, zum Schutz der Gesellschaft und Moral sowie der Rechte und Freiheiten anderer notwendig ist. Die Konvention verlangt insofern eine Abwägung der sich gegenüberstehenden privaten Interessen an der Bewilligungserteilung und den öffentlichen Interessen an deren Verweigerung, wobei Letztere in dem Sinne überwiegen müssen, dass sich der Eingriff als notwendig erweist (BGE 135 I 143 E. 2.1 S. 147, 153 E. 2.2.1 S. 156; 122 II 1 E. 2 S. 6 mit Hinweisen).
Bei der Interessenabwägung im Rahmen von Art. 8 Ziff. 2 EMRK sind die Schwere des begangenen Delikts, der seit der Tat vergangene Zeitraum, das Verhalten des Ausländers während dieser Periode, die Auswirkungen auf die betroffene Person sowie deren familiäre Situation zu berücksichtigen. Zudem sind die Dauer der ehelichen Beziehung und weitere Gesichtspunkte relevant, welche Rückschlüsse auf deren Intensität zulassen (Geburt und Alter allfälliger Kinder; Kenntnis der Tatsache, dass die Beziehung wegen der Straftat unter Umständen nicht in der Schweiz gelebt werden kann). Von Bedeutung sind auch die Nachteile, welche dem Ehepartner oder den Kindern erwachsen würden, müssten sie dem Betroffenen in dessen Heimatstaat folgen (Urteile 2C_793/2008 vom 27. März 2009, E. 2.1; 2A.65/2006 vom 23. Juni 2006, E. 2 mit Hinweis auf das Urteil des Europäischen Gerichtshofes für Menschenrechte vom 2. August 2001 i.S. Boultif gegen die Schweiz, publ. in: VPB 65/2001 Nr. 138 S. 1392 Rz. 48 S. 1389 f.; vgl. auch die Urteile des EGMR vom 18. Oktober 2006 i.S. Üner gegen die Niederlande, Rz. 57, sowie vom 23. Juni 2008 i.S. Maslov gegen Österreich, Rz. 57 f.).
3. 3.1 Das Verwaltungsgericht hat im Wesentlichen erwogen, der Beschwerdeführer sei während seines Aufenthaltes in der Schweiz innert knapp zwei Jahren viermal verurteilt worden (wovon drei Mal zu einer unbedingten Freiheitsstrafe). Er habe eine erhebliche kriminelle Energie gezeigt und sich auch durch Verurteilungen und das Ansetzen von Probezeiten nicht vom Drogenhandel abhalten lassen. So habe er innerhalb weniger Monate als Nichtsüchtiger in reiner Bereicherungsabsicht eine nicht unerhebliche Menge Kokain verkauft. Nicht ins Gewicht falle, dass die entsprechende Verurteilung bereits vier Jahre zurück liege, sei der Beschwerdeführer doch nach der Strafverbüssung ausgeschafft worden und habe er sich hierzulande gar nicht mehr bewähren können. Die Gefahr, dass er bei einem erneuten Aufenthalt in der Schweiz wiederum gegen die Rechtsordnung verstosse, sei angesichts seines Verhaltens während seines illegalen Aufenthalts erheblich und nicht hinzunehmen. Demgegenüber wiege das private Interesse der Eheleute geringer; ihr Eheleben könne nicht als besonders schützenswert bezeichnet werden. Obwohl der Ehefrau ein Umzug mit ihren vorehelich geborenen schulpflichtigen Kindern nach Nigeria kaum zugemutet werden könne, überwiege das öffentliche Interesse an der Fernhaltung des Beschwerdeführers bei weitem.
3.2 Nicht in Zweifel gezogen werden kann, dass der Beschwerdeführer mit seiner Drogendelinquenz, derentwegen er mit einer Freiheitsstrafe von vierzehn Monaten verurteilt wurde, den Widerrufsgrund von Art. 62 lit. b AuG (Verurteilung zu einer "längerfristigen" Freiheitsstrafe) erfüllt (vorne E. 2.1). Die Beschwerdeführer rügen jedoch eine qualifiziert fehlerhafte Interessenabwägung und machen geltend, die Bewilligungsverweigerung erweise sich als unverhältnismässig. Die Voraussetzungen nach erfolgter Wiedereinreise präsentierten sich ganz anders als beim ersten Aufenthalt des Beschwerdeführers in der Schweiz. Der Betroffene werde mit der Ehefrau und deren Kindern über ein tragfähiges soziales Netz verfügen, in einer anderen Region leben und auf dem Arbeitsmarkt eine Beschäftigung finden können. Mit einer weiteren Delinquenz sei nicht zu rechnen.
3.3 Eine strafrechtliche Verurteilung verunmöglicht die Erteilung einer (neuen) Aufenthaltsbewilligung nicht zwingend ein für allemal. Soweit der Ausländer, gegen den Entfernungsmassnahmen ergriffen wurden, nach wie vor einen Rechtsanspruch auf Erteilung einer Aufenthaltsbewilligung besitzt und es seinen hier anwesenden nahen Angehörigen nicht zumutbar ist, ihm ins Heimatland zu folgen und dort das Familienleben zu pflegen, kann eine Neubeurteilung angezeigt sein, wenn sich der Betroffene seit der Verurteilung bzw. Strafverbüssung bewährt und er sich über eine angemessene Dauer in seiner Heimat klaglos verhalten hat, so dass eine Integration in die hiesigen Verhältnisse absehbar und eine allfällige Rückfallgefahr vernachlässigbar erscheint (vgl. BGE 130 II 493 E. 5 S. 504; Urteile 2C_793/2008 vom 27. März 2009, E. 3.2, 2C_36/2009 vom 20. Oktober 2009).
3.4 Diese Voraussetzungen sind vorliegend nicht gegeben: Der Beschwerdeführer lebt nach seinen Strafverbüssungen in der Schweiz erst seit September 2007 wieder in Nigeria; über sein dortiges Verhalten ist nichts bekannt. In der Schweiz dagegen logierte er bereits zu jener Zeit, als er mit Kokain gehandelt hatte, bei seiner heutigen Ehefrau (angefochtener Entscheid S. 12). Sein familiäres Umfeld, in das er nun zurückkehren will, hat ihn von der Drogendelinquenz nicht abhalten können, was sich unter dem Gesichtswinkel des Rückfallrisikos als ungünstig erweist (Urteil 2C_36/2009 vom 20. Oktober 2009, E. 3.5). Eine Integration in die hiesigen Verhältnisse erscheint, zumal der Beschwerdeführer auch keine Ausbildung oder ausgeübte Erwerbstätigkeiten nachweist, nicht absehbar. Schliesslich fällt im Rahmen der Interessenabwägung ins Gewicht, dass die Ehefrau und Mutter der zwei vorehelichen Kinder Kenntnis davon hatte, dass die Beziehung zu ihrem Ehemann angesichts der Straftaten möglicherweise nicht in der Schweiz gelebt werden kann (vorne E. 2.2).
4. Nach dem Gesagten erweist sich die im angefochtenen Entscheid geschützte Verweigerung der von der Beschwerdeführerin für ihren Ehemann anbegehrten Aufenthaltsbewilligung als haltbar, verhältnismässig und damit gesetzes- und konventionskonform. Die Beschwerde ist mithin als unbegründet abzuweisen.
Bei diesem Ausgang des Verfahrens werden die Gerichtskosten den Beschwerdeführern unter solidarischer Haftung auferlegt (Art. 65/66 BGG). Parteientschädigungen sind nicht geschuldet (Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern auferlegt, unter solidarischer Haftung.
3. Dieses Urteil wird den Beschwerdeführern, dem Migrationsamt, dem Departement für Justiz und Sicherheit und dem Verwaltungsgericht des Kantons Thurgau sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 5. Dezember 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Klopfenstein