Faits:
A. A.a Par jugement du 7 juin 2007, confirmé par arrêt de la Cour de cassation pénale vaudoise du 12 juillet suivant, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a condamné X._ pour blanchiment d'argent et infraction grave à la LStup à une peine privative de liberté de trois ans et six mois, sous déduction de cent quatre-vingt-cinq jours de détention préventive.
A.b Le condamné, né en 1975, ressortissant du Nigéria, est père d'une fille mineure, de nationalité suisse. Les parents sont séparés. La mère dispose seule du droit de garde sur l'enfant. L'intéressé exécute sa peine depuis le 7 juin 2007 et en a effectué les deux tiers le 5 avril 2009. Détenu à la Maison « Le Vallon », il y a bénéficié du régime de travail externe.
Son comportement correct a justifié le préavis favorable à la libération conditionnelle émis par la direction de l'établissement dans un rapport du 20 janvier 2009. Le 9 mars 2009, l'Office d'exécution des peines a également préavisé en faveur de la libération conditionnelle. Il proposait toutefois de grever cet élargissement de la condition du renvoi de l'intéressé de Suisse. Le Ministère public s'est rallié à cette proposition. Le Service de la population et des migrants du canton de Fribourg est à même de procéder à l'expulsion.
A.c Par jugement du 2 avril 2009, le Juge d'application des peines a refusé la libération conditionnelle. Il a retenu, en substance, que si le comportement du condamné en prison ne s'y opposait pas, un pronostic défavorable devait néanmoins être posé sur son comportement en liberté. Il y avait sérieusement à craindre que X._ ne revienne immédiatement dans l'illégalité, en Suisse, respectivement dans un Etat limitrophe, après son expulsion, si tant est qu'elle intervienne. Il avait en effet déclaré ne pas vouloir être séparé de sa fille et vouloir rester en Suisse en précisant, par ailleurs, que s'il était expulsé, il partirait dans son pays avec son enfant. Une tentative maladroite de récupération de ses papiers laissait d'ailleurs planer des doutes supplémentaires quant à sa volonté de se soumettre à un refoulement. Ses seules perspectives se résumaient à rechercher du travail clandestin. On pouvait également craindre qu'il ne récidive en matière de trafic de stupéfiants, son amendement n'étant pas apparu évident. Le Juge d'application des peines a également relevé sur ce point que le fait de disposer d'un travail ne l'avait pas empêché de se livrer à un trafic d'envergure qui n'était donc pas justifié par la seule précarité de sa situation.
B. Par arrêt du 27 avril 2009, le Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours interjeté contre ce jugement par X._.
C. Ce dernier forme un recours en matière pénale contre cet arrêt. Il conclut principalement à sa réforme dans le sens de l'octroi de la libération conditionnelle et, à titre subsidiaire, à son annulation, la cause étant renvoyée à l'autorité inférieure pour nouvelle décision au sens des considérants. Il requiert, en outre, d'être mis au bénéfice de l'assistance judiciaire.
Par ordonnance du 28 juillet 2009, le Président de la cour de céans a rejeté la requête d'effet suspensif et de mise en liberté formée par l'intéressé.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Selon l'<ref-law>, l'autorité compétente libère conditionnellement le détenu qui a subi les deux tiers de sa peine, mais au moins trois mois de détention, si son comportement durant l'exécution de la peine ne s'y oppose pas et s'il n'y a pas lieu de craindre qu'il ne commette de nouveaux crimes ou de nouveaux délits.
Cette disposition renforce le principe selon lequel la libération conditionnelle est la règle et son refus l'exception, dans la mesure où il n'est plus exigé qu'il soit à prévoir que le condamné se conduira bien en liberté (cf. l'ancien <ref-law>), mais qu'il ne soit pas à craindre qu'il ne commette de nouveaux crimes ou délits. Autrement dit, il n'est plus nécessaire qu'un pronostic favorable puisse être posé; il suffit que le pronostic ne soit pas défavorable (<ref-ruling> consid. 2.2 p. 203).
Pour le surplus, la jurisprudence relative à l'ancien <ref-law> demeure valable. En particulier, le pronostic requis doit être posé sur la base d'une appréciation globale, prenant en considération les antécédents de l'intéressé, sa personnalité, son comportement en général et dans le cadre des délits qui sont à l'origine de sa condamnation, et, surtout, le degré de son éventuel amendement ainsi que les conditions dans lesquelles il est à prévoir qu'il vivra (<ref-ruling> consid. 2.3 p. 203/204 et les arrêts cités). Dans l'émission du pronostic, l'autorité compétente dispose d'un large pouvoir d'appréciation, de sorte que le Tribunal fédéral n'intervient que si elle l'a excédé ou en a abusé, notamment lorsqu'elle a omis de tenir compte de critères pertinents et s'est fondée exclusivement sur les antécédents du condamné (<ref-ruling> consid. 2.3 p. 204).
2. En l'espèce, la condition objective prévue par l'<ref-law> est réalisée depuis le 5 avril 2009. Il n'est pas contesté non plus que le comportement du recourant en détention réponde aux exigences de la norme précitée. Seul est litigieux le pronostic sur son comportement futur.
2.1 Le recourant reproche à la cour cantonale de s'être fondée exclusivement sur une interprétation hors contexte de propos qu'il aurait tenus lors d'une discussion, d'avoir occulté son amendement, d'avoir pris en considération la nature de l'infraction pour laquelle il a été condamné et d'avoir retenu à tort l'existence d'un risque d'enlèvement de sa fille. Par ailleurs, sous l'angle de la proportionnalité, il objecte que si un risque quelconque de réitération ou de commission d'infractions pénales existait, il subsistait des moyens moins coercitifs pour atteindre le résultat voulu.
2.2 Ce faisant, le recourant reproche tout d'abord aux autorités cantonales d'avoir abusé de leur pouvoir d'appréciation en ne retenant pas certains facteurs pertinents, respectivement en tenant compte d'éléments qui ne l'étaient pas.
Ce grief est infondé. Il ressort en effet de la décision du juge d'application des peines que ce dernier a pris en considération tant le bon comportement du recourant en détention que sa situation familiale, économique et son statut en Suisse, respectivement les conditions dans lesquelles il vivra après sa libération. Le juge d'application des peines a notamment relevé, sur ces derniers points que le recourant, qui avait porté atteinte à l'intégrité physique de son épouse, vivait une situation de couple particulièrement perturbée, puisqu'il était séparé, et qu'il pourrait se heurter à certaines difficultés s'il venait à prétendre à l'attribution exclusive du droit de garde sur sa fille (jugement du 2 avril 2009, p. 3). Ses seules perspectives professionnelles en Suisse, où il était interdit de séjour, se résumaient à rechercher un travail clandestin (jugement précité, p. 4). Le juge d'application des peines n'a donc pas simplement opposé au recourant l'imprécision de ses projets professionnels (cf. <ref-ruling> consid. 1c, p. 108), mais souligné que tout projet en Suisse ne pouvait qu'être illégal. Le juge d'application des peines a également évoqué le comportement du recourant dans le cadre des délits à l'origine de sa condamnation, en relevant que le fait qu'il disposât alors d'un travail ne l'avait pas empêché de se livrer à un trafic d'envergure, de sorte que la précarité n'expliquait pas à elle seule son comportement (ibidem).
En ce qui concerne l'amendement du recourant, cet aspect n'a pas été occulté, comme le soutient le recourant. Le juge d'application des peines a fait état du constat positif ressortant du rapport établi par la Direction de la Maison « Le Vallon ». Il a cependant conclu, sur ce point, que l'on pouvait craindre qu'il ne récidive en matière de trafic, « son amendement étant apparu tout sauf évident » (jugement précité, p. 4). On peut relever à ce propos que le recourant, pour qui le trafic de stupéfiants est illicite principalement « parce que cela détruit l'économie, le pays » ne semble avoir pris conscience qu'à grand peine des ravages causés par cette activité sur le plan humain et de la santé publique et qu'il paraît plus regretter les conséquences négatives que ses actes ont eu sur lui (« en fait j'ai regretté d'avoir perdu ma femme, ma fille, mon travail et ma liberté ») que ses actes eux-mêmes (procès-verbal d'audition par le juge d'application des peines du 23 mars 2009, p. 2).
Pour le surplus, le recourant ne peut rien déduire en sa faveur de la jurisprudence publiée aux <ref-ruling>, à laquelle il se réfère. Cet arrêt dit certes que la nature des délits commis par l'intéressé n'est, en tant que telle, pas à prendre en compte, en ce sens que la libération conditionnelle ne doit pas être exclue ou rendue plus difficile pour certains types d'infractions. Il précise cependant immédiatement que les circonstances dans lesquelles l'auteur a encouru la sanction pénale sont pertinentes dans la mesure où elles sont révélatrices de sa personnalité et donnent ainsi certaines indications sur son comportement probable en liberté (arrêt précité, consid. 2a, p. 115). Or, c'est bien de cette dernière approche que procède la démarche du Juge d'application dans le cas du recourant.
2.3 Il s'ensuit que le pronostic défavorable posé en l'espèce repose sur l'examen d'un ensemble de facteurs pertinents, ce qui exclut l'abus du pouvoir d'appréciation.
De cet ensemble d'éléments, le Juge d'application des peines pouvait conclure que les intentions du recourant, qui n'envisage pas dans l'immédiat de vivre ailleurs qu'en Suisse (notamment en raison de la présence de sa fille) où il ne dispose d'aucun titre de séjour, ne laissaient pas entrevoir un avenir conforme aux exigences posées par la loi. En outre, comme le recourant, dont l'amendement apparaît très relatif, n'a pas d'autre perspective professionnelle que le travail clandestin, on ne saurait reprocher au juge d'application des peines d'avoir retenu l'existence d'un risque de récidive en matière de stupéfiants, compte tenu du fait que l'intéressé s'était déjà adonné à cette activité alors même qu'il disposait d'un emploi et d'une rémunération. Ces considérations permettent de justifier, sans aucun abus du pouvoir d'appréciation, un pronostic défavorable, sans qu'il soit nécessaire d'examiner s'il existe en outre un risque réel que le recourant tente d'enlever sa fille, comme l'a retenu la cour cantonale.
2.4 Sous l'angle de la proportionnalité, enfin, on peut se borner à souligner que le seul fait que le recourant s'engage à fournir des indications sur son lieu de séjour et ses occupations ou soit soumis au patronage ne fournit aucune garantie sur son comportement futur, dans la mesure où il ne bénéficie d'aucun statut légal en Suisse et n'exclut pas de séjourner dans les pays limitrophes, ce qui implique, dans un cas comme dans l'autre, qu'il n'envisage pas d'autre solution que la clandestinité.
3. Le recours est rejeté. Il était d'emblée dénué de chances de succès. L'assistance judiciaire doit en conséquence être refusée (<ref-law>). Le recourant supporte les frais de la procédure, qui peuvent être réduits pour tenir compte de sa situation économique (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. L'assistance judiciaire est refusée.
3. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour de cassation pénale.
Lausanne, le 11 août 2009
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Le Greffier:
Favre Vallat