Faits:
A. Par jugement du 28 juin 2007, le Tribunal correctionnel de l'arrondissement de la Côte a condamné X._ à une peine privative de liberté de 8 ans sous déduction de 518 jours de détention préventive pour infraction grave et contravention à la LStup.
X._ a atteint les deux tiers de l'exécution de sa peine le 28 mai 2011, avec un solde de peine de 2 ans et 8 mois à compter de cette date-là, la libération définitive étant fixée au 26 janvier 2014.
B. Par jugement du 6 juin 2011, le collège des juges d'application des peines du canton de Vaud a refusé d'accorder la libération conditionnelle à X._.
Par arrêt du 5 juillet 2011, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours de X._ contre ce jugement.
C. X._ forme un recours en matière pénale contre cet arrêt et conclut, sous suite de frais et dépens, à sa réforme en ce sens que la libération conditionnelle lui est accordée. Il sollicite par ailleurs l'assistance judiciaire.

Considérant en droit:
1. Le recours en matière pénale est ouvert contre les décisions sur l'exécution de peines et mesures (<ref-law>).
2. 2.1 Le recourant invoque une violation de l'<ref-law>. Il relève que le Service pénitentiaire des Etablissements de la plaine de l'Orbe où il a été incarcéré dès le 23 janvier 2008, la Direction de la Maison Le Vallon où il a été transféré dès novembre 2010, ainsi que l'Office d'exécution des peines (OEP) ont émis un préavis positif à sa libération conditionnelle. Selon lui, c'est à tort que ses projets de resocialisation au Kosovo ont été jugés insuffisants. Il a déjà bénéficié de plusieurs congés, qui se sont bien déroulés, et il serait contradictoire de lui avoir accordé des congés et de lui refuser la libération conditionnelle.
2.2 La Chambre des recours pénale a exposé le contenu des préavis invoqués par le recourant. Elle a relevé que les antécédents de ce dernier étaient lourds et qu'ils imposaient une prudence particulière pour le pronostic. Il avait été condamné à quatre reprises entre 1998 et 2003 pour des infractions graves allant jusqu'à 4 ans de peine privative de liberté. Il avait obtenu une libération conditionnelle en 2005 mais avait de nouveau été interpellé pour un trafic de stupéfiants d'un échelon supérieur aux précédentes infractions. La Chambre des recours pénale a aussi mentionné que selon l'OEP, le recourant était un "professionnel", qu'il savait ce qu'il fallait dire à un tribunal et qu'il était capable de faire croire tout et n'importe quoi. Entendu en première instance par le collège des juges d'application des peines, il avait grandement minimisé son activité délictueuse et en avait reporté la responsabilité sur des éléments extérieurs à sa personne. Lors d'un congé, il avait conduit en état d'ébriété avec une alcoolémie de 1.09o/oo. Au vu des ces éléments, la Chambre des recours pénale a considéré que le recourant était incapable de respecter les limites imposées et qu'il n'avait pas fait montre d'un réel amendement. Elle a nié que le projet du recourant de travailler dans le restaurant de son frère au Kosovo soit suffisant. Elle a relevé à cet égard que le parcours pénal du recourant, qui avait commis des infractions de plus en plus graves, reflétait un certain ancrage dans la délinquance, que son comportement démontrait qu'il n'arrivait pas à respecter un cadre et qu'il n'y avait ainsi pas lieu d'espérer qu'il soit à même de s'en tenir à ses projets et de respecter la décision de renvoi de Suisse. Aucun élément ne permettait de considérer la libération conditionnelle comme plus favorable que l'exécution complète de la peine.
2.3 Selon l'<ref-law>, l'autorité compétente libère conditionnellement le détenu qui a subi les deux tiers de sa peine, mais au moins trois mois de détention, si son comportement durant l'exécution de la peine ne s'y oppose pas et s'il n'y a pas lieu de craindre qu'il ne commette de nouveaux crimes ou de nouveaux délits. Cette disposition renforce le principe selon lequel la libération conditionnelle est la règle et son refus l'exception, dans la mesure où il n'est plus exigé qu'il soit à prévoir que le condamné se conduira bien en liberté (cf. art. 38 ch. 1 al. 1 aCP), mais qu'il ne soit pas à craindre qu'il ne commette de nouveaux crimes ou délits. Autrement dit, il n'est plus nécessaire, pour l'octroi de la libération conditionnelle, qu'un pronostic favorable puisse être posé; il suffit que le pronostic ne soit pas défavorable (<ref-ruling> consid. 2.2 p. 203). Pour le surplus, la jurisprudence relative à l'art. 38 ch. 1 aCP demeure valable. En particulier, le pronostic à émettre doit être posé sur la base d'une appréciation globale, prenant en considération les antécédents de l'intéressé, sa personnalité, son comportement en général et dans le cadre des délits qui sont à l'origine de sa condamnation, et, surtout, le degré de son éventuel amendement ainsi que les conditions dans lesquelles il est à prévoir qu'il vivra (<ref-ruling> consid. 2.3 p. 203/204 et les arrêts cités). Dans l'émission du pronostic, l'autorité compétente dispose d'un large pouvoir d'appréciation, de sorte que le Tribunal fédéral n'intervient que si elle l'a excédé ou en a abusé, notamment lorsqu'elle a omis de tenir compte de critères pertinents et s'est fondée exclusivement sur les antécédents du condamné (<ref-ruling> consid. 2.3 p. 204).
2.4 En l'espèce, l'autorité cantonale n'a pas omis d'élément pertinent. Elle a tenu compte non seulement des antécédents du recourant, mais aussi de sa personnalité et de son attitude face à ses actes. Elle a nié un véritable amendement, notamment en considération des propos du recourant devant le collège des juges d'application des peines. Au vu des éléments pris en compte, elle n'a pas abusé de son pouvoir d'appréciation en émettant un pronostic défavorable. Il peut être renvoyé à l'arrêt attaqué (<ref-law>).
Contrairement à ce que pense le recourant, le fait qu'il ait obtenu des congés n'est pas déterminant. Il est vrai que l'<ref-law> interdit d'accorder un congé à un détenu s'il y a lieu de craindre que l'intéressé ne commette de nouvelles infractions. Mais le pronostic à poser au regard de cette disposition légale a pour objet la conduite du détenu pendant la brève durée du congé, alors que le pronostic à poser pour la libération conditionnelle se rapporte au comportement du détenu durant le délai d'épreuve (en ce sens: ANDREA BAECHTOLD, in Commentaire bâlois, 2ème éd. 2007, n° 13 ad <ref-law>), voire au delà encore. Le fait qu'un détenu se conduira probablement bien pendant un congé de quelques jours n'implique pas nécessairement qu'il se comportera correctement durant les mois ou les années à venir, s'il bénéficie d'une libération conditionnelle (arrêt 6B_1074/2009 du 28 janvier 2010 consid. 2.1). Il y a d'autant moins de motif de tenir compte des congés accordés au recourant qu'il a commis une nouvelle infraction lors d'un congé, en conduisant en état d'ébriété. Cet élément incline aussi à un pronostic défavorable.
En tant que l'arrêt attaqué refuse de mettre le recourant au bénéfice d'une libération conditionnelle, il ne viole pas le droit fédéral.
3. Comme les conclusions du recours étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant devra donc supporter les frais (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 12 septembre 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Paquier-Boinay