Faits: A. Par jugement du 28 juin 2007, le Tribunal correctionnel de l'arrondissement de la Côte a condamné X._ à une peine privative de liberté de 8 ans sous déduction de 518 jours de détention préventive pour infraction grave et contravention à la LStup. X._ a atteint les deux tiers de l'exécution de sa peine le 28 mai 2011, avec un solde de peine de 2 ans et 8 mois à compter de cette date-là, la libération définitive étant fixée au 26 janvier 2014. B. Par jugement du 6 juin 2011, le collège des juges d'application des peines du canton de Vaud a refusé d'accorder la libération conditionnelle à X._. Par arrêt du 5 juillet 2011, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours de X._ contre ce jugement. C. X._ forme un recours en matière pénale contre cet arrêt et conclut, sous suite de frais et dépens, à sa réforme en ce sens que la libération conditionnelle lui est accordée. Il sollicite par ailleurs l'assistance judiciaire.