Faits: A. Par jugement du 18 décembre 2006, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ à une peine privative de liberté de onze ans et demi, sous déduction de la détention subie avant jugement, pour brigandage qualifié, violation de domicile, contrainte sexuelle qualifiée commise en commun et viol qualifié commis en commun. Il lui a été reproché d'avoir commis avec un autre homme une violente agression à l'encontre d'une femme dont le seul tort était d'être l'amie intime d'un cousin avec lequel les deux hommes étaient en litige. Les deux hommes ont investi le domicile de leur victime dans la nuit, l'ont ligotée, bâillonnée et aveuglée avec du scotch, l'ont violée, forcée à leur indiquer où se trouvait son argent en la menaçant d'un couteau, puis sont repartis en emportant l'argent. La vie de la victime a été mise en danger, en raison de l'obstruction de ses voies respiratoires durant le viol. Le tribunal a relevé que les deux hommes n'ont eu cesse de nier les faits, allant même jusqu'à prétendre avoir été les amants de leur victime. Il a été relevé qu'ils avaient fait preuve " d'une perversité, d'un sadisme, d'une barbarie et d'une lâcheté peu commune ", niant l'évidence et ayant agi de manière " archaïque " avec " une bassesse de caractère dépassant l'entendement " pour régler un conflit entre clans. X._ a été détenu préventivement au sein de différents établissements pénitentiaires dès le 20 décembre 2005. En date du 21 août 2007, il a été transféré aux Établissements de la Plaine de l'Orbe (EPO). Le 29 octobre 2012, il a rejoint le secteur ouvert de la Colonie des EPO. Le 19 août 2013, X._ avait subi les deux tiers de sa peine. B. Par arrêt du 13 août 2013, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ contre le jugement du 31 juillet 2013 prononcé par le Collège des juges d'application des peines du canton de Vaud qui a refusé de lui accorder la libération conditionnelle. La Chambre des recours pénale a considéré en substance que le pronostic demeurait très défavorable, compte tenu en particulier des avis criminologiques et psychiatriques figurant au dossier. C. X._ forme un recours en matière pénale contre l'arrêt du 13 août 2013 dont il demande la réforme en ce sens que la libération conditionnelle lui soit accordée, cette dernière ne devenant effective que lorsque son renvoi de Suisse pourra être exécuté. Subsidiairement, il conclut au renvoi de la cause à l'autorité cantonale pour nouvelle décision et encore plus subsidiairement à l'autorité de première instance pour nouvelle instruction. Il sollicite par ailleurs l'assistance judiciaire.