Faits : A. Par jugement du 18 décembre 2006, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ à une peine privative de liberté de onze ans et demi, sous déduction de la détention subie avant jugement, pour brigandage qualifié, violation de domicile, contrainte sexuelle qualifiée commise en commun et viol qualifié commis en commun. Il lui a été reproché d'avoir commis, avec un autre homme, une violente agression à l'encontre d'une femme dont le seul tort était d'être l'amie intime d'un cousin avec lequel les deux hommes étaient en litige. Les deux hommes ont investi le domicile de leur victime dans la nuit, l'ont ligotée, bâillonnée et aveuglée avec du scotch, l'ont violée, forcée à leur indiquer où se trouvait son argent en la menaçant d'un couteau, puis sont repartis en emportant l'argent. La vie de la victime a été mise en danger, en raison de l'obstruction de ses voies respiratoires durant le viol. Le tribunal a relevé que les deux hommes n'ont eu cesse de nier les faits, allant même jusqu'à prétendre avoir été les amants de leur victime. Le 19 août 2013, X._ avait subi les deux tiers de sa peine. B. Par jugement du 31 juillet 2013, confirmé par le Tribunal cantonal vaudois puis par le Tribunal fédéral (arrêt 6B_915/2013 du 18 novembre 2013), le Collège des juges d'application des peines du canton de Vaud a refusé d'accorder la libération conditionnelle à X._. C. Par arrêt du 10 septembre 2014, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ contre le jugement du 27 août 2014 prononcé par le Collège des juges d'application des peines du canton de Vaud, lequel a refusé, dans le cadre du réexamen annuel, de lui accorder la libération conditionnelle. La cour cantonale a considéré en substance que le pronostic demeurait manifestement défavorable. D. X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 10 septembre 2014 dont il demande la réforme en ce sens que la libération conditionnelle lui soit accordée. Subsidiairement, il conclut au renvoi de la cause à l'autorité cantonale pour nouvelle instruction et nouveau jugement dans le sens des considérants. Il sollicite par ailleurs l'assistance judiciaire.