Faits:
A. Par jugement du 12 mars 2010, la IIIème Chambre du Tribunal des mineurs du canton de Vaud a condamné X._ à une privation de liberté de 4 ans, sous déduction de 262 jours de détention avant jugement, pour tentative de meurtre, assassinat, lésions corporelles simples, vol, dommages à la propriété, obtention frauduleuse d'une prestation, contrainte, violence ou menace contre les autorités et les fonctionnaires, infraction à la LArm (Loi fédérale sur les armes) et contravention à la LTP (Loi fédérale sur les transports publics), révoqué le sursis qui lui avait été accordé le 25 janvier 2008 et ordonné l'exécution de la peine de six demi-journées de prestations personnelles à subir sous forme de travail.
X._ a été incarcéré dès le 12 mars 2010 à la prison de la Croisée, puis, dès le 28 septembre 2010, aux Etablissements de la plaine de l'Orbe. Il a atteint la moitié de l'exécution de la peine le 23 juin 2011, la libération définitive étant quant à elle fixée au 23 juin 2013.
B. Par jugement du 6 juillet 2011, le Président du Tribunal des mineurs du canton de Vaud a refusé la libération conditionnelle à X._. Il a notamment invoqué un risque de récidive élevé et l'absence de prise de conscience par X._ de la gravité de ses actes.
C. Par arrêt du 29 juillet 2011, le Juge de la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours de X._ et confirmé le jugement.
D. X._ forme un recours en matière pénale contre cet arrêt. Il conclut à son annulation et au renvoi à l'autorité cantonale pour nouvelle décision. Il sollicite par ailleurs l'assistance judiciaire.
L'autorité précédente et le Ministère public se sont référés à l'arrêt attaqué.

Considérant en droit:
1. Le recours en matière pénale est ouvert contre les décisions sur l'exécution de peines et mesures (<ref-law>).
2. Le recourant se plaint d'une violation des art. 6 CEDH, 29 Cst. et 24 de la loi fédérale du 20 mars 2009 sur la procédure pénale applicable aux mineurs (RS 312.1; PPMin).
2.1 La jurisprudence invoquée par le recourant en référence aux art. 6 CEDH et 29 Cst. (notamment <ref-ruling>) concerne la désignation d'un avocat d'office dans la phase de la poursuite et du jugement au sens de l'art. 1 CPP. Le cas d'espèce concerne toutefois la libération conditionnelle, soit la phase d'exécution, qui est postérieure au jugement pénal. Indépendamment des garanties conventionnelles et constitutionnelles susceptibles d'être invoquées, la désignation d'un défenseur d'office dans la phase d'exécution doit tout d'abord être examinée au regard du système aménagé par la PPMin.
2.2 La PPMin régit non seulement la poursuite et le jugement des infractions commises par des mineurs, mais aussi l'exécution des sanctions prononcées (art. 1 PPMin; CHRISTOPH HUG/PATRIZIA SCHLÄFLI, Basler Kommentar, Schweizerische Strafprozessordnung, Jugendstrafprozessgesetz, 2011, n. 2 ad art. 1 JStPO). La phase d'exécution de la peine comprend la libération conditionnelle, laquelle est donc régie par la PPMin. Les art. 24 let. b et 25 al. 1 let. c PPMin valent par conséquent aussi pour la procédure de libération conditionnelle.
Sous la note marginale "défense obligatoire", l'art. 24 let. b PPMin prévoit que le prévenu mineur doit avoir un défenseur lorsqu'il ne peut pas suffisamment défendre ses intérêts dans la procédure et ses représentants légaux ne le peuvent pas non plus. Selon l'art. 25 al. 1 let. c PPMin ("défense d'office"), l'autorité compétente désigne un défenseur d'office lorsque le prévenu mineur doit avoir un défenseur et que lui et ses représentants ne disposent pas des ressources financières nécessaires.
Que le recourant ait désormais atteint l'âge de la majorité n'ôte pas toute portée aux dispositions précitées. En effet, l'application de la PPMin résulte de ce que le recourant était mineur au moment de la commission des infractions (cf. art. 1 PPMin et 3 al. 1 de la loi fédérale du 20 juin 2003 régissant la condition pénale des mineurs [RS 311.1; DPMin]). Les art. 24 et 25 PPMin restent donc applicables. De toute manière, les art. 130 let. c et 132 al. 1 let. b CPP, qui sont le pendant des dispositions précitées, s'appliqueraient sinon à la phase d'exécution en vertu des art. 1 et 3 al. 1 PPMin.
2.3 Il ressort du jugement du 12 mars 2010, p. 11, que le recourant est arrivé en Suisse avec ses parents en 2005, qu'il avait suivi en Arménie une scolarité particulièrement chaotique, ayant été déscolarisé durant de longues périodes, qu'en Suisse il a été scolarisé en 8ème année en classe d'accueil, dont il a été expulsé en raison de son comportement. L'état de fait est complété dans cette mesure (<ref-law>). Au vu du parcours du recourant et de son manque de formation, on ne saurait considérer qu'il est à même de défendre personnellement ses intérêts dans une procédure de libération conditionnelle. Que l'autorité d'exécution doive examiner d'office la possibilité d'accorder la libération conditionnelle (<ref-law>) et qu'en cas de refus, elle doive réexaminer au moins une fois tous les six mois cette question (<ref-law>) n'impliquent pas d'appréhender le droit à un défenseur de manière plus souple. Les conditions pour admettre une défense obligatoire au sens de l'art. 24 let. b PPMin sont réunies. Le recourant n'ayant aucune ressource financière, un défenseur d'office aurait dû lui être désigné (art. 25 al. 1 let. c PPMin).
En refusant d'admettre un cas de défense obligatoire et de mettre le recourant au bénéfice d'un défenseur d'office, l'autorité précédente a violé les dispositions précitées. Le recours doit donc être admis, l'arrêt attaqué annulé et la cause renvoyée en instance cantonale pour reprise de la procédure après désignation d'un défenseur d'office.
3. Il n'y a pas lieu de percevoir de frais judiciaires (<ref-law>). Le canton de Vaud versera une indemnité de dépens au recourant, qui obtient gain de cause avec l'assistance d'un avocat (<ref-law>). Vu l'issue du recours, la demande d'assistance judiciaire est sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et l'arrêt rendu le 29 juillet 2011 par le Juge de la Chambre des recours pénale du canton de Vaud est annulé. La cause est renvoyée à cette autorité pour nouvelle décision au sens des considérants.
2. Il n'est pas perçu de frais judiciaires.
3. Une indemnité de 2'000 fr., à payer au recourant à titre de dépens, est mise à la charge du canton de Vaud.
4. Le présent arrêt est communiqué aux parties et au Juge de la Chambre des recours pénale du canton de Vaud.
Lausanne, le 29 septembre 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod