Faits:
A. Par jugement du 6 juin 2012, le Tribunal d'application des peines et mesures genevois (ci-après : TAPEM) a refusé la libération conditionnelle de X._.
B. Par arrêt du 26 juin 2012, la Chambre pénale d'appel et de révision de la Cour de justice genevoise a rejeté l'appel formé par X._.
En bref, il ressort les éléments suivants de cet arrêt.
Entre avril 2005 et août 2009, X._ a été condamné a dix reprises notamment pour différents vols, violations de domicile, dommages à la propriété, infractions à la circulation routière et contraventions à la LStup. Les divers sursis accordés ont été révoqués au fil des condamnations. En 2006, X._ a bénéficié d'une libération conditionnelle avec délai d'épreuve d'un an.
X._ est détenu depuis le 28 décembre 2008. L'exécution de la peine a toutefois été interrompue du 2 août 2010, à la suite d'une fugue de la fondation A._, au 17 avril 2012, date de son interpellation. Il a subi les deux tiers de sa peine le 29 février 2012, celle-ci arrivant à son échéance le 6 décembre 2012.
Le 25 avril 2012, X._ a sollicité sa libération conditionnelle. La direction de la prison de Champ-Dollon a préavisé favorablement cependant que le Service de l'application des peines et mesures et le Ministère public ont préavisé en défaveur de la libération.
Devant le TAPEM, X._ a indiqué vouloir retourner en France, son pays d'origine, à Chambéry où il pourrait loger chez ses parents et travailler dans l'entreprise de son frère avant de trouver un appartement avec sa nouvelle compagne à Vevey. Il souhaitait continuer son traitement à la méthadone et mettre en place un droit de visite sur ses deux enfants habitant à Versoix.
Devant la Chambre pénale d'appel et de révision, il a expliqué vouloir se rendre d'abord chez ses parents à Chambéry, puis chez sa s?ur à Manosque qui acceptait de l'héberger et qui lui avait fait parvenir un contrat de travail. Il a réaffirmé sa volonté de poursuivre son traitement à la méthadone. A cet égard, il a produit un dépliant de la fondation B._ à Chambéry, un contrat de travail d'une société de Manosque, un courrier de son père déclarant accepter de l'héberger à Chambéry, ainsi qu'une attestation d'un médecin généraliste de cette ville acceptant de le suivre pour un traitement de substitution.
C. X._ forme un recours en matière pénale contre l'arrêt du 26 juin 2012. Il conclut, sous suite de frais et dépens, principalement à la réforme de l'arrêt en ce sens que sa libération conditionnelle est ordonnée avec effet au 29 février 2012 et, subsidiairement, à l'annulation de l'arrêt et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite par ailleurs l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.
Considérant en droit:
1. Le recours en matière pénale est ouvert contre les décisions d'exécution des peines et mesures (art. 78 al. 2 let. b LTF).
2. Le recourant mêle tout à la fois des arguments tirés de la violation de l'interdiction de l'arbitraire et de la violation de l'art. 86 CP.
2.1 Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (art. 105 al. 1 LTF). Il n'en va différemment que si le fait a été établi en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. ATF 136 II 304 consid. 2.4, p. 313; sur la notion d'arbitraire, v. : ATF 137 I 1 consid. 2.4 p. 5). L'invocation de ce moyen ainsi que, de manière générale, de ceux déduits du droit constitutionnel et conventionnel (art. 106 al. 2 LTF), suppose une argumentation claire et détaillée (ATF 133 IV 286 consid. 1.4 p. 287), circonstanciée (ATF 136 II 101 consid. 3, p. 105). Les critiques de nature appellatoire sont irrecevables (ATF 137 II 353 c. 5.1 p. 356 et les références citées).
2.2 Selon l'art. 86 al. 1 CP, l'autorité compétente libère conditionnellement le détenu qui a subi les deux tiers de sa peine, mais au moins trois mois de détention, si son comportement durant l'exécution de la peine ne s'y oppose pas et s'il n'y a pas lieu de craindre qu'il ne commette de nouveaux crimes ou de nouveaux délits. Cette disposition renforce le principe selon lequel la libération conditionnelle est la règle et son refus l'exception, dans la mesure où il n'est plus exigé qu'il soit à prévoir que le condamné se conduira bien en liberté (cf. art. 38 ch. 1 al. 1 aCP), mais qu'il ne soit pas à craindre qu'il ne commette de nouveaux crimes ou délits. Autrement dit, il n'est plus nécessaire, pour l'octroi de la libération conditionnelle, qu'un pronostic favorable puisse être posé; il suffit que le pronostic ne soit pas défavorable (ATF 133 IV 201 consid. 2.2 p. 203). Pour le surplus, la jurisprudence relative à l'art. 38 ch. 1 aCP demeure valable. En particulier, le pronostic à émettre doit être posé sur la base d'une appréciation globale, prenant en considération les antécédents de l'intéressé, sa personnalité, son comportement en général et dans le cadre des délits qui sont à l'origine de sa condamnation, et, surtout, le degré de son éventuel amendement ainsi que les conditions dans lesquelles il est à prévoir qu'il vivra (ATF 133 IV 201 consid. 2.3 p. 203 s. et les arrêts cités).
Dans l'émission du pronostic, l'autorité compétente dispose d'un large pouvoir d'appréciation, de sorte que le Tribunal fédéral n'intervient que si elle l'a excédé ou en a abusé, notamment lorsqu'elle a omis de tenir compte de critères pertinents et s'est fondée exclusivement sur les antécédents du condamné (ATF 133 IV 201 consid. 2.3 p. 204).
2.3 En substance, la cour cantonale a retenu que le recourant avait été condamné à réitérées reprises entre 2005 et 2009 pour des faits essentiellement similaires à ceux à l'origine de la peine qu'il purgeait. Il avait bénéficié d'une précédente libération conditionnelle, de même que d'un traitement institutionnel des addictions qui s'était soldé par un échec. Ces éléments ne l'avaient pas dissuadé de récidiver, montrant ainsi qu'il n'avait pas pris conscience de la gravité de ses actes. Il existait un risque concret de récidive en cas de nouvelle libération conditionnelle. Ce risque était d'autant plus important que le recourant n'avait présenté aucun projet concret de réinsertion. Il avait en outre modifié ses explications sur ses plans en cours de procédure. Il avait ainsi d'abord déclaré qu'il irait vivre à Chambéry, puis avait expliqué qu'il irait vivre chez sa s?ur à Manosque tout en produisant une attestation de son père déclarant accepter de le loger à Chambéry. Il avait produit un contrat de travail d'une société sise à Manosque, dont l'activité demeurait peu claire, alors qu'il avait déclaré tout au long de la procédure avoir trouvé un travail dans l'entreprise de son frère à Chambéry. Il paraissait peu probable que le recourant travaille et vive à Manosque tout en suivant un traitement médical à Chambéry, ses villes étant distantes de plusieurs centaines de kilomètres et le traitement nécessitant un suivi constant. Son projet, entaché de contradictions, n'offrait pas les garanties suffisantes permettant de présager que le recourant ne retomberait pas dans la délinquance. La libération conditionnelle devait donc lui être refusée.
2.4 Le recourant produit des pièces nouvelles prétendument destinées à établir la réalité de son projet. De telles pièces sont irrecevables (art. 99 al. 1 LTF).
Le recourant fait grief à la cour cantonale d'avoir retenu que l'éloignement entre son lieu de travail et son lieu de domicile et de suivi médical empêchait de considérer son projet comme concret et fiable. Il se contente toutefois de déclarer cet argument « faux et dilatoire » sans exposer en quoi tel serait le cas. Purement appellatoire, son grief est irrecevable. Au demeurant, il n'était pas manifestement insoutenable de retenir qu'il apparaissait peu réaliste que le recourant vive à Chambéry et travaille à Manosque, à plusieurs centaines de kilomètres. La cour cantonale a en outre relevé les variations et les contradictions dans les déclarations du recourant s'agissant de ses projets et les pièces qu'il a produites. Sur la base de ces éléments, elle pouvait, sans arbitraire, considérer que les projets du recourant n'étaient pas suffisamment concrets et réalistes.
Le recourant reproche à la cour cantonale d'avoir retenu qu'il avait fugué de la fondation A._, alors qu'il aurait en réalité été renvoyé en raison des relations qu'il entretenait avec une autre résidente. Il prétend en outre que l'offre de travail qu'on lui a faite est concrète. Là encore, l'argumentation du recourant consiste à opposer sa propre appréciation des faits à celle de la cour cantonale. Appellatoire, elle est irrecevable.
Selon le recourant, la cour cantonale n'a tenu compte que de son casier judiciaire et non des conditions futures dans lesquelles il vivrait en particulier sa famille, son travail et son logement, éléments dont il aurait suffisamment prouvé l'existence. Ces éléments n'ont pas été ignorés de la cour cantonale, mais celle-ci a, comme on l'a vu ci-dessus, sans arbitraire, rejeté le caractère réaliste du projet du recourant.
Le recourant invoque aussi l'absence de prise en compte « des effets collatéraux » du refus de libération conditionnelle. Il soutient que ce refus donnerait des arguments supplémentaires à la mère de ses enfants pour limiter son droit de visite et l'empêcherait de maintenir son autorisation de séjour en Suisse. Il n'articule de la sorte aucun argument pertinent pour la libération conditionnelle, en particulier le pronostic à poser.
Le recourant se prévaut encore d'une violation du principe de la proportionnalité. Il prétend que la cour cantonale aurait dû rechercher une solution plus souple que le refus de libération conditionnelle permettant d'atteindre les mêmes objectifs. Il n'expose toutefois pas en quoi cette solution aurait pu consister. Son argumentaire est sans portée dans l'examen des conditions de la libération conditionnelle.
2.5 En définitive, la cour cantonale a tenu compte, outre des antécédents du recourant, de l'échec d'une première mise en liberté conditionnelle, de l'échec d'un traitement institutionnel des addictions, d'une prise de conscience limitée de la gravité de ses actes par le recourant, ainsi que de l'absence d'un projet concret et réaliste pour sa sortie de prison. Ces critères sont pertinents et le recourant ne cite aucun élément important, propre à modifier le pronostic, qui aurait été omis ou pris en considération à tort par la cour cantonale. Au vu des circonstances, il n'apparaît pas que le pronostic défavorable émis par la cour cantonale procède d'un abus ou d'un excès de son pouvoir d'appréciation. Elle n'a pas violé le droit fédéral.
3. Le recours était d'emblée dénué de chances de succès. L'assistance judiciaire doit être refusée (art. 64 al. 1 LTF). Le recourant supporte les frais de la cause, qui seront fixés en tenant compte de sa situation économique, qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1600 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 24 octobre 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet