Faits: A. Par jugement du 6 juin 2012, le Tribunal d'application des peines et mesures genevois (ci-après : TAPEM) a refusé la libération conditionnelle de X._. B. Par arrêt du 26 juin 2012, la Chambre pénale d'appel et de révision de la Cour de justice genevoise a rejeté l'appel formé par X._. En bref, il ressort les éléments suivants de cet arrêt. Entre avril 2005 et août 2009, X._ a été condamné a dix reprises notamment pour différents vols, violations de domicile, dommages à la propriété, infractions à la circulation routière et contraventions à la LStup. Les divers sursis accordés ont été révoqués au fil des condamnations. En 2006, X._ a bénéficié d'une libération conditionnelle avec délai d'épreuve d'un an. X._ est détenu depuis le 28 décembre 2008. L'exécution de la peine a toutefois été interrompue du 2 août 2010, à la suite d'une fugue de la fondation A._, au 17 avril 2012, date de son interpellation. Il a subi les deux tiers de sa peine le 29 février 2012, celle-ci arrivant à son échéance le 6 décembre 2012. Le 25 avril 2012, X._ a sollicité sa libération conditionnelle. La direction de la prison de Champ-Dollon a préavisé favorablement cependant que le Service de l'application des peines et mesures et le Ministère public ont préavisé en défaveur de la libération. Devant le TAPEM, X._ a indiqué vouloir retourner en France, son pays d'origine, à Chambéry où il pourrait loger chez ses parents et travailler dans l'entreprise de son frère avant de trouver un appartement avec sa nouvelle compagne à Vevey. Il souhaitait continuer son traitement à la méthadone et mettre en place un droit de visite sur ses deux enfants habitant à Versoix. Devant la Chambre pénale d'appel et de révision, il a expliqué vouloir se rendre d'abord chez ses parents à Chambéry, puis chez sa s?ur à Manosque qui acceptait de l'héberger et qui lui avait fait parvenir un contrat de travail. Il a réaffirmé sa volonté de poursuivre son traitement à la méthadone. A cet égard, il a produit un dépliant de la fondation B._ à Chambéry, un contrat de travail d'une société de Manosque, un courrier de son père déclarant accepter de l'héberger à Chambéry, ainsi qu'une attestation d'un médecin généraliste de cette ville acceptant de le suivre pour un traitement de substitution. C. X._ forme un recours en matière pénale contre l'arrêt du 26 juin 2012. Il conclut, sous suite de frais et dépens, principalement à la réforme de l'arrêt en ce sens que sa libération conditionnelle est ordonnée avec effet au 29 février 2012 et, subsidiairement, à l'annulation de l'arrêt et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite par ailleurs l'assistance judiciaire. Il n'a pas été ordonné d'échange d'écritures.