Faits:
A. Par arrêt du 27 septembre 2010, la Chambre pénale de la Cour de justice du canton de Genève a confirmé la condamnation prononcée le 28 janvier 2010 par le Tribunal de police du canton de Genève de X._ pour infraction grave à la LStup et blanchiment d'argent à une peine privative de liberté de deux ans, peine ferme et partiellement complémentaire.
Par jugement du 3 mai 2011, le Tribunal d'application des peines et mesures du canton de Genève a refusé d'accorder à X._ sa libération conditionnelle.
B. Par arrêt du 28 juin 2011, la Chambre pénale d'appel et de révision du canton de Genève a rejeté l'appel formé contre ce jugement par X._.
C. Ce dernier forme un recours en matière pénale contre cet arrêt. Il conclut à son annulation et à ce que la libération conditionnelle immédiate soit ordonnée. Il sollicite également le bénéfice de l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Le recours en matière pénale est ouvert contre les décisions sur l'exécution de peines et de mesures (<ref-law>).
2. Le Tribunal fédéral statue sur la base des faits retenus par l'arrêt entrepris (<ref-law>), sous réserve des cas prévus à l'<ref-law>. La partie recourante ne peut ainsi critiquer ces faits que s'ils ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (sur la notion d'arbitraire, cf. <ref-ruling> consid. 2.4 p. 5; 58 consid. 4.1.2 p. 62), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>).
Conformément à l'<ref-law>, le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux que s'ils ont été invoqués et motivés de manière précise. L'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits violés et préciser en quoi consiste la violation (<ref-ruling> consid. 2.8 p. 494).
Faute de tout grief d'arbitraire soulevé conformément à cette disposition, la cour de céans s'en tiendra aux faits retenus par l'autorité précédente. Il ne saurait par conséquent prendre en compte les allégations du recourant selon lequel il disposerait d'un cadre familial stable et solide, il aurait fait ménage commun avec son épouse ou encore celle-ci et sa famille aurait été présentes durant la procédure dirigée contre le recourant et partageraient son désir de vivre une vie de famille harmonieuse.
3. Le recourant estime que le refus de le libérer conditionnellement viole l'<ref-law>.
3.1 En vertu de l'alinéa 1 de cette disposition, l'autorité compétente libère conditionnellement le détenu qui a subi les deux tiers de sa peine, mais au moins trois mois de détention, si son comportement durant l'exécution de la peine ne s'y oppose pas et s'il n'y a pas lieu de craindre qu'il ne commette de nouveaux crimes ou de nouveaux délits.
L'<ref-law> renforce le principe selon lequel la libération conditionnelle est la règle et son refus l'exception, dans la mesure où il n'est plus exigé, pour l'octroi de la libération conditionnelle, qu'un pronostic favorable puisse être posé. Il suffit que le pronostic ne soit pas défavorable (<ref-ruling> consid. 2.2 p. 203). Pour le surplus, la jurisprudence relative à l'art. 38 ch. 1 aCP demeure valable. En particulier, le pronostic à émettre doit être posé sur la base d'une appréciation globale, prenant en considération les antécédents de l'intéressé, sa personnalité, son comportement en général et dans le cadre des délits qui sont à l'origine de sa condamnation, et, surtout, le degré de son éventuel amendement ainsi que les conditions dans lesquelles il est à prévoir qu'il vivra (<ref-ruling> consid. 2.3 p. 203/204 et les arrêts cités).
Dans l'émission du pronostic, l'autorité compétente dispose d'un large pouvoir d'appréciation, de sorte que le Tribunal fédéral n'intervient que si elle l'a excédé ou en a abusé, notamment lorsqu'elle a omis de tenir compte de critères pertinents et s'est fondée exclusivement sur les antécédents du condamné (<ref-ruling> consid. 2.3 p. 204).
3.2 Il n'est pas contesté que la condition objective de l'<ref-law> est réalisée depuis le 27 avril 2011, date à laquelle le recourant avait effectué les deux tiers de sa peine.
Ce dernier estime toutefois que c'est à tort que l'autorité précédente a posé un pronostic défavorable. Son argumentation est calquée mot pour mot, sous réserve du remplacement du nom de l'autorité de première instance par celui de l'autorité précédente, sur celle fournie à l'appui de son appel. Un tel mémoire ne satisfait pas aux exigences minimales de motivation posées par l'<ref-law>, le recourant ne discutant pas les motifs de la décision entreprise et n'indiquant pas - même succinctement - en quoi ceux-ci méconnaissent le droit selon lui (<ref-ruling> consid. 2.3 p. 246 s; arrêt 6B_377/2011 du 23 septembre 2011 consid. 2.4.1).
3.3 Au demeurant, l'autorité précédente a estimé qu'elle ne pouvait, à l'instar du Service d'application des peines et des mesures, du Ministère public et de l'autorité de première instance, que retenir un pronostic défavorable. Elle a fondé cette appréciation sur le fait que le recourant, entre 2005 et 2009, avait été condamné à cinq reprises pour des faits essentiellement en lien, même de manière indirecte, avec ceux à l'origine de la peine qu'il purge actuellement. Elle a également tenu compte du fait qu'il avait bénéficié d'une première libération conditionnelle le 15 février 2007 mais avait récidivé quelques mois après sa libération, ce qui démontrait qu'il n'avait pas pris conscience de la gravité de ses agissements, ce d'autant moins qu'il n'avait cessé de les justifier par l'intervention d'un tiers, qu'il s'agisse de la police (agent provocateur) ou de ses fréquentations. Selon l'autorité précédente, il n'était ainsi pas possible de le croire lorsqu'il affirmait vouloir s'amender. Elle a également pris acte que le recourant avait exposé vouloir apprendre l'allemand et exercer une activité lucrative à sa sortie de prison. Ses intentions n'étaient toutefois étayées par aucun projet concret ni pièce. En outre, alors qu'il déclarait vouloir travailler dans le domaine de la construction, ses problèmes de santé au niveau de la colonne vertébrale de même que l'incertitude quant au renouvellement de son titre de séjour en Suisse - le recourant fait actuellement l'objet d'une décision non définitive de renvoi suite à ses condamnations - le rendaient peu crédible. Quant à son désir de reprendre la vie conjugale, le recourant n'avait produit aucune lettre de la part de son épouse attestant qu'elle souhaitait l'héberger, en plus du fait qu'il n'était pas établi que le couple ait eu un domicile commun. Enfin, le simple fait qu'il veuille retrouver son épouse ne saurait être considéré comme suffisant à éviter qu'il ne récidive puisque cela ne l'avait pas empêché, par le passé, de commettre de nouvelles infractions après son mariage.
L'autorité cantonale n'a pas omis d'élément pertinent. Le recourant invoque disposer d'un cadre familial stable et solide. Il s'appuie sur ce point sur des éléments qui n'ont pas été retenus par l'autorité précédente, ce sans invoquer et démontrer l'arbitraire (cf. supra consid. 1). Il soutient avoir été "victime d'un agent provocateur". Un tel argument ne fait que renforcer l'impression que le recourant n'a pas pris conscience de la gravité de ses actes et de sa faute. Au vu de l'ensemble des circonstances, le seul fait que la Prison de Champ-Dollon ait émis un pronostic favorable ne suffit pas pour amener l'autorité de céans à considérer que l'autorité précédente a abusé de son pouvoir d'appréciation et partant violé l'<ref-law> en n'acceptant pas de suivre ce pronostic.
4. Le recourant succombe. Ses conclusions étaient vouées à l'échec. L'assistance judiciaire doit lui être refusée (<ref-law>). Le recourant supportera les frais de la procédure, fixés en tenant compte de sa situation financière défavorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 800 francs, sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Chambre pénale d'appel et de révision de la Cour de justice du canton de Genève.
Lausanne, le 19 décembre 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod