Faits: A. Par arrêt du 27 septembre 2010, la Chambre pénale de la Cour de justice du canton de Genève, siégeant sous la présidence du juge Y._, a confirmé la condamnation prononcée le 28 janvier 2010 par le Tribunal de police du canton de Genève de X._, pour infraction grave à la LStup et blanchiment d'argent, à une peine privative de liberté de deux ans, peine ferme et partiellement complémentaire. Par jugement du 3 mai 2011, le Tribunal d'application des peines et mesures du canton de Genève a refusé d'accorder à X._ sa libération conditionnelle. A la suite de l'appel déposé par ce dernier contre ce jugement, le juge Y._, Président de la Chambre pénale d'appel et de révision de la Cour de justice du canton de Genève, a rendu une ordonnance préparatoire le 7 juin 2011. Le 8 juin suivant, X._ a requis la récusation de ce magistrat. B. Par arrêt du 5 août 2011, la Chambre pénale d'appel et de révision, statuant sans le concours du juge Y._, a rejeté cette demande. En bref, elle a considéré que ce juge était intervenu à deux reprises dans les mêmes fonctions et, subsidiairement, que dans certains cas un magistrat pouvait intervenir à différents titres sans violer l'art. 30 Cst. Elle a en outre jugé que les deux procédures n'avaient pas le même objet. Enfin, elle a estimé que les appréciations portées à deux reprises par l'autorité d'appel ne constituaient pas des causes de récusation au sens de l'art. 56 let. f CPP. C. X._ forme un recours en matière pénale. Il conclut à l'annulation de l'arrêt cantonal et à ce qu'il soit dit que le juge Y._ avait l'obligation de se récuser. Il sollicite également le bénéfice de l'assistance judiciaire. Il n'a pas été ordonné d'échange d'écritures.