Faits: A. A.a R._ a travaillé en qualité de couvreur. Victime le 13 juin 2000 d'un accident professionnel ayant entraîné des lésions de son pied droit et de l'épaule gauche, il a déposé le 29 juin 2001 une demande de prestations auprès de l'Office de l'assurance-invalidité du canton de Genève (ci-après: l'office AI). Dans le cadre de l'instruction de la demande, l'administration a confié la réalisation d'une expertise au docteur U._, spécialiste FMH en rhumatologie, en médecine interne et en médecine du sport. Celui-ci a posé les diagnostics de rachialgies, omalgies gauches, podalgies et douleurs de la cheville droite chroniques dans un contexte de syndrome d'amplification des symptômes, de status après neuralgodystrophie de la cheville droite et de status après entorse de la cheville droite, fracture du cuboïde droit et contusion de l'épaule gauche avec déchirure du bourrelet glénoïdien; dans une activité adaptée, en tenant compte de la diminution de son rendement, l'assuré disposait d'une capacité de travail de 85 % (rapport du 21 juin 2004). Le 16 août 2005, le docteur C._, spécialiste FMH en chirurgie orthopédique et médecin traitant, a transmis à l'office AI un rapport (du 14 juillet 2005) des docteurs G._, spécialiste FMH en rhumatologie et en médecine interne, et B._, médecins auprès de l'Hôpital X._. Par décision sur opposition du 4 août 2005, l'office AI a alloué à R._ une rente entière d'invalidité du 1er juin au 30 septembre 2001. Cette décision a été annulée par jugement du 30 août 2006 du Tribunal cantonal des assurances sociales de la République et canton de Genève, qui a reconnu à l'intéressé le droit à une rente entière entre le 1er juin et le 31 décembre 2001. Se fondant notamment sur l'expertise du docteur U._, le Tribunal cantonal a retenu que l'assuré avait présenté à partir du 1er octobre 2001 une capacité résiduelle de travail dans une activité adaptée de 85 %; sur cette base, le taux d'invalidité s'élevait à 38 %. Par arrêt du 23 février 2007 (I 850/06), le Tribunal fédéral a déclaré irrecevable le recours formé par l'intéressé contre ce jugement. A.b Le 26 mars 2008, R._ a déposé une demande de révision (recte: une nouvelle demande) tendant à l'octroi d'une rente, invoquant des troubles psychiques persistants et des problèmes cardiaques. L'office AI a soumis l'assuré à une expertise interdisciplinaire réalisée au Centre d'expertise médicale (ci-après: le CEM). Après s'être adjoint les services des docteurs I._, spécialiste FMH en psychiatrie et psychothérapie, et A._, spécialiste FMH en cardiologie et en médecine interne générale, les docteurs K._, spécialiste FMH en médecine interne générale, et O._, spécialiste FMH en médecine physique et réadaptation et en rhumatologie, ont retenu les diagnostics avec répercussion sur la capacité de travail de lombalgies communes sur discopathie L5-S1 et de tachycardie ventriculaire non soutenue, précisant que cette dernière s'était aggravée depuis 2003. La capacité de travail était entière dans une activité adaptée, moyennant une diminution de rendement de 15 % (rapport du 4 mai 2009). Par décision du 9 octobre 2009 faisant suite à un projet du 13 juillet précédent, l'office AI a refusé à l'assuré l'octroi de prestations, au motif que sa capacité de travail était, tout comme lors de sa précédente décision, de 85 % dans une activité adaptée. B. La Cour de justice de la République et canton de Genève, Chambre des assurances sociales, par jugement du 28 septembre 2011, a partiellement admis le recours formé par l'assuré contre cette décision et lui a reconnu le droit à un quart de rente à compter du 1er septembre 2008. C. L'office AI interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut à la confirmation de sa décision du 9 octobre 2009. R._ conclut au rejet du recours. Il sollicite le bénéfice de l'assistance judiciaire pour la procédure fédérale. L'Office fédéral des assurances sociales a renoncé à se déterminer.