Faits: A. Arrivé en Suisse en mars 1988, I._ a travaillé jusqu'en 1992. Le 10 janvier 2006, il a présenté une demande de prestations de l'assurance-invalidité. L'Office cantonal genevois de l'assurance-invalidité (ci-après: l'office AI) a pris des renseignements économiques et médicaux, dont l'avis de la doctoresse R._, médecin traitant et généraliste. Il a également confié une expertise pluridisciplinaire à la Clinique X._, où l'assuré a été examiné par les docteurs D._, spécialiste en médecine interne, L._, spécialiste en psychiatrie et psychothérapie, H._, rhumatologue, E._ et O._, respectivement médecin adjoint et médecin assistant du service de cardiologie de la Clinique X._. Dans leur rapport signé le 23 janvier 2008 à la suite d'un colloque de synthèse multidisciplinaire, les docteurs D._ et L._ ont diagnostiqué, avec influence essentielle sur la capacité de travail, une cardiopathie ischémique sur maladie coronarienne tritronculaire avec status post trois angioplasties de l'interventriculaire antérieure et lésions monotronculaires avec sténose significative de l'artère circonflexe moyenne traitée par double stent de la circonflexe le 6 novembre 2007, un diabète de type 2, une gonarthrose tricompartimentale du genou gauche et une phobie spécifique (F40.2). Ils ont conclu que I._ présentait une incapacité de travail totale dans la dernière activité exercée d'agent d'accompagnement au service d'une société de wagons-lits, mais qu'il était en mesure de retrouver une capacité de travail de l'ordre de 60 % dans une activité adaptée (tenant compte des limitations décrites), sous réserve de l'évolution de la pathologie cardiovasculaire (la situation devant être réévaluée à distance de la thérapie de revascularisation récente). Dans un rapport du 4 décembre 2007, le docteur C._, spécialiste FMH en cardiologie, qui avait opéré l'assuré en novembre 2007, a indiqué qu'un test d'effort effectué par son patient le 4 décembre 2007, confirmait la disparition totale de l'ischémie. Par décision du 3 avril 2009, l'office AI a mis I._ au bénéfice d'un quart de rente d'invalidité, fondé sur un taux d'invalidité de 46 %, à partir du 1er janvier 2005. B. I._, qui a subi une intervention cardiaque majeure le 13 octobre 2009 (attestation du docteur A._, Chef du service de Chirurgie cardio-vasculaire de l'Hôpital Y._, du 13 juillet 2010), a déféré cette décision au Tribunal cantonal des assurances sociales de la République et canton de Genève (aujourd'hui, Cour de justice de la République et canton de Genève, Chambre des assurances sociales). Il a été débouté par jugement du 8 mars 2012. C. Agissant par la voie du recours en matière de droit public, I._ demande au Tribunal fédéral, sous suite de dépens, d'annuler le jugement cantonal, de lui octroyer un trois quarts de rente d'invalidité à partir du 10 janvier 2005 et de renvoyer la cause à l'office AI pour nouveau calcul du montant de la rente en prenant en considération les années de cotisation complètes du recourant. Le Tribunal fédéral a renoncé à procéder à un échange d'écritures.