Faits:
A. Arrivé en Suisse en mars 1988, I._ a travaillé jusqu'en 1992. Le 10 janvier 2006, il a présenté une demande de prestations de l'assurance-invalidité. L'Office cantonal genevois de l'assurance-invalidité (ci-après: l'office AI) a pris des renseignements économiques et médicaux, dont l'avis de la doctoresse R._, médecin traitant et généraliste. Il a également confié une expertise pluridisciplinaire à la Clinique X._, où l'assuré a été examiné par les docteurs D._, spécialiste en médecine interne, L._, spécialiste en psychiatrie et psychothérapie, H._, rhumatologue, E._ et O._, respectivement médecin adjoint et médecin assistant du service de cardiologie de la Clinique X._. Dans leur rapport signé le 23 janvier 2008 à la suite d'un colloque de synthèse multidisciplinaire, les docteurs D._ et L._ ont diagnostiqué, avec influence essentielle sur la capacité de travail, une cardiopathie ischémique sur maladie coronarienne tritronculaire avec status post trois angioplasties de l'interventriculaire antérieure et lésions monotronculaires avec sténose significative de l'artère circonflexe moyenne traitée par double stent de la circonflexe le 6 novembre 2007, un diabète de type 2, une gonarthrose tricompartimentale du genou gauche et une phobie spécifique (F40.2). Ils ont conclu que I._ présentait une incapacité de travail totale dans la dernière activité exercée d'agent d'accompagnement au service d'une société de wagons-lits, mais qu'il était en mesure de retrouver une capacité de travail de l'ordre de 60 % dans une activité adaptée (tenant compte des limitations décrites), sous réserve de l'évolution de la pathologie cardiovasculaire (la situation devant être réévaluée à distance de la thérapie de revascularisation récente).
Dans un rapport du 4 décembre 2007, le docteur C._, spécialiste FMH en cardiologie, qui avait opéré l'assuré en novembre 2007, a indiqué qu'un test d'effort effectué par son patient le 4 décembre 2007, confirmait la disparition totale de l'ischémie. Par décision du 3 avril 2009, l'office AI a mis I._ au bénéfice d'un quart de rente d'invalidité, fondé sur un taux d'invalidité de 46 %, à partir du 1er janvier 2005.
B. I._, qui a subi une intervention cardiaque majeure le 13 octobre 2009 (attestation du docteur A._, Chef du service de Chirurgie cardio-vasculaire de l'Hôpital Y._, du 13 juillet 2010), a déféré cette décision au Tribunal cantonal des assurances sociales de la République et canton de Genève (aujourd'hui, Cour de justice de la République et canton de Genève, Chambre des assurances sociales). Il a été débouté par jugement du 8 mars 2012.
C. Agissant par la voie du recours en matière de droit public, I._ demande au Tribunal fédéral, sous suite de dépens, d'annuler le jugement cantonal, de lui octroyer un trois quarts de rente d'invalidité à partir du 10 janvier 2005 et de renvoyer la cause à l'office AI pour nouveau calcul du montant de la rente en prenant en considération les années de cotisation complètes du recourant.
Le Tribunal fédéral a renoncé à procéder à un échange d'écritures.

Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), n'examine en principe que les griefs invoqués (art. 42 al. 2 LTF) et fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF, auquel cas il peut les rectifier ou les compléter d'office (art. 105 al. 2 LTF).
2. Le jugement entrepris expose de manière complète les règles légales et la jurisprudence applicables au litige, qui porte, au regard des conclusions du recourant, sur son droit à un trois quarts de rente d'invalidité à partir du 10 janvier 2005, au lieu du quart de rente qui lui a été alloué par l'intimé à partir du 1er janvier 2005.
3. Dans un premier grief, le recourant reproche aux premiers juges d'avoir constaté de manière manifestement inexacte que son invalidité était survenue en 1992 déjà, alors que la naissance de l'invalidité aurait dû selon lui être fixée à une date médiane entre 2001 et 2007, soit au 1er janvier 2004.
L'argumentation du recourant, qui se limite à exposer sa propre appréciation de la date à partir de laquelle il a présenté, en moyenne, une incapacité de travail de 40 % au moins pendant une année sans interruption notable au sens de l'art. 29 al. 1 let. b aLAI (dans sa version en vigueur jusqu'au 31 décembre 2007, applicable à la date du 1er janvier 2004 invoquée dans le recours), ne permet pas de considérer comme manifestement inexacte la date retenue par la juridiction cantonale comme point de départ du délai d'une année. Contrairement à ce qu'allègue le recourant, l'expertise de X._ permet de retenir qu'il a présenté depuis le 1er juillet 1992 une incapacité totale de travail dans la profession qu'il exerçait alors (et non pas seulement dès le 1er juillet 2008) en raison de troubles psychiques (et non rhumatologiques). Les docteurs D._ et L._ ont indiqué à cet égard que les phobies spécifiques dont était atteint l'assuré entraînaient une incapacité totale de travailler en tant qu'accompagnateur au service d'une société de transports depuis le 1er juillet 1992 (rapport du 23 janvier 2008, p. 10 et 18). Le recourant a du reste lui-même indiqué à l'intimé qu'il avait interrompu son activité lucrative (en 1992) pour des raisons de santé majeures et n'était plus en mesure de reprendre une activité lucrative (courriers des 28 juillet 2006 et 20 février 2007 à l'office AI). C'est donc bien l'année 1992 qui doit être retenue comme point de départ du délai d'attente au sens de l'art. 29 al. 1 let. b aLAI, l'incapacité totale et durable de travailler dans la profession exercée jusqu'à la survenance de l'atteinte à la santé correspondant à une incapacité de travail de 40 % au moins (cf. consid. 3b non publié de l'<ref-ruling>), quoi qu'en dise le recourant.
4. L'argumentation que fait valoir ensuite le recourant à l'encontre de la constatation de la juridiction cantonale relative à une capacité de travail de 60 % dans une activité adaptée n'est pas davantage pertinente. Il affirme que l'expertise de X._ établirait une incapacité de travail supérieure à 40 %, "malgré les termes de ses conclusions", parce qu'il présenterait déjà une incapacité de travail de 40 % d'un point de vue purement rhumatologique, à laquelle il faudrait ajouter les limitations résultant des autres pathologies dont il souffre, ce qui ouvrirait le droit à un trois quarts de rente ou, pour le moins, à une demi-rente d'invalidité.
Comme l'a retenu à juste titre l'autorité cantonale de recours, aux considérations de laquelle on peut renvoyer pour le surplus, les experts de X._ ont conclu à une capacité résiduelle de travail de 60 % de façon progressive dans une activité adaptée en prenant en considération l'ensemble des atteintes à la santé diagnostiquées. Leurs conclusions ont en effet été discutées dans le cadre d'un colloque de synthèse multidisciplinaire, de sorte qu'elles reflètent l'évaluation commune de tous les experts impliqués en fonction de leur spécialisation respective. Il n'y a dès lors pas lieu de procéder à l'addition voulue par le recourant, ni de s'écarter des constatations de la juridiction cantonale.
5. En ce qui concerne, en troisième lieu, la détermination du taux d'invalidité au moyen de la comparaison des revenus déterminants, les critiques du recourant relatives à l'abattement effectué par l'intimé (de 10 %) sur le revenu d'invalide, et confirmé par la juridiction cantonale, ne démontrent pas en quoi les premiers juges auraient commis un excès positif ou négatif de leur pouvoir d'appréciation ou auraient abusé de celui-ci (voir <ref-ruling> consid. 3.3 p. 399 et 126 V 75). On ne voit en particulier pas, à la lumière de l'argumentation du recourant, que l'une ou l'autre circonstance pertinente aurait été mésestimée ou, à tout le moins, appréciée de manière manifestement insoutenable. La "longue période d'inactivité du recourant" et "la durée de l'activité professionnelle en Suisse" qu'il mentionne ne constituent pas des facteurs déterminants pour l'abattement (<ref-ruling> consid. 5b/aa p. 79), tandis que les "limitations de nature psychiatrique, cardiaque et diabétique" ont été prises en considération par l'intimé (cf. décision du 3 avril 2009, p. 2) pour fixer l'abattement litigieux, de même que pour évaluer la capacité résiduelle de travail de l'assuré (consid. 4 supra). Il n'y a dès lors pas lieu d'appliquer un abattement différent au revenu d'invalide.
6. Il résulte de ce qui précède que le recours est en tout point mal fondé.
7. Vu l'issue du litige, le recourant doit supporter les frais judiciaires y afférents (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 3 octobre 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless