Faits:
A. Saisi d'une demande de prestations de l'assurance-invalidité présentée le 15 août 2005 par G._ (né en 1952), l'Office de l'assurance-invalidité du canton de Neuchâtel (ci-après: l'office AI) a recueilli différents avis médicaux, notamment du docteur U._, médecin-chef du Centre de psychiatrie gériatrique de l'Hôpital psychiatrique X._. Dans son rapport du 2 mars 2006, le médecin a fait état de troubles cognitifs essentiellement mnésiques et exécutifs et conclu que l'assuré n'était pas en mesure d'assumer une activité professionnelle. Par décision du 23 juin 2006, l'office AI a rejeté la demande de prestations.
Après que G._ s'est opposé à ce prononcé et que le dossier a été complété par de nouveaux rapports médicaux, l'administration a confié une expertise au docteur O._, spécialiste FMH en neurologie. Dans son rapport du 11 juin 2009, l'expert a conclu que l'assuré ne présentait aucune affection neurologique ayant une répercussion sur sa capacité de travail comme nettoyeur - activité qu'il avait exercée jusqu'à fin février 2005 -, mais a relevé une discrète ataxie cérébelleuse probablement exogène et des troubles cognitifs sans correspondance organique significative. G._ a également été soumis à un examen auprès du docteur A._, spécialiste FMH en psychiatrie et psychothérapie, qui a diagnostiqué un trouble de conversion et un trouble dépressif majeur (épisode actuel moyen, chronique) sans répercussion sur la capacité de travail de l'intéressé (rapport du 18 décembre 2009). Fort de ces conclusions, l'office AI a rejeté l'opposition le 31 mai 2010, malgré un avis contraire du docteur U._ du 14 mai 2010.
B. Statuant le 26 octobre 2011 sur le recours formé par G._ contre cette décision, le Tribunal cantonal du canton de Neuchâtel, Cour de droit public, l'a rejeté.
C. G._ interjette un recours en matière de droit public contre ce jugement. Sous suite de frais et dépens, il conclut à l'annulation de celui-ci et de la décision du 31 mai 2010, ainsi que, à titre principal, à l'octroi d'une rente entière de l'assurance-invalidité à partir du 10 août 2006. Subsidiairement, il demande le renvoi du dossier (à la juridiction cantonale) pour complément d'instruction et/ou nouvelle décision au sens des considérants.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer à son sujet.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), n'examine en principe que les griefs invoqués (art. 42 al. 2 LTF) et fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF, auquel cas il peut les rectifier ou les compléter d'office (art. 105 al. 2 LTF).
2. Le jugement entrepris expose de manière complète les règles légales et la jurisprudence applicables au litige, qui porte, au regard des conclusions du recourant, sur son droit à une rente entière d'invalidité à partir du 10 août 2006. Il suffit d'y renvoyer.
3. 3.1 Invoquant une appréciation arbitraire des preuves, le recourant reproche aux premiers juges d'avoir suivi les conclusions des docteurs A._ et O._, alors que d'autres rapports médicaux, en particulier ceux du docteur U._ démontraient son incapacité à exercer une activité lucrative ou, pour le moins, jetaient un doute suffisant sur l'avis de leurs confrères pour imposer la mise en oeuvre d'une expertise judiciaire.
3.2 L'appréciation des preuves est arbitraire lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (ATF 134 V 53 consid. 4.3 p. 62 et les arrêts cités). L'appréciation des preuves doit être arbitraire non seulement en ce qui concerne les motifs évoqués par la juridiction cantonale pour écarter un moyen de preuve, mais également dans son résultat (ATF 137 I 1 consid. 2.4 p. 5; 136 I 316 consid. 2.2.2 p. 318 s.).
4. 4.1 L'autorité cantonale de recours a retenu, d'une part, que l'appréciation des experts O._ et A._, d'un côté, et des médecins consultés à titre privé par le recourant, de l'autre, ne s'opposaient pas, si ce n'est leur appréciation respective de la capacité de travail. Elle a considéré ensuite qu'il n'existait de toute évidence aucun motif de s'éloigner des conclusions des experts externes et indépendants mandatés par l'office intimé, auxquelles elle a attribué pleine valeur probante, la désorientation dans le temps et l'espace constatée par le docteur U._ ne constituant pas un élément suffisant à cet égard.
4.2 Outre que les faits pertinents ont été établis de façon pour le moins elliptique dans le jugement entrepris - la constatation implicite de l'absence d'incapacité de travail de l'assuré doit être déduite du fait que les premiers juges entendent suivre les conclusions des experts mandatés par l'intimé -, on doit constater, en l'occurrence, que la juridiction cantonale n'a pas procédé à une appréciation complète des preuves médicales à sa disposition. S'il ressort de ses considérations qu'elle s'est fondée sur les évaluations des docteurs O._ et A._, elle n'a toutefois pas sérieusement discuté les rapports des "médecins qu[e le recourant] a consultés à titre privé", singulièrement celui du docteur U._ (du 14 mai 2010). En relevant un seul élément retenu par ce médecin (la désorientation dans le temps et l'espace de l'assuré) - qui est le seul praticien consulté par le recourant à s'être prononcé postérieurement aux expertises requises par l'administration -, l'autorité cantonale de recours n'effectue pas une appréciation globale de l'évaluation du docteur U._ en la confrontant à celles de ses confrères mandatés par l'intimé. On rappellera à cet égard que le principe de la libre appréciation des preuves (cf. art. 61 let. c LPGA) suppose que le juge prenne en considération la provenance d'un rapport médical dans le cadre d'une appréciation globale de sa valeur probante (cf. ATF 125 V 352 consid. 3b p. 352); l'autorité judiciaire ne saurait donc, sans violer ce principe, écarter un rapport médical au seul motif qu'il a été établi par le médecin traitant de la personne assurée ou par un médecin interne à l'assureur social, sans examiner autrement sa valeur probante (arrêt 8C_15/2009 consid. 3.2 et les arrêts cités).
4.3 Même si l'autorité cantonale de recours n'a pas procédé à une appréciation des preuves de manière suffisamment rigoureuse, le résultat n'en est cependant pas arbitraire, de sorte qu'il n'y a pas lieu de s'en écarter. Quoi qu'en dise en effet le recourant, le rapport du docteur U._ du 14 mai 2010 ne met pas en évidence d'éléments objectivement vérifiables - de nature clinique ou diagnostique - qui auraient été ignorés dans le cadre des examens respectifs des docteurs O._ et A._ et qui seraient suffisamment pertinents pour remettre en cause le bien-fondé des conclusions de ces deux médecins ou établir le caractère incomplet de leur évaluation.
4.3.1 A la lecture du rapport du 14 mai 2010, on constate d'abord que le docteur U._ fait état des conclusions opposées des docteurs O._ et A._, sans les remettre expressément en cause ou se prononcer de façon critique à leur sujet. Il fait ses propres observations qui rejoignent celles de ses confrères, notamment quant aux réponses courtes, peu explicatives et évasives de l'assuré, l'émoussement affectif, l'existence de troubles de la mémoire, une désorientation dans le détail (temps et espace), de graves troubles d'écriture et de calcul, ainsi que la perturbation des praxies constructives (cf. expertise du docteur O._ du 11 juin 2009, p. 8 sv.). Le docteur U._ en tire alors des conclusions opposées à celles des médecins prénommés en ce qui concerne la capacité de travail de l'assuré en admettant qu'il n'est pas apte à exercer une activité lucrative; il ne met cependant en évidence aucun aspect de la situation du recourant qui aurait été ignoré par ses confrères. Ainsi, il pose le diagnostic de démence, sans précision (F03), mais n'explique pas en quoi l'appréciation du docteur A._, selon laquelle en l'absence de bases organiques probantes constatée dans l'expertise neurologique - le docteur O._ avait constaté que l'assuré ne présentait aucune anomalie neurologique significative (les troubles cognitifs présentés n'ayant pas de correspondance organique significative) - un processus démentiel paraissait légitimement exclu, serait erronée. A cet égard, le docteur U._ énumère les critères de la Classification statistique internationale des maladies et des problèmes de santé connexes de l'OMS, 10ème éd., (CIM-10) relatifs au diagnostic de démence, mais ne mentionne pas que le groupe des troubles mentaux organiques (F00-F09), y compris les troubles symptomatiques, réunit un ensemble de troubles mentaux ayant en commun une étiologie organique démontrable, à type de maladie ou de lésions cérébrales, ou d'atteinte entraînant un dysfonctionnement du cerveau. Or, une étiologie organique démontrable a précisément été exclue en l'occurrence par le docteur O._, qui a indiqué ne pas pouvoir retenir une affection neurologique, dégénérative ou non (ce qui correspondait à l'absence d'anomalie significative à l'IRM cérébrale), alors que le docteur U._ lui-même mentionne qu'il ne peut préciser l'étiologie du tableau clinique présenté par son patient et penser à une origine dégénérative sans exclure une origine fonctionnelle (donc non organique). Dès lors que le diagnostic de démence a été posé sans tenir compte de tous les critères du CIM-10 et, surtout, sans qu'il fût confronté aux appréciations des docteurs O._ et A._, il ne suffit pas à remettre en cause les conclusions de ceux-ci.
Il en va de même de l'observation du docteur U._ quant à une évolution linéaire progressive (dans le sens d'une aggravation), documentée par les scores successifs de l'examen neuropsychologique global. Le docteur O._ a en effet procédé à la comparaison des résultats de l'examen neuropsychologique qu'il a réalisé avec ceux des examens antérieurs et conclu qu'il n'y avait pas de modifications notables. Selon lui, les seuls changements constatés étaient peu marqués et s'observaient principalement dans des preuves cliniques et sur le plan comportemental, les résultats dans l'ensemble des épreuves psychométriques réalisées où une comparaison terme à terme avec les bilans antérieurs était possible, demeurant relativement stables depuis 2006 (expertise du 11 juin 2009, p. 8). En l'absence de commentaire ou prise de position du docteur U._ par rapport aux observations de son confrère, on ne saurait retenir, comme le voudrait le recourant, une aggravation manifeste de sa santé entre les évaluations respectives.
4.3.2 C'est en vain, ensuite, que le recourant évoque la réserve émise par le docteur A._ sur le pronostic à long terme, le psychiatre n'excluant pas que l'assuré évolue vers des troubles psychiques plus graves et que la situation doive alors être reconsidérée. Une éventuelle péjoration future de l'état de santé du recourant devrait en effet faire l'objet d'une nouvelle appréciation au moment voulu, un simple pronostic ne suffisant pas, pour l'heure, à retenir que les troubles cognitifs présentés par le recourant limitaient, au moment déterminant de la décision sur opposition du 31 mai 2010, sa capacité de travail dans son ancienne activité de nettoyeur. A ce sujet, on ne voit pas que l'évaluation du docteur A._ serait incomplète, ce médecin ayant indiqué que l'impression clinique globale lui permettait d'exclure toute limitation d'ordre psychiatrique de la capacité de travail, malgré la symptomatologie constatée (liée aux diagnostics de trouble dépressif majeur [épisode léger] et de trouble de conversion).
Quant aux autres avis médicaux cités par le recourant et qui ont été dûment pris en considération par les experts mandatés par l'intimé, ils ne sont pas susceptibles de faire douter des conclusions de ceux-ci, puisqu'ils leur sont antérieurs et ne se prononcent pas à leur sujet.
4.4 En conséquence de ce qui précède, on constate que faute de doutes sur la pertinence des constatations des médecins mandatés par l'administration, les premiers juges n'avaient pas à ordonner une expertise judiciaire. Les conclusions du recourant sont dès lors mal fondées; sa conclusion principale tendant à l'octroi d'une rente d'invalidité n'est au demeurant pas motivée, puisqu'il se limite à affirmer réaliser les conditions nécessaires pour obtenir la prestation requise. Le recours doit partant être rejeté.
5. Vu l'issue du litige, le recourant supportera les frais judiciaires afférents à la présente procédure (art. 66 al. 1, 1ère phrase, LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, et à l'Office fédéral des assurances sociales.
Lucerne, le 11 juin 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless