Faits:
A. S._, ressortissant étranger et domicilié à Z._, s'est vu refuser à deux reprises toute prestation de l'assurance-invalidité (décision du 31 août 1999; décision du 7 octobre 2002 et arrêt I 134/03 du 24 février 2004). Par la suite, il a présenté une nouvelle demande (le 24 novembre 2004), en invoquant une péjoration de son état de santé. Au cours de l'instruction (cf. décision sur opposition du 10 mai 2005 portant sur l'annulation du refus d'entrer en matière du 7 février précédent), l'Office de l'assurance-invalidité du canton du Valais (ci-après: l'office AI) a confié une expertise pluridisciplinaire au Centre X._, où les docteurs R._, A._, spécialiste en psychiatrie et psychothérapie, et E._, spécialiste en orthopédie, ont rendu leur rapport le 29 novembre 2006. Après avoir soumis le dossier à son Service médical régional AI (SMR), l'office AI a averti l'assuré qu'il comptait nier le droit à une rente (projet de décision du 18 janvier 2007). S._ a contesté cette intention, en produisant un rapport des docteurs C._ et M._ du Centre Y._ (du 28 mars 2007). L'administration a alors chargé le docteur T._, spécialiste en psychiatrie et psychothérapie, d'examiner l'assuré. Dans son rapport du 30 novembre 2007, le psychiatre a conclu à une capacité entière de travail dans une activité adaptée. Se fondant sur cette appréciation, l'office AI a, par décision du 23 janvier 2008, nié le droit de l'intéressé à une rente d'invalidité, au motif que le taux d'invalidité de 15% était insuffisant pour ouvrir le droit à cette prestation.
B. Statuant le 3 novembre 2008 sur le recours formé par S._ contre cette décision, le Tribunal cantonal du canton du Valais, Cour des assurances sociales, a débouté l'assuré.
C. S._ interjette un recours en matière de droit public contre le jugement cantonal, dont il demande l'annulation. Sous suite de frais et dépens, il conclut principalement à ce que le rapport du docteur T._ soit retiré du dossier et à l'octroi d'une rente entière d'invalidité. A titre subsidiaire, il requiert le renvoi de la cause à l'office AI pour instruction complémentaire.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. 1.1 Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. ATF 130 III 136 consid. 1.4 p. 140). Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF) et peut rectifier ou compléter d'office les constatations de celle-ci si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
1.2 La constatation de l'atteinte à la santé (diagnostic, pronostic, etc.) et l'évaluation de la capacité de travail (résiduelle), ainsi que sur le point de savoir si l'état de santé ou la capacité de travail se sont modifiés d'une manière déterminante sous l'angle de la révision au cours d'une certaine période (cf. arrêt 9C_270/2008 du 12 août 2008 consid. 2.2) sont en principe des questions de fait (ATF 132 V 393 consid. 3.2 p. 397). Il en est de même de l'appréciation concrète des preuves. En revanche, l'application du principe inquisitoire et des règles sur la libre appréciation des preuves au sens de l'art. 61 let. c LPGA, ainsi que le respect du devoir en découlant de procéder à une appréciation complète, rigoureuse et objective des rapports médicaux en relation avec leur contenu relèvent du droit (ATF 132 V 393 consid. 3.2 et 4 p. 397 ss).
2. Avec la décision litigieuse à laquelle il renvoie sur ce point, le jugement entrepris expose correctement les règles légales sur la notion d'invalidité et son évaluation, ainsi que les principes jurisprudentiels sur la valeur probante d'un rapport médical, applicables au présent cas. II suffit d'y renvoyer.
On précisera que lorsque l'administration entre en matière sur une nouvelle demande après un refus de prestations (cf. art. 87 al. 4 RAI), elle doit instruire la cause et déterminer si la situation de fait s'est modifiée de manière à influencer les droits de l'assuré. En cas de recours, le juge est tenu d'effectuer le même examen quant au fond (ATF 130 V 64 consid. 2 p. 66 et les arrêts cités). Par analogie avec le cas de la révision au sens de l'art. 17 LPGA, pour déterminer si la modification des faits (relatifs à l'état de santé ou la situation économique) suffit à admettre le droit à la prestation litigieuse, il y a lieu de comparer les faits tels qu'ils se présentaient au moment de la décision de refus de prestations et les circonstances existant au moment du prononcé de la nouvelle décision (ATF 130 V 343 consid. 3.5 p. 349).
3. 3.1 Invoquant à la fois une violation du principe de l'égalité, du principe de la bonne foi et de la maxime inquisitoire, le recourant soutient tout d'abord que la mise sur pied de l'expertise du docteur T._ était contraire au droit. L'intimé aurait uniquement cherché à obtenir un résultat différent des conclusions de l'expertise du X._, selon lesquelles la capacité de travail de l'assuré dans une activité adaptée était limitée à 25%. Un tel comportement qui reviendrait à administrer des expertises jusqu'à obtenir le résultat escompté serait contraire au principe inquisitoire.
3. 3.1 Invoquant à la fois une violation du principe de l'égalité, du principe de la bonne foi et de la maxime inquisitoire, le recourant soutient tout d'abord que la mise sur pied de l'expertise du docteur T._ était contraire au droit. L'intimé aurait uniquement cherché à obtenir un résultat différent des conclusions de l'expertise du X._, selon lesquelles la capacité de travail de l'assuré dans une activité adaptée était limitée à 25%. Un tel comportement qui reviendrait à administrer des expertises jusqu'à obtenir le résultat escompté serait contraire au principe inquisitoire.
3.2 3.2.1 Dans le domaine des assurances sociales notamment, la procédure est régie par le principe inquisitoire, selon lequel les faits pertinents de la cause doivent être constatés d'office par l'assureur, qui prend les mesures d'instruction nécessaires et recueille les renseignements dont il a besoin (cf. art. 43 al. 1 LPGA). Le devoir d'instruction s'étend jusqu'à ce que les faits nécessaires à l'examen des prétentions en cause soient suffisamment élucidés (arrêt 8C_364/2007 du 19 novembre 2007 consid. 3.2). Dans la conduite de la procédure, l'assureur dispose d'un large pouvoir d'appréciation en ce qui concerne la nécessité, l'étendue et l'adéquation de recueillir des données médicales.
De son côté, conformément à son devoir de collaborer à l'instruction de l'affaire (ATF 125 V 193 consid. 2 p. 195), l'assuré est tenu de se soumettre aux examens médicaux et techniques qui sont nécessaires à l'appréciation du cas et peuvent être raisonnablement exigés (art. 43 al. 2 LPGA). En ce sens (arrêt U 571/06 du 29 mai 2007 consid. 4.1, in RSAS 2008 p. 181), le pouvoir d'appréciation de l'administration dans la mise en oeuvre d'un examen médical n'est pas illimité; elle doit se laisser guider par les principes de l'Etat de droit, tels les devoirs d'objectivité et d'impartialité (cf. ULRICH MEYER-BLASER, Das medizinische Gutachten aus sozialrechtlicher Sicht, in Adrian M. Siegel/Daniel Fischer, Die neurologische Begutachtung, Schweizerisches medico-legales Handbuch, vol. 1, 2004, p. 105) et le principe d'une administration rationnelle (cf. MARKUS FUCHS, Rechtsfragen im Rahmen des Abklärungsverfahrens bei Unfällen, in RSAS 2006 p. 288).
3.2.2 Selon la jurisprudence (arrêt U 571/06 du 29 mai 2007 consid. 4.2, in RSAS 2008 p. 181), le devoir de prendre d'office les mesures d'instruction nécessaires à l'appréciation du cas au sens de l'art. 43 al. 1 LPGA ne comprend pas le droit de l'assureur de recueillir une "second opinion" sur les faits déjà établis par une expertise, lorsque celle-ci ne lui convient pas. L'assuré ne dispose pas non plus d'une telle possibilité. Il ne s'agit en particulier pas de remettre en question l'opportunité d'une évaluation médicale au moyen d'un second avis médical, mais de voir dans quelles mesure et étendue une instruction sur le plan médical doit être ordonnée pour que l'état de fait déterminant du point de vue juridique puisse être considéré comme établi au degré de la vraisemblance prépondérante (KIESER, ATSG-Kommentar, 2e éd., n. 12 et 17 ad art. 43 LPGA). La nécessité de mettre en oeuvre une nouvelle expertise découle du point de savoir si les rapports médicaux au dossier remplissent les exigences matérielles et formelles auxquelles sont soumises les expertises médicales. Cela dépend de manière décisive de la question de savoir si le rapport médical traite de manière complète et circonstanciée des points litigieux, se fonde sur des examens complets, prend également en considération les plaintes exprimées par la personne examinée, a été établi en pleine connaissance de l'anamnèse et contient une description du contexte médical et une appréciation de la situation médicale claires, ainsi que des conclusions dûment motivées de l'expert (ATF 125 V 351 consid. 3a p. 352).
3.3 Des faits constatés par la juridiction cantonale, il ressort que l'expertise confiée au docteur T._ a été mise en oeuvre à la demande des docteurs O._ et H._ du SMR après que le recourant a contesté le projet de refus de rente du 18 janvier 2007 en faisant état d'une aggravation des troubles, afin de lever le doute sur ce point. Dans leur avis du 10 juillet 2007, les médecins du SMR ont indiqué qu'en raison du diagnostic d'épisode dépressif actuellement sévère avec symptômes psychotiques posé par le docteur C._ dans un rapport du 28 mars 2007, qui était compatible avec une aggravation de l'état de santé psychique, une nouvelle expertise psychiatrique était indiquée. Antérieurement, le docteur O._ avait émis des réserves sur la valeur probante des conclusions de l'expertise de X._ (rapport final du 9 janvier 2007). Selon lui, dès lors que le docteur A._ s'était fait l'écho des plaintes de l'assuré, avait échafaudé des hypothèses psychanalytiques pour expliquer les plaintes et fourni des conclusions différentes de ses collègues ayant examiné l'assuré par le passé sans faire d'analyse critique de ces différents avis, l'évaluation du psychiatre n'était pas probante; il convenait d'admettre qu'une pleine capacité de travail était toujours exigible de l'assuré dans une activité adaptée aux limitations fonctionnelles décrites.
3.4 Contrairement à ce que soutient le recourant, la manière de procéder de l'intimé apparaît conforme au principe inquisitoire. Dans un premier temps, l'office AI a écarté les conclusions de l'expertise de X._, en niant à la suite du docteur O._ qu'elles fussent suffisamment concluantes (sur ce point, cf. cependant consid. 4.3 infra). Aussi a-t-il, dans son projet de décision du 18 janvier 2007, admis une capacité entière de travail dans une activité adaptée et indiqué au recourant qu'il allait lui refuser tout droit à une rente. Ce n'est que dans un second temps, lorsque le recourant a contesté ce projet en produisant un nouveau rapport médical, que l'intimé a jugé nécessaire de mettre en oeuvre une autre expertise psychiatrique. Il s'agissait pour lui (cf. avis du SMR du 10 juillet 2007) d'élucider le point de savoir si l'état de santé de S._ avait effectivement subi une aggravation, ce qu'affirmait le docteur C._, alors que l'expertise de X._ décrivait un état de santé stable depuis 1998. Dès lors que l'examen médical supplémentaire avait pour but d'établir des faits nécessaires à l'examen de la cause, on ne saurait reprocher à l'intimé d'avoir voulu recueillir une "second opinion" à l'encontre de l'expertise du docteur A._ qui ne lui aurait pas convenu. Un tel reproche aurait tout au plus pu être formulé si l'intimé avait écarté cette expertise sans aucun motif, avant d'en ordonner immédiatement une nouvelle sur les même points à examiner.
On ne voit pas non plus que la démarche de l'intimé porte atteinte au droit à l'égalité de traitement ou à la protection de la bonne foi. Au demeurant, le Tribunal fédéral ne se prononce sur la violation de droits fondamentaux que si les griefs y relatifs sont soulevés et motivés de façon détaillée (art. 106 al. 1 LTF; ATF 133 II 249 consid. 1.4.2 p. 254), ce qui n'est pas le cas en l'espèce. La conclusion du recourant visant au retrait de l'expertise du docteur T._ du dossier doit donc être rejetée.
4. 4.1 Pour la période ici déterminante (courant depuis le dernier refus de rente jusqu'à la décision litigieuse), la situation médicale du recourant a fait l'objet de deux évaluations qui remplissent les exigences posées par la jurisprudence sur la valeur probante d'un rapport médical, l'une de X._ avec, en particulier, le volet psychiatrique rédigé par le docteur A._ (rapport du 29 novembre 2006, incluant les rapports orthopédique du 10 avril et psychiatrique du 1er septembre 2006) et l'autre du docteur T._ (du 30 novembre 2007). Toutefois, les conclusions des deux avis médicaux divergent non seulement (en partie) quant aux diagnostics posés, mais surtout sur les conséquences des atteintes à la santé retenues sur la capacité de travail de l'assuré.
D'un côté, les docteurs R._, A._ et E._ ont diagnostiqué un épisode dépressif sévère sans symptômes psychotiques (F32.2), un trouble dissociatif de conversion mixte (F44.7) et des lombalgies sur altérations dégénératives d'ostéochondrose et de discopathie (L1-L2 et L3-L4) ainsi que, comme diagnostic sans répercussion sur la capacité de travail, un syndrome douloureux somatoforme persistant (F45.4). Selon les experts, la clinique psychiatrique observée dépassait actuellement le cadre nosologique du syndrome douloureux persistant; en raison des troubles psychiques, clairement fixés chez l'assuré, la capacité de travail de l'assuré était de 25% dans une activité adaptée aux limitations liées aux altérations dégénératives du rachis. De l'autre côté, le docteur T._ ne pose aucun diagnostic avec répercussion sur la capacité de travail du recourant; au titre de diagnostic sans répercussion sur celle-ci, il indique un épisode dépressif moyen sans syndrome somatique (F32.10), présent depuis 1999, et un syndrome douloureux somatoforme persistant (F45.4), présent depuis 1997.
4.2 Face aux divergences entre les deux expertises au dossier, les premiers juges ont suivi les conclusions du docteur T._, en écartant celles du docteur A._ qui n'emportaient pas leur conviction. Reprenant pour l'essentiel les critiques avancées par le docteur O._ du SMR, la juridiction cantonale s'est distancée de l'avis du psychiatre de X._, parce qu'il s'était essentiellement fait l'écho des plaintes du patient, avait émis des hypothèses psychanalytiques pour les expliquer, retenu un diagnostic différent des psychiatres précédents sans toutefois exposer les raisons pour lesquelles il ne pouvait suivre leur appréciation et sans analyse critique de leurs avis et n'avait pas précisément motivé le degré de capacité de travail.
4.3 Les raisons avancées par la juridiction cantonale pour rejeter la première expertise en cause ne résistent en l'occurrence pas à l'examen. En premier lieu, l'affirmation selon laquelle le docteur A._ se serait fait l'écho des plaintes de l'assuré, qui n'est pas motivée plus avant (ni au demeurant par le médecin du SMR), ne trouve appui sur le rapport médical. A la lecture de celui-ci, on distingue en effet clairement une partie décrivant les plaintes du recourant ("plaintes émises par l'assuré") et une partie consacrée aux observations ("status psychique") et aux constatations propres du médecin ("appréciation du cas et proposition à la Commission multidisciplinaire"). On ne voit pas que l'appréciation du médecin soit fondée essentiellement sur les plaintes de l'assuré, dès lors qu'il analyse la situation au regard de ses observations et constatations, en fonction également des pièces du dossier médical, sans que ses explications ne reposent sur les seuls propos du recourant ou reprennent simplement ceux-ci. Quant aux hypothèses psychanalytiques évoquées par la juridiction cantonale, sans aucune précision, s'il est vrai que le docteur A._ se réfère à une conférence de Sigmund Freud (p. 7 du rapport, note de bas de page 15), il n'en déduit toutefois aucune conclusion par rapport à la situation de l'assuré (mais à celle de certains de ses confrères).
En ce qui concerne ensuite le reproche lié au défaut d'analyse des avis des psychiatres qui se sont prononcés précédemment, il n'est pas pertinent en l'espèce. Il ressort en effet de l'exposé des différents avis psychiatriques antérieurs que fait le médecin de X._ dans la partie "anamnèse" de son rapport - ainsi que des pièces du dossier auxquelles il se réfère - que les diagnostics posés sont en partie identiques à ceux du docteur A._ (syndrome douloureux somatoforme persistant [rapports du docteur I._ du 20 avril 2005 et des docteurs N._ et U._ du 15 juillet 2005]; trouble dépressif récurrent [rapport du docteur L._ du 12 septembre 2005]). Par ailleurs, dans la mission d'expertise pluridisciplinaire du 13 février 2006, aucune des questions de l'intimé ne porte sur les avis antérieurs, ni ne requiert des experts de X._ de se prononcer à leur sujet; il s'agissait bien plutôt, selon l'intimé, de faire une évaluation détaillée de la situation dès lors que les renseignements médicaux étaient insuffisants pour se prononcer (mandat au SMR du 11 octobre 2005). Enfin, les conclusions du docteur A._ sur une capacité résiduelle de travail de 25% apparaissent suffisamment motivées au regard des explications qu'il a fournies sur la gravité de l'épisode dépressif sévère et la fixation du mécanisme de conversion.
En conséquence, on constate qu'à défaut de reposer sur des motifs objectifs et convaincants, l'appréciation des preuves de la juridiction cantonale qui a conduit à écarter l'avis de X._ est contraire aux règles sur la libre appréciation des preuves et ne peut, de ce fait, être suivie.
4.4 De plus, comme le fait valoir le recourant en rapport avec le diagnostic de syndrome somatoforme douloureux posé par le psychiatre de X._ et son confrère T._, le jugement entrepris ne comprend aucune constatation de fait sur l'existence des critères jurisprudentiels en matière de troubles somatoformes douloureux. L'analyse y relative de l'autorité cantonale de recours se limite en effet à constater que le trouble de l'assuré "ne remplit pas les critères de gravité énumérés par la jurisprudence (ATF 130 V 388 ss consid. 5.3 et 6) et n'est en particulier pas accompagné de comorbidité psychiatrique importante par sa gravité, son acuité et sa durée". A défaut de constatations de fait sur ce point, il n'est pas possible de comprendre sur quels éléments se fonde l'appréciation des premiers juges, le simple renvoi aux conclusions du docteur T._ ne suffisant pas en tant que tel pour satisfaire à l'obligation d'établir les faits pertinents.
Contrairement à ce que voudrait le recourant, on ne saurait cependant retenir d'emblée - en complétant ici les constatations de fait manquantes - qu'il présente une comorbidité psychiatrique au sens de la jurisprudence et que, de plus, les critères permettant d'admettre le caractère invalidant des troubles somatoformes douloureux même en l'absence d'une telle atteinte psychique sont remplis. Tant l'existence d'une comorbidité suffisante que la présence des différents facteurs font précisément l'objet d'une controverse entre les deux experts. D'un côté, le psychiatre de X._ diagnostique un épisode dépressif sévère, clairement fixé, qui entraîne déjà, en rapport avec un trouble de conversion mixte, une incapacité de travail de 75%, tandis que le docteur T._ nie le degré de sévérité de l'épisode dépressif. Postérieurement à son rapport, les docteurs C._ et M._ diagnostiquent à leur tour une importante symptomatologie dépressive et se distancent des conclusions du docteur T._ (rapport du 11 avril 2008). Par ailleurs, ces médecins retiennent à la suite du docteur A._ une perte d'intégration sociale et une situation cristallisée. En revanche, leur confrère T._ indique ne pas pouvoir se prononcer sur ce dernier facteur sans un examen plus approfondi et nie le premier critère, même si sa description du déroulement des journées du recourant (qui évite de rencontrer les membres de sa famille et mange seul après ceux-ci), semble contredire l'absence d'un retrait social important.
Compte tenu de ces nombreuses divergences, il n'est pas possible en l'état de se déterminer en connaissance de cause sur la situation médicale du recourant et les effets des troubles psychiques sur l'aptitude à l'exercice d'une activité lucrative. Il convient dès lors d'admettre la conclusion subsidiaire du recourant, en tant qu'il requiert une instruction complémentaire, et de renvoyer la cause à la juridiction cantonale pour qu'elle ordonne une expertise judiciaire. Le recours doit dès lors être admis.
5. Vu l'issue du litige, l'intimé qui succombe supportera les frais de justice de la présente procédure (art. 66 al. 1 première phrase en relation avec l'art. 65 al. 4 let. a LTF). Il prendra également en charge l'indemnité de dépens qu'il convient d'allouer au recourant (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et la décision rendue le 3 novembre 2008 par le Tribunal cantonal des assurances du canton du Valais est annulée. La cause est renvoyée à l'autorité judiciaire de première instance pour instruction complémentaire au sens des considérants et nouvelle décision.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3. L'intimé versera au recourant la somme de 2800 fr. à titre de dépens pour la dernière instance.
4. Le présent arrêt est communiqué aux parties, au Tribunal cantonal des assurances du canton du Valais et à l'Office fédéral des assurances sociales.
Lucerne, le 30 juin 2009
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Moser-Szeless