Faits :
A.
A.a. A._, né en 1983, a déposé une demande de prestations de l'assurance-invalidité au mois de décembre 2009. Après avoir accordé à l'assuré différentes mesures d'intervention précoce et de réadaptation, l'Office cantonal AI du Valais (ci-après: l'office AI) a nié son droit à une rente d'invalidité par décision du 1 er mars 2013 (taux d'invalidité de 18%). Par la suite, A._ a présenté une nouvelle demande de prestations en avril 2013 que l'office AI a rejetée au terme de l'instruction, par décision du 25 novembre 2016. En bref, l'administration a considéré, en se fondant notamment sur une expertise du docteur B._, spécialiste en psychiatrie et psychothérapie (rapport du 14 juillet 2016), que l'assuré présentait une toxicomanie primaire et que la situation était inchangée depuis la décision du 1er mars 2013, le taux d'invalidité étant toujours de 18%.
A.b. En juin 2017, A._ a déposé une troisième demande de prestations de l'assurance-invalidité. L'office AI a refusé d'entrer en matière sur cette demande, considérant que l'assuré n'avait pas rendu plausible une aggravation de son état de santé (décision du 2 mars 2018).
B.
Statuant le 18 décembre 2019 sur le recours interjeté par l'assuré contre cette décision, le Tribunal cantonal du Valais, Cour des assurances sociales, l'a rejeté. Saisi d'un recours de A._, le Tribunal fédéral l'a partiellement admis. Il a annulé le jugement cantonal et renvoyé la cause à la juridiction de première instance pour qu'elle donne suite à la requête de débats publics de l'assuré et statue à nouveau (arrêt 9C_59/2020 du 13 mai 2020). En exécution de l'arrêt fédéral, la juridiction cantonale a mis en oeuvre des débats publics, puis a rejeté le recours par jugement du 29 juin 2020.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut principalement à la reconnaissance de son droit à une rente entière d'invalidité depuis le 1 er mars 2013. Subsidiairement, il requiert le renvoi de la cause à la juridiction cantonale pour nouvelle décision dans le sens des considérants.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et statue par ailleurs sur la base des faits établis par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut pas être pris en considération.
2.
Les constatations de l'autorité cantonale de recours sur l'atteinte à la santé, la capacité de travail de la personne assurée et l'exigibilité - pour autant qu'elles ne soient pas fondées sur l'expérience générale de la vie - relèvent d'une question de fait et ne peuvent donc être contrôlées par le Tribunal fédéral que sous un angle restreint (<ref-ruling> consid. 3.2). On rappellera, en particulier, qu'il n'y a pas arbitraire du seul fait qu'une solution autre que celle de l'autorité cantonale semble concevable, voire préférable (<ref-ruling> consid. 2.2; <ref-ruling> consid. 6.1). Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (<ref-ruling> consid. 3.4).
3.
3.1. Le litige porte sur le point de savoir si la juridiction cantonale était en droit de confirmer le refus de l'office intimé d'entrer en matière sur la nouvelle demande de prestations présentée par l'assuré en juin 2017. En conséquence, les conclusions du recourant tendant à l'octroi d'une rente entière d'invalidité sont irrecevables (voir arrêt 9C_565/2020 du 17 mars 2021 consid. 1.1 et les arrêts cités).
3.2. Le jugement entrepris expose de manière complète les dispositions légales et les principes jurisprudentiels en matière notamment de révision de la rente d'invalidité, applicables par analogie à l'examen matériel d'une nouvelle demande de prestations (<ref-law>, art. 87 al. 2 et 3 RAI; <ref-ruling> consid. 5; <ref-ruling> consid. 3.5.2; <ref-ruling> consid. 3 et les références), en particulier ceux relatifs à l'obligation faite aux assurés de rendre plausible une modification de leur situation et au moment auquel la plausibilité de cette modification doit être rapportée, compte tenu de l'avertissement de l'administration (<ref-ruling> consid. 5.2.5). Il suffit d'y renvoyer.
4.
4.1. Dans un premier grief, le recourant reproche à la juridiction cantonale d'avoir établi les faits de façon manifestement inexacte et arbitraire et d'avoir violé le droit, en considérant qu'aucun nouvel élément médical ne permettait de rendre plausible que son état de santé s'était modifié de manière à influencer son droit à d'éventuelles prestations de l'assurance-invalidité depuis la dernière décision de l'office intimé entrée en force et "conforme au droit". Alléguant d'abord que le rapport d'expertise du docteur B._ du 14 juillet 2016 présenterait un "défaut manifeste de valeur probante", le recourant soutient que la décision administrative déterminante pour examiner s'il avait rendu plausible une modification de son état de santé était celle du 1er mars 2013 et non celle du 25 novembre 2016. Il fait ensuite valoir, en se référant essentiellement à un rapport du docteur C._, spécialiste en psychiatrie et psychothérapie, et de la psychologue D._, du 12 septembre 2018, qu'il avait mis en évidence des "indices d'aggravation [...] largement suffisants" de son état de santé pour justifier que l'office intimé, respectivement la juridiction cantonale, entrât en matière sur sa nouvelle demande de prestations, et cela même s'il fallait admettre que le point de départ temporel pour l'examen d'une modification de son état de santé fût la décision du 25 novembre 2016 et non celle du 1er mars 2013.
4.2. Contrairement à ce que soutient d'abord le recourant, on ne saurait reprocher aux premiers juges d'avoir examiné la plausibilité d'une aggravation de son état de santé propre à influencer ses droits en fonction de la situation prévalant à partir du 25 novembre 2016, et non depuis le 1er mars 2013. La décision du 25 novembre 2016 est en effet la dernière décision entrée en force reposant sur un examen matériel du droit à la rente. Elle constitue donc le point de départ temporel pour examiner si l'assuré a rendu plausible une modification déterminante des faits influant sur le droit aux prestations en cas de nouvelle demande de prestations (<ref-ruling> consid. 5; <ref-ruling> consid. 3).
Dans la mesure où la décision du 25 novembre 2016 est entrée en force, les griefs du recourant en relation avec le "défaut manifeste de valeur probante" du rapport d'expertise du docteur B._ du 14 juillet 2016, pour le motif essentiellement que l'expertise avait été réalisée en ambulatoire et ne permettrait pas une évaluation fiable et objective de la situation, n'ont pas à être examinés plus avant par la Cour de céans. Il en va de même de l'argumentation du recourant selon laquelle les premiers juges auraient arbitrairement passé sous silence que le docteur E._, spécialiste en psychiatrie et psychothérapie, aurait à cette époque recommandé à l'office intimé de mettre en oeuvre une expertise en milieu stationnaire et refusé de fonctionner comme expert au vu du choix de l'administration de diligenter une expertise sous forme ambulatoire. Comme l'ont dûment rappelé les premiers juges, si le recourant entendait contester les évaluations médicales sur lesquelles l'office AI s'était alors fondé pour rendre sa décision du 25 novembre 2016, il lui eût appartenu de faire valoir ses griefs en interjetant un recours dans les délais. A défaut, et compte tenu de la force de chose décidée du prononcé du 25 novembre 2016, les constatations de la juridiction cantonale, selon lesquelles l'office intimé avait retenu l'absence de diagnostic psychiatrique incapacitant à cette époque lient la Cour de céans.
4.3. C'est également en vain que l'assuré reproche à la juridiction cantonale d'avoir nié que les rapports médicaux qu'il avait présentés en juin 2017 eussent rendu plausible une modification significative de son état de santé, respectivement de sa capacité de travail, depuis novembre 2016, pour les raisons qui suivent.
4.3.1. Contrairement à ce qu'affirme en premier lieu le recourant, la juridiction cantonale n'a pas violé le droit, ni établi les faits de manière incomplète et arbitraire en ne prenant pas en considération le rapport du docteur C._ et de la psychologue D._ du 12 septembre 2018, ni celui relatif à une consultation aux urgences le 27 août 2018 (rapport des docteurs F._ et G._, tous deux médecins au Centre Hospitalier X._ du 28 août 2018). En effet, comme l'ont exposé de manière circonstanciée les premiers juges, dans un litige portant sur le bien-fondé du refus d'entrer en matière sur une nouvelle demande, le juge doit examiner la situation d'après l'état de fait tel qu'il se présentait à l'administration au moment où celle-ci a statué, en l'espèce, le 2 mars 2018, après avoir dûment laissé à l'assuré un délai pour compléter sa demande. Son examen est ainsi d'emblée limité au point de savoir si les pièces déposées en procédure administrative justifiaient ou non l'entrée en matière sur la nouvelle demande, sans prendre en considération les documents médicaux déposés ultérieurement à la décision administrative, notamment au cours de la procédure cantonale de recours (cf. <ref-ruling> consid. 5.2.5; arrêt 9C_959/2011 du 6 août 2012 consid. 1.3 et 4.3).
4.3.2. L'hospitalisation du recourant du 24 mars au 5 avril 2017 à l'hôpital Y._ ne suffit ensuite pas pour rendre plausible une aggravation de son état de santé depuis novembre 2016, comme l'ont expliqué de manière circonstanciée les premiers juges. Il ressort en effet des constatations cantonales que les diagnostics de schizophrénie sans précision (F20.9) et de troubles mentaux et du comportement liés à l'utilisation de sédatifs ou d'hypnotiques, syndrome de dépendance (F13.2), retenus par les médecins du Département de Psychiatrie et Psychothérapie de l'hôpital Y._ au moment de l'hospitalisation survenue au printemps 2017 (rapports des doctoresses H._ et I._ du 20 avril 2017, et du docteur J._ et de la psychologue K._ du 19 juillet 2017) avaient déjà été posés dans le cadre d'une précédente hospitalisation dans cet établissement (rapport des doctoresses H._ et L._ du 19 octobre 2016), soit antérieurement à la décision du 25 novembre 2016 qui a acquis force de chose jugée. Quoi qu'en dise le recourant, ces diagnostics avaient alors été discutés et exclus de manière motivée par la doctoresse M._, médecin au Service médical régional de l'AI (SMR), qui avait expliqué, pour nier le diagnostic de schizophrénie, que les symptômes psychotiques présentés par l'intéressé étaient induits par la consommation abusive de substances psychoactives et qu'ils s'étaient résorbés après un régime de substitution sous surveillance médicale (avis du 16 novembre 2016).
4.3.3. Le recourant ne peut pas davantage être suivi lorsqu'il affirme que les avis des médecins du SMR, sur lesquels les premiers juges se sont fondés pour nier la plausibilité d'une aggravation de son état de santé depuis novembre 2016, sont à l'évidence partiaux et lacunaires. En ce qu'il se limite à affirmer que les médecins du SMR, en particulier, le docteur N._, spécialiste en psychiatrie et psychothérapie, n'auraient pas tenu compte du suivi approfondi réalisé par le docteur J._ et son équipe, le recourant ne démontre pas un parti pris desdits médecins. On constate par ailleurs, à la suite de la juridiction cantonale, que le docteur O._, spécialiste en médecine interne générale et médecin au SMR, a motivé ses conclusions selon lesquelles les rapports médicaux consécutifs à l'hospitalisation de l'assuré survenue au printemps 2017 n'apportaient pas de nouveaux éléments médicaux. En se référant aux documents produits par le recourant à l'appui de sa demande, il a exclu le diagnostic de schizophrénie sans précision (F20.9), après en avoir discuté avec son confrère N._. Il a expliqué à cet égard qu'il n'y avait pas de troubles psychotiques patents, ni de signes probants de schizophrénie, ni d'étrangeté dans le comportement, et que les signes psychotiques pouvaient toujours être mis en lien avec les abus de toxiques (rapports des 28 septembre 2017 et 15 février 2018). Quant à l'avis du docteur P._, spécialiste en médecine interne générale, du 14 juillet 2017, c'est en vain que le recourant affirme de manière péremptoire qu'il a été "écarté sans motifs" par le SMR. Le docteur O._ s'est en effet également référé à cet avis et l'a pris en compte dans le cadre de son évaluation.
5.
5.1. Dans un second grief, le recourant reproche à la juridiction de première instance d'avoir violé le droit en refusant d'appliquer la nouvelle jurisprudence concernant le caractère invalidant des syndromes de dépendance (<ref-ruling>) et de mettre en oeuvre une nouvelle expertise psychiatrique satisfaisant aux exigences de la grille d'évaluation normative et structurée (selon l'<ref-ruling>). Il fait en substance valoir que ce changement de jurisprudence constituerait un motif de révision (dite procédurale) de la décision du 25 novembre 2016 (au sens de l'<ref-law>).
5.2. Le grief du recourant est mal fondé. Dans un arrêt récent, le Tribunal fédéral a en effet jugé que le changement de jurisprudence selon l'<ref-ruling> ne constitue pas un motif suffisant pour déroger au principe selon lequel il n'y a pas à adapter une décision administrative entrée en force à une modification de jurisprudence ni à entrer en matière sur une nouvelle demande (arrêt 9C_132/2020 du 7 juin 2021 consid. 6 destiné à la publication; sur les motifs qui ont guidé le Tribunal fédéral, cf. arrêt précité, consid. 5). Dans ces circonstances, les griefs du recourant en relation avec le refus des premiers juges de mettre en oeuvre de nouveaux moyens de preuve, notamment sous la forme d'une expertise psychiatrique en milieu stationnaire, tombent à faux.
6.
Il suit de ce qui précède que le recours est mal fondé.
7.
Le recourant, qui succombe, supportera les frais de la procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 6 juillet 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
La Greffière : Perrenoud