Faits :
A.
A.a. A._, né en 1967, a travaillé pour le compte de la Poste Suisse, du 1er novembre 1983 au 30 septembre 2012. A ce titre, il a été assuré pour la prévoyance professionnelle auprès de la Caisse de pensions Poste (ci-après: la Caisse de pensions) jusqu'au 30 septembre 2012. L'assuré s'est ensuite inscrit à l'assurance-chômage dès le 1er octobre 2012.
Entre-temps, l'Office de l'assurance-invalidité du canton du Valais (ci-après: l'office AI) a reconnu le droit de A._ à un quart de rente d'invalidité du 1er mars au 31 mai 2006, puis à une rente entière du 1er juin au 31 décembre 2006 (prononcé du 23 octobre 2007). A la suite d'une nouvelle demande de prestations présentée par l'assuré en septembre 2014, l'office AI lui a octroyé une rente entière d'invalidité du 1er mars 2015 au 28 février 2017, puis dès le 1er juin 2017 (décisions des 21 septembre et 24 novembre 2017). En bref, l'administration a considéré, après avoir notamment diligenté une expertise auprès du docteur B._, spécialiste en psychiatrie et psychothérapie (rapport du 18 novembre 2015) et sollicité l'avis de son Service médical régional (SMR; rapport du docteur C._ du 23 juin 2017), que l'assuré présentait une incapacité totale de travail dans toute activité professionnelle depuis le 24 octobre 2013. L'office AI a précisé que si la demande de prestations n'avait pas été tardive, l'assuré aurait pu prétendre à une rente entière d'invalidité, fondée sur un taux d'invalidité de 100 %, depuis le 1er octobre 2014.
A.b. Le 20 septembre 2017, A._ s'est adressé à la Caisse de pensions en vue d'obtenir des prestations de la prévoyance professionnelle. Celle-ci a nié toute obligation de prester, au motif que selon les décisions de l'office AI des 21 septembre et 24 novembre 2017, l'incapacité de travail ayant conduit à l'invalidité avait débuté le 24 octobre 2013, soit à un moment où l'assuré n'était plus affilié auprès d'elle (courrier du 26 septembre 2017).
B.
Le 27 septembre 2018, A._ a ouvert action contre la Caisse de pensions devant le Tribunal cantonal du Valais, Cour des assurances sociales. Il a en particulier produit une expertise privée du docteur B._ du 30 janvier 2019. Après avoir notamment requis l'intégralité du dossier de l'assuré auprès de l'office AI, la juridiction cantonale a rejeté l'action par jugement du 25 janvier 2021.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut à ce que la Caisse de pensions soit condamnée à lui verser des prestations d'invalidité.

Considérant en droit :
1.
Le recours en matière de droit public peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il examine en principe seulement les griefs motivés (<ref-law>) et ne peut pas aller au-delà des conclusions des parties (<ref-law>). Il statue par ailleurs sur la base des faits établis par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut pas être pris en considération.
2.
Les constatations de la juridiction cantonale relatives à l'incapacité de travail résultant d'une atteinte à la santé (survenance, degré, durée, pronostic) relèvent d'une question de fait et ne peuvent être examinées par le Tribunal fédéral que sous un angle restreint dans la mesure où elles reposent sur une appréciation des circonstances concrètes (art. 97 al. 1 et 105 al. 1 et 2 LTF). Les conséquences que tire l'autorité cantonale de recours des constatations de fait quant à la connexité temporelle sont en revanche soumises au plein pouvoir d'examen du Tribunal fédéral (arrêt 9C_333/2020 du 23 février 2021 consid. 5.2 et les références).
3.
3.1. Le litige porte sur le droit du recourant à une rente d'invalidité de la prévoyance professionnelle. Est seul litigieux le point de savoir si le recourant était assuré auprès de la Caisse de pensions au moment de la survenance de l'incapacité de travail dont la cause est à l'origine de l'invalidité pour laquelle l'office AI lui a ultérieurement reconnu le droit à une rente entière d'invalidité à partir du 1er mars 2015.
3.2. Le jugement entrepris expose de manière complète les dispositions légales et les principes jurisprudentiels relatifs notamment au droit à des prestations d'invalidité (<ref-law>) ainsi qu'au début et à la fin de ce droit (<ref-law>), et à la notion de survenance de l'incapacité de travail, en relation avec la double condition de la connexité matérielle et temporelle nécessaire pour fonder l'obligation de prester d'une institution de prévoyance (<ref-ruling> consid. 4.4 et 4.5; <ref-ruling> consid. 6.2 et 6.3; <ref-ruling> consid. 3.2.1 et 5.3 et les références). Il rappelle également la jurisprudence relative aux conditions dans lesquelles les décisions de l'assurance-invalidité lient l'institution de prévoyance compétente (<ref-ruling> consid. 2.5 et les arrêts cités), en particulier lorsque l'assuré s'est annoncé tardivement auprès de l'assurance-invalidité pour obtenir des prestations (arrêt 9C_53/2012 du 18 février 2013 consid. 6.1 et les arrêts cités). Il suffit d'y renvoyer.
4.
4.1. Après avoir constaté que l'office AI avait fixé au 24 octobre 2013 le moment de la survenance de l'incapacité de travail qui a constitué la cause de l'invalidité ayant fondé le droit de l'assuré à une rente de l'assurance-invalidité dès le 1er mars 2015, et considéré que cette date n'était cependant pas déterminante pour l'examen du droit aux prestations de la prévoyance professionnelle, dès lors que la demande de prestation de l'assurance-invalidité avait été présentée tardivement par l'assuré, la juridiction cantonale a procédé à une appréciation du cas sans égard à la date déterminante pour l'assurance-invalidité. Elle a constaté que l'incapacité de travail ayant conduit au droit de l'assuré à une rente de l'assurance-invalidité en 2006 était exclusivement en lien avec des atteintes somatiques, alors que la rente octroyée dès le 1er mars 2015 l'avait été en raison essentiellement d'un trouble spécifique de la personnalité, personnalité anxieuse (F60.4) et d'un trouble dépressif récurrent, épisode moyen. Partant, les premiers juges ont nié que l'incapacité de travail survenue en 2006 pût constituer la cause de l'invalidité reconnue dès 2015 (à défaut de lien de connexité matérielle). Si l'instance de premier recours a ensuite admis que le choc subi par l'annonce du licenciement le 17 avril 2012 avait entraîné une perturbation psychique chez le recourant, elle a constaté que celle-ci n'avait évolué que progressivement vers une atteinte sévère et finalement invalidante et qu'aucun élément au dossier ne permettait de retenir une perte (durable) de capacité de travail de l'intéressé durant sa période d'emploi auprès de la Poste Suisse pour ce motif. Les premiers éléments concrets concernant une baisse de la capacité de travail du recourant avaient été mentionnés le 4 octobre 2013 par l'office régional de placement, alors que l'assuré était inscrit depuis le 1er octobre 2012 comme demandeur d'emploi à 100 % à l'assurance-chômage. En conséquence, les premiers juges ont admis que la connexité temporelle entre la prétendue incapacité de travail durant le rapport de prévoyance (dès le printemps 2012) et l'invalidité ultérieure avait été interrompue.
4.2. Le recourant reproche à la juridiction cantonale d'avoir établi les faits de manière manifestement inexacte et violé le droit fédéral, en particulier l'<ref-law>. Selon lui, les premiers juges ont nié à tort que l'incapacité de travail, qui est à l'origine de l'invalidité déterminante, fût survenue durant sa période d'affiliation auprès de l'intimée. Il fait en substance valoir qu'il souffrait d'une dépression en raison de la crainte d'être licencié depuis 2006 et que l'annonce de son licenciement en avril 2012 a constitué le "coup de grâce" et a eu pour effet de "le briser complètement" et de conduire à une incapacité de travail au moment où il a cessé de travailler pour la Poste Suisse.
5.
5.1. Concernant d'abord les griefs du recourant relatifs à l'appréciation de son état de santé en 2006, c'est en vain qu'il soutient que les premiers juges auraient omis de retenir certains faits importants pour nier que l'état dépressif qui s'est manifesté en 2006 constituât la cause de l'incapacité de travail pour laquelle l'office AI lui a reconnu le droit à une rente entière de l'assurance-invalidité dès le 1er mars 2015.
5.1.1. Contrairement à ce qu'allègue l'assuré, la juridiction cantonale n'a pas négligé ni minimisé le diagnostic d'état dépressif réactionnel posé en 2006 par le docteur D._, spécialiste en médecine interne générale et médecin traitant (rapports des 18 août et 22 novembre 2006, notamment). Si le docteur D._ a certes attesté une incapacité totale de travail depuis le 30 mai 2006 - que l'instance cantonale de recours a dûment prise en compte dans le cadre de son appréciation -, il a fait état d'une évolution favorable sur le plan psychique dans son rapport du 18 août 2006, puis a, par la suite, conclu au recouvrement d'une capacité totale de travail dès le 6 novembre 2006 (rapport du 22 novembre 2006). Dans un rapport établi le 30 janvier 2018, à la demande du mandataire de l'assuré, le docteur D._ a par ailleurs indiqué qu'en 2006 son patient avait fait une réaction dépressive transitoire et réactionnelle à sa peur d'être licencié à l'époque par sa hiérarchie, en précisant qu'il n'y avait pas eu de diminution fonctionnelle de rendement en raison d'une atteinte à la santé psychique et que si l'assuré avait été en incapacité de travail à différentes reprises avant le 30 septembre 2012, c'était en raison de divers accidents (genoux et chevilles). On ajoutera que l'avis du docteur D._ est corroboré par celui du docteur E._ du SMR, qui, dans son rapport final du 27 juin 2007, avait retenu le diagnostic principal d'état après corrections chirurgicales (les 26 janvier 2005 et 30 juin 2006) de troubles de la statique du pied gauche (M21.9) et le diagnostic associé avec répercussion sur la capacité de travail d'état après myocardite aiguë (I40.9). Le médecin du SMR avait en revanche classé le trouble de l'humeur au sein des diagnostics sans répercussion sur la capacité de travail.
Quant au docteur B._, on constate, à la suite de la juridiction de première instance, qu'il ne s'est pas prononcé sur la capacité de travail de l'assuré en 2006. Quoi qu'en dise le recourant, dans son rapport du 30 janvier 2019, le médecin a en effet indiqué n'avoir pas assez d'éléments à disposition pour se déterminer sur l'état psychique de l'intéressé dans le contexte de la première demande de prestations de l'assurance-invalidité déposée en 2006.
5.1.2. C'est également sans fondement que le recourant reproche à la juridiction cantonale de ne pas avoir pris en compte une note interne établie par l'office AI le 31 octobre 2007, à la suite d'un entretien téléphonique. Le fait que l'assuré aurait, au cours de cet entretien, "surréagi et craignait d'être licencié s'il percevait une rente" ne permet en effet pas de conclure à une incapacité de travail pour des raisons psychiques à cette époque, dès lors déjà que ces déclarations sont contredites par les rapports médicaux versés au dossier, en particulier par ceux du docteur D._ (consid. 5.1.1 supra).
5.2. Le recourant ne peut pas davantage être suivi lorsqu'il reproche aux premiers juges d'avoir nié que l'incapacité de travail déterminante fût survenue à la suite d'un entretien disciplinaire qu'il avait eu avec ses responsables puis de l'annonce de son licenciement au printemps 2012.
5.2.1. C'est d'abord en vain que le recourant se réfère au rapport du docteur B._ du 30 janvier 2019. Si le médecin a certes indiqué qu'à partir de l'entretien disciplinaire d'avril 2012 et de l'annonce de son licenciement, l'assuré s'était senti fragile psychiquement et avait fait une "réaction aiguë à un facteur de stress", et qu'il a conclu à une incapacité totale de travail à compter de "la fin de son activité en juillet 2012", cette conclusion est infirmée par d'autres éléments du dossier. Outre le fait que comme le relève lui-même le recourant, il n'a cessé de travailler que le 1er septembre 2012, dans son premier rapport d'expertise, le docteur B._ n'avait pas fait état d'une incapacité de travail de 20 % au moins avant le 24 octobre 2013 (rapport du 18 novembre 2015). Par ailleurs, le docteur D._ a attesté une incapacité totale de travailler depuis le 24 octobre 2013 seulement, et non dès 2012 déjà (rapports des 10 septembre 2014 et 26 janvier 2015, notamment). Comme l'a retenu sans arbitraire la juridiction cantonale, la seconde évaluation du docteur B._, postérieure de plus de six ans après la période déterminante, n'est dès lors pas susceptible d'établir une diminution de la capacité de travail pendant ou au terme des rapports de travail avec la Poste Suisse.
5.2.2. Le fait que l'assuré a annoncé à son employeur qu'il avait des "problèmes de moral" au cours de l'entretien disciplinaire d'avril 2012 et qu'en réponse à l'annonce de son licenciement, il a manifesté "une volonté de se jeter dans le Rhône", ne sont pas non plus des éléments suffisants pour admettre, au degré de la vraisemblance prépondérante, qu'il présentait une incapacité de travail en raison d'une atteinte à la santé psychique au printemps 2012 déjà. Outre qu'il s'agit des propres déclarations - subjectives - de l'assuré, on constate, à la suite de la juridiction cantonale, que les premiers éléments concrets concernant une baisse de la capacité de travail de l'assuré ont été mentionnés le 4 octobre 2013 par l'office régional de placement, alors que l'assuré était inscrit depuis le 1er octobre 2012 comme demandeur d'emploi à 100 % à l'assurance-chômage. Selon les constatations cantonales, qui lient le Tribunal fédéral (consid. 1 supra), hormis des incapacités attestées en raison d'accidents divers et un jour d'arrêt maladie le jour de l'annonce du licenciement, le 17 avril 2012, aucune incapacité de travail pour des raisons psychiques n'avait été médicalement attestée. Il ressort par ailleurs des décomptes de salaires afférents aux mois de mai à septembre 2012 et des relevés de la saisie du temps de travail relatifs aux mois de juillet à septembre 2012 que le recourant avait travaillé jusqu'au terme des rapports de travail, effectuant même les travaux de nuit. A cet égard, l'argumentation de l'assuré selon laquelle il n'aurait travaillé que 31 jours de juillet à septembre 2012, ce qui lui "permettait de compenser une incapacité de travail due à son état de santé", ne saurait emporter conviction, dès lors déjà qu'il admet avoir été en vacances et libéré de son obligation de travailler pendant une partie de cette période.
5.2.3. Quant au fait que le recourant a mentionné, lors de son premier entretien à l'office régional de placement, le 5 octobre 2012, qu'il était en dépression, il ne suffit pas non plus pour admettre qu'il était déjà en incapacité de travail à cette époque. Outre qu'il s'est inscrit auprès de l'assurance-chômage en tant que demandeur d'emploi à 100 % dès le 1er octobre 2012, on constate, à la suite des premiers juges, qu'aucun élément ne permet de retenir une incapacité de travail à ce moment-là, puisque le recourant avait cherché activement du travail, suivi des cours informatiques et bénéficié d'un programme temporaire (PET) auprès de l'hôpital F._. L'assuré a en conséquence perçu de pleines indemnités de chômage du 1er octobre 2012 au 18 octobre 2013, ce qu'il ne conteste pas.
5.3. En conséquence de ce qui précède, le recours est mal fondé.
6.
Compte tenu de l'issue du litige, les frais de justice doivent être mis à la charge du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 13 octobre 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
La Greffière : Perrenoud