Faits :
A.
A._, né en 1950, a pris sa retraite le 1er mars 2012. Cette année-là, la caisse de pensions B._ lui a versé deux prestations en capital de la prévoyance professionnelle pour un montant total de 517'256 fr.
Le 14 février 2018, A._ a déposé une demande de prestations complémentaires à l'AVS. Par décision sur opposition du 2 juillet 2019 (faisant suite à une décision du 25 mai 2018), la Caisse de compensation du canton du Valais a nié le droit de l'assuré à des prestations complémentaires en raison d'un excédent net de revenus résultant notamment de la prise en compte d'un dessaisissement de fortune de 280'000 fr.
B.
A._ a déféré cette décision au Tribunal cantonal du canton du Valais, Cour des assurances sociales, qui l'a débouté par jugement du 23 novembre 2020.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. A titre principal, il conclut à ce qu'aucun dessaisissement ne soit retenu à sa charge et à ce que son droit aux prestations complémentaires demandées soit reconnu. A titre subsidiaire, il conclut au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens de l'arrêt à rendre.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF, et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Il fonde son raisonnement sur les faits retenus par l'autorité précédente (art. 105 al. 1 LTF) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées, sinon un état de fait divergent ne peut être pris en considération (art. 97 al. 1 LTF).
2.
Le litige porte sur le droit du recourant à des prestations complémentaires à l'AVS, singulièrement sur le point de savoir si les dessaisissements de fortune doivent être pris en compte dans le calcul desdites prestations.
Le jugement cantonal expose de manière complète les règles légales applicables (art. 4 al. 1 let. a LPC, 9 al. 1 LPC, 11 al. 1 let. g LPC [dans leur teneur en vigueur jusqu'au 31 décembre 2020]), ainsi que la notion de dessaisissement au sens de la LPC (cf. <ref-ruling> consid. 2.2; arrêt 9C_787/2020 du 14 avril 2021 consid. 4.2; voir aussi art. 17a OPC-AVS/AI, dans sa teneur en vigueur jusqu'au 31 décembre 2020).
3.
La juridiction cantonale a retenu que le recourant avait perçu en 2012 des prestations en capital de la prévoyance professionnelle en lien avec son départ à la retraite. Afin d'expliquer la diminution de la fortune importante, le recourant avait exposé qu'il s'était départi de son capital LPP en réglant diverses dettes et en procédant à d'importantes libéralités en faveur de ses ex-épouses, sans obligation ou contreprestations équivalentes. Pour les premiers juges, les explications étaient restées vagues et inconsistantes. On ignorait ainsi tout des dettes prétendument réglées et des donations effectuées en faveur des ex-épouses, le dossier ne contenant aucun élément de preuve à ce sujet.
L'instance précédente a par ailleurs constaté que le recourant avait été hospitalisé cinq ans après son départ à la retraite, en septembre 2017. Les médecins de l'Hôpital C._ avaient établi qu'il souffrait notamment de troubles psychiques chroniques à l'origine d'une désorganisation du comportement avec une négligence de ses affaires et de sa personne ainsi que d'angoisses interpersonnelles invalidantes (cf. rapport du 14 mai 2019). Ces renseignements ne permettaient toutefois pas d'établir que le recourant avait été privé de sa capacité de discernement lorsqu'il avait procédé aux prétendues donations, d'autant moins que le jugement de divorce de juillet 2013 ne mentionnait pas de tels troubles et que le recourant avait obtenu la garde de son fils alors âgé de 14 ans compte tenu de ses capacités parentales qualifiées d'adéquates. Il n'était donc pas possible de retenir qu'il avait été privé de sa capacité de discernement lorsqu'il s'était dessaisi d'éléments de fortune.
4.
Le recourant se prévaut avant tout d'une constatation manifestement inexacte des faits par l'instance précédente. Il soutient que celle-ci aurait dû retenir que les renseignements médicaux fournis permettaient d'établir qu'il était incapable de discernement au moment de son dessaisissement de fortune en faveur de ses ex-épouses, d'autant plus que cette situation avait conduit l'Autorité de protection de l'enfant et de l'adulte du district de D._ à instaurer une curatelle de représentation avec gestion du patrimoine assortie d'une restriction d'accès aux biens, par décision du 27 mars 2019.
Dans ce contexte, il fait grief aux premiers juges d'avoir violé le principe de l'instruction d'office et son droit d'être entendu en n'ayant pas instruit plus avant les circonstances du dessaisissement involontaire de son capital LPP en faveur de ses ex-épouses, ni donné suite à ses offres de preuves qui auraient pu apporter une perception directe de son état mental et de son incapacité de discernement au moment où il se serait fait spolier son capital LPP par ses ex-épouses (interrogatoires de diverses personnes).
5.
5.1. Le recourant ne conteste pas les constatations de la juridiction cantonale sur le dessaisissement de fortune de 280'000 fr., en tant que telles, mais celles sur la capacité de discernement dont il disposait au moment où sa fortune a diminué.
5.2. La capacité de discernement doit être présumée et celui qui prétend qu'elle fait défaut doit le prouver (cf. art. 16 CC; <ref-ruling> consid. 1b; arrêt 5A_914/2019 du 15 avril 2021 consid. 3.2). Le recourant ne démontre toutefois pas en quoi les constatations de fait des premiers juges relatives à son état de santé psychique et à sa capacité de discernement en 2012, soit à l'époque du dessaisissement de fortune, seraient inexactes, ni en quoi elles résulteraient d'une violation du principe de l'instruction d'office et de son droit d'être entendu. En effet, en plus du jugement de divorce du recourant rendu en juillet 2013, d'un rapport de l'Hôpital C._ établi par les doctoresses E._ et F._ le 14 mai 2019, l'instance précédente disposait de la décision de l'Autorité de protection de l'enfant et de l'adulte du 27 mars 2019. Or il ne ressort pas de cette décision que le recourant avait besoin d'une assistance avant son hospitalisation en septembre 2017, ni d'éléments dont on pourrait inférer l'existence d'une incapacité de discernement antérieurement à 2017. Il en va de même du rapport médical du 14 mai 2019. Les médecins de l'Hôpital C._, qui ont diagnostiqué notamment des troubles exécutifs précoces au moment de l'hospitalisation de l'assuré en août 2018, ont indiqué que les troubles psychiques et les difficultés d'autonomie du patient étaient plus manifestes depuis sa retraite. Toutefois ces éléments ne suffisent pas à admettre une incapacité de discernement en 2012, ni un état durable d'altération mentale lié à l'âge ou à la maladie, en présence duquel la personne en cause est en principe présumée dépourvue de la capacité d'agir raisonnablement (cf. arrêt 5A_951/2016 du 14 septembre 2017 consid. 3.1.3.1).
En d'autres termes, l'appréciation anticipée des preuves à laquelle a procédé la juridiction cantonale n'était pas arbitraire. Elle a à juste titre qualifié de superfétatoires les mesures probatoires complémentaires portant sur l'état de santé psychique du recourant au moment du dessaisissement (interrogatoire des deux médecins de l'Hôpital C._, de la fille du recourant et de lui-même). La "perception directe de l'état mental" de l'assuré par les médecins, dont le recourant se prévaut ne peut porter que sur "les défaillances observées" à partir de son hospitalisation et non sur la période de plus de cinq ans antérieure, ici déterminante.
5.3. Vu ce qui précède, le jugement attaqué est conforme au droit fédéral, si bien que le recours est infondé.
6.
Le recourant, qui succombe, supportera les frais de la procédure (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 4 novembre 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Berthoud