Faits:
A.a. Par décisions des 15 mars 2001, 20 juin 2002, 10 mars 2003 et 11 mars 2004, la Caisse de compensation du canton du Valais (la caisse) a fixé les acomptes de cotisations personnelles dus par J._, agent immobilier à B._, en tant que personne exerçant une activité indépendante, pour les années 2001, 2002, 2003 et 2004. La caisse a précisé qu'elle avait fixé les cotisations sur la base de revenus estimés par elle-même, les cotisations étant arrêtées sous réserve d'une rectification sur la base des revenus communiqués ultérieurement par l'autorité fiscale.
J._ est décédé en août 2004. Le 25 novembre 2004, dans le cadre de l'établissement de l'inventaire de la succession, la caisse a produit à M e T._, notaire et exécuteur testamentaire, une créance de cotisations personnelles dues pour la période de juillet à août 2004 de 2'862 fr. 10, selon décision du 11 mars 2004. Elle a précisé que cette production était établie sous réserve, d'une part des cotisations sur salaires qui seraient éventuellement dues sur la base du décompte d'employeur pour la période de janvier à août 2004, d'autre part des cotisations personnelles dues pour 2001, 2002, 2003 et 2004 à fixer définitivement sur la base des revenus communiqués ultérieurement par l'autorité fiscale.
En mai 2005, la caisse a reçu le décompte d'employeur pour la période de janvier à août 2004, ainsi que les informations relatives aux revenus non agricoles retenus par l'autorité fiscale, respectivement 3'599'486 fr. (pour l'année 2001), 422'862 fr. (2002), 300'641 fr. (2003) et 200'427 fr. (2004). Les taxations fiscales ont été contestées. Le 30 mai 2005, la caisse a notifié aux hoirs de feu J._ quatre décisions de cotisations personnelles afférentes aux années 2001, 2002 et 2003, ainsi qu'à la période courant de janvier à août 2004, en précisant que les cotisations personnelles avaient été déterminées sur la base des revenus qu'elle avait elle-même estimés; après déduction des cotisations déjà payées et ajout des intérêts moratoires, les sommes réclamées se sont élevées à 376'926 fr. 15 (2001), 23'776 fr. 30 (2002), 10'818 fr. 55 (2003) et 6'516 fr. 80 (janvier à août 2004). Le 1 er juin 2005, sur la base de ces décisions, la caisse a rectifié sa production du 25 novembre 2004; elle a aussi ajouté un montant de 849 fr. à titre de cotisations sur salaires pour la période de janvier à août 2004, selon décision du 11 mars 2005. La caisse a rappelé, dans cette production, que ses décisions seraient rectifiées, au besoin, sur la base des taxations fiscales définitives 2003A, 2003B et 2004.
Par décision du 24 novembre 2005, le Juge du district de Z._ a admis à l'inventaire de la succession les créances de cotisations de la caisse relatives à ses décisions des 11 mars et 30 mai 2005. Par décision du 5 janvier 2006, le juge a pris acte de l'acceptation de la succession, sous bénéfice d'inventaire, par les héritiers de feu J._ (soit R._, O._ et V._).
A réception de la taxation fiscale IFD 2003 définitive, la caisse a, par décision du 10 novembre 2009, fixé les cotisations personnelles de feu J._ pour l'année 2003 en tant que personne exerçant une activité indépendante. Le solde de 9'937 fr. 45 qui en est résulté en faveur du cotisant (pour 2003) a été porté en déduction des cotisations encore dues pour l'année 2001, qui se montaient désormais à 367'779 fr. 15, par une seconde décision du 10 novembre 2009 (les soldes dus pour 2002 et 2004 sont restés inchangés).
A.b. La taxation fiscale définitive afférente aux mois de janvier à août 2004 a été communiquée à la caisse en février 2011.
Par décision du 21 février 2011, confirmée sur opposition le 15 juin 2011, la caisse a notifié à la communauté héréditaire de J._ par M e T._, exécuteur testamentaire, une décision définitive de cotisations personnelles complémentaires dues pour la période de janvier à août 2004, réclamant le versement d'un montant complémentaire de 122'791 fr. 60, sur la base d'un revenu de 1'438'500 fr.
A.c. Par décision du 19 mai 2010, communiquée à la caisse en septembre 2010, la Commission de recours en matière fiscale du canton du Valais a fixé définitivement les taxations fiscales relatives aux revenus d'indépendant de feu J._ pour les années 2001 et 2002.
Le 16 décembre 2011, la caisse a notifié à M e T._, R._, V._ et O._, de nouvelles décisions de cotisations personnelles de feu J._, annulant et remplaçant les décisions du 30 mai 2005. Concernant l'année 2001, la caisse a tenu compte d'un revenu de 3'599'486 fr. et réclamé le paiement d'un solde de cotisations de 476'860 fr. 60 (sous déduction des cotisations déjà payées, avec ajout des intérêts moratoires). Pour l'année 2002, sur la base d'un revenu de 422'862 fr., le solde de cotisations a été fixé à 31'532 fr. 60 (sous déduction des cotisations déjà payées, avec ajout des intérêts moratoires). En ce qui concerne la période de janvier à août 2004, le revenu a été fixé à 183'627 fr., le solde de cotisations dues étant de 8'459 fr. 15 (sous déduction des cotisations déjà payées, avec ajout des intérêts moratoires).
Par décisions du 15 février 2012, la caisse a partiellement admis les oppositions que O._ et V._ avaient formées contre les décisions du 16 décembre 2011. La caisse a confirmé les bases de calcul, mais réduit les soldes dus à 328'108 fr. 60 pour les cotisations 2001, à 21'885 fr. 40 pour les cotisations 2002 et à 5'898 fr. 40 pour les cotisations de janvier à août 2004, compte tenu des cotisations payées par R._. Cette dernière et M e T._ ne se sont pas opposés aux décisions du 16 décembre 2011.
B.
M e T._ a déféré la décision sur opposition du 15 juin 2011 au Tribunal cantonal du canton du Valais, Cour des assurances sociales, en concluant à son annulation. La cause a été enregistrée sous la cote S1 11 117.
V._ et O._ ont recouru séparément contre les décisions sur opposition du 15 février 2012, en concluant à leur annulation. Les causes ont été enregistrées respectivement sous les cotes S1 12 59 et S1 12 61.
Par jugement du 29 mai 2013, la juridiction cantonale a pris le dispositif suivant:
1. En la cause S1 11 117, le recours de M e T._ est rejeté.
2. (...)
3. En la cause S1 12 59, le recours de V._ est rejeté.
4. En la cause S1 12 61, le recours de O._ est rejeté.
5. Il n'est pas perçu de frais ni alloué de dépens.
C.
V._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation des ch. 1, 3, 4 et 5 de son dispositif, avec suite de frais et dépens. Il invite le Tribunal fédéral à constater que les prétentions de la caisse de compensation portant sur les cotisations de feu J._ pour les années 2001, 2002 et 2004 sont périmées.

Considérant en droit:
1.
La procédure cantonale S1 12 61, dont le sort a été réglé au ch. 4 du dispositif du jugement du 29 mai 2013, ne concerne que O._. V._ n'a pas qualité pour demander l'annulation de ce point du jugement cantonal, si bien que ses conclusions sont irrecevables dans cette mesure.
La procédure cantonale S1 11 117, dont le sort a été réglé par le ch. 1 du dispositif du jugement du 29 mai 2013, a été initiée par l'exécuteur testamentaire et touche tous les héritiers. V._ est légitimé à recourir contre ce point du dispositif.
2.
2.1. Le recourant se prévaut d'une violation de l'<ref-law>. Il soutient que les premiers juges auraient dû retenir " la péremption des créances émises le 30 mai 2005 ". A son avis, les décisions de cotisations du 30 mai 2005 étaient définitives et ont passé en force au cours de cette année-là, si bien que l'intimée ne saurait exiger leur encaissement à compter du 1 er janvier 2011, en vertu de l'<ref-law>.
Par ailleurs, le recourant estime que la caisse de compensation n'était plus en droit, le 21 février 2011, d'exiger des cotisations plus élevées pour l'année 2004 que celles qui avaient été demandées dans les délais légaux, le 30 mai 2005, car le droit de fixer un montant complémentaire pour l'année 2004 (en l'occurrence 122'791 fr. 60) était périmé. Il invoque l'arrêt 9C_769/2008 du 21 août 2009 consid. 3.1.
Dans ce contexte, en se référant à la décision du Juge du district de Z._ du 24 novembre 2005, le recourant allègue que feu J._ n'était pas indépendant, mais salarié de la société Agence Immobilière X._ SA. En conséquence, l'<ref-law>, 2 e phrase, ne saurait s'appliquer à la créance rectifiée de 122'791 fr. 60, si bien qu'il n'y avait pas lieu d'attendre la taxation fiscale définitive 2004 pour chiffrer cette créance.
2.2. Les premiers juges ont exposé correctement les règles applicables à la question de la péremption du droit de la caisse de compensation de fixer les cotisations (consid. 2.1 du jugement attaqué). En résumé, suivant l'<ref-law>, dans sa teneur en vigueur jusqu'au 31 décembre 2011, les cotisations dont le montant n'a pas été fixé par décision notifiée dans un délai de cinq ans à compter de la fin de l'année civile pour laquelle elles sont dues, ne peuvent plus être exigées ni payées (al. 1). En dérogation à l'<ref-law>, s'il s'agit de cotisations visées aux art. 6, 8 al. 1 et 10 al. 1 LAVS, le délai n'échoit toutefois qu'un an après la fin de l'année civile au cours de laquelle la taxation fiscale déterminante ou la taxation consécutive à une procédure pour soustraction d'impôts est entrée en force (al. 2).
La décision du Juge du district de Z._ du 24 novembre 2005 fait certes mention d'un décompte d'employeur du 7 mars 2005 (Agence Immobilière X._ SA) et d'une décision de cotisations du 11 mars 2005. Cette décision n'est cependant pas à l'origine du présent litige, lequel porte sur la fixation des cotisations personnelles relatives à l'activité que feu J._ a exercée en tant que personne de condition indépendante. Ce statut d'indépendant ressort clairement des déclarations d'impôt 2001 et 2002, établies par l'hoirie, de même que des considérants de la décision de la Commission de recours en matière fiscale du canton du Valais du 19 mai 2010 (cf. c3, p. 9), passée en force.
Contrairement à ce que soutient le recourant, les décisions de cotisations rendues le 30 mai 2005 n'étaient pas définitives. En effet, à teneur de celles-ci, l'intimée avait uniquement complété de précédentes décisions (des 15 mars 2001, 20 juin 2002, 10 mars 2003 et 11 mars 2004) à la lumière des dernières indications transmises par l'autorité fiscale, conformément aux <ref-law>, 23 al. 4 et 27 al. 2 RAVS. Comme ces taxations fiscales avaient été contestées, l'intimée ne pouvait donc pas fixer définitivement les cotisations personnelles, car celles-ci devaient être arrêtées en fonction des taxations fiscales passées en force (cf. <ref-law>, 2 e phrase, <ref-law>). L'intimée avait du reste systématiquement rappelé, dans ses décisions successives, que les cotisations personnelles dues pour les années 2001 à 2004 seraient définitivement fixées sur la base des revenus communiqués ultérieurement par l'autorité fiscale. Le précédent que le recourant invoque (arrêt 9C_769/2008) ne lui est ainsi d'aucun secours.
Les taxations fiscales déterminantes sont entrées en force en 2010 pour les années 2001 et 2002, en 2011 pour l'année 2004. En rendant ses décisions de cotisations personnelles les 21 février 2011 et 16 décembre 2011, en vertu de l'<ref-law>, la caisse de compensation a donc agi dans le délai d'un an après la fin de l'année civile au cours de laquelle les taxations fiscales déterminantes sont entrées en force, conformément à l'<ref-law>, 2 e phrase. Le moyen tiré de la péremption du droit de l'intimée de fixer les cotisations personnelles de feu J._ pour les années 2001, 2002 et 2004 est dès lors infondé.
Il s'ensuit que l'argumentation que le recourant développe à propos de l'extinction de créances de cotisations précédemment fixées, au sens de l'<ref-law>, est dépourvue de pertinence.
3.
3.1. Le recourant soutient ensuite que la décision du 21 février 2011 choque le sentiment de justice et de l'équité, car elle revient à accorder à la caisse de compensation un blanc-seing à l'encaissement de n'importe quel montant, du moment qu'elle a produit des créances dans l'inventaire. Il estime que la procédure du bénéfice d'inventaire (<ref-law>) se trouve ainsi vidée de son sens.
A titre subsidiaire, il soulève l'exception du défaut d'enrichissement (<ref-law>).
3.2. La juridiction cantonale a également énoncé correctement les règles applicables à la responsabilité des héritiers pour les cotisations, en cas de décès d'une personne tenue au paiement des cotisations (consid. 2.2 et 2.3 du jugement attaqué). En bref, aux termes de l'<ref-law>, en cas de décès d'une personne tenue au paiement des cotisations, ses héritiers répondent solidairement des cotisations dues par elle de son vivant. Les art. 566, 589 et 593 CC sont réservés. Le Tribunal fédéral des assurances a admis que seule l'absence de production due à l'ignorance non coupable de l'existence d'une créance de cotisation, situation à laquelle on pouvait assimiler l'incertitude résultant du fait que l'administration ne disposait pas encore d'éléments suffisants pour conclure à l'existence d'une dette de cotisation, était excusable au sens de l'<ref-law> (<ref-ruling> consid. 2b p. 224). En revanche, une créance de cotisations qui n'a pas été produite, de manière fautive, dans la procédure de bénéfice d'inventaire est éteinte (<ref-ruling>; PAUL-HENRI STEINAUER, Le droit des successions, Berne 2006, n° 1041a).
La succession de J._ a été acceptée sous bénéfice d'inventaire. L'inventaire comportait, notamment, une créance de 6'516 fr. 80 à titre de cotisations personnelles pour la période de janvier à août 2004, résultant de la décision que l'intimée avait rendue le 30 mai 2005 en fonction des données fiscales dont elle disposait à cette époque-là. En ce qui concerne la créance complémentaire de cotisations de 122'791 fr. 60 afférente à cette même période, objet de la décision du 21 février 2011, l'intimée n'a pu la fixer définitivement qu'à la suite de la communication fiscale correspondante. Dans ce contexte, on rappellera qu'une caisse de compensation ne peut pas contraindre les autorités fiscales compétentes à lui communiquer durant le délai de production à l'inventaire les indications nécessaires au calcul des cotisations (arrêt 9C_179/2007 du 7 novembre 2007 consid. 4.2). En d'autres termes, non seulement l'intimée n'a pas fait preuve de passivité, mais elle a été empêchée sans sa faute de produire la créance complémentaire de 122'791 fr. 60 (dont le montant n'est d'ailleurs pas contesté en tant que tel) à l'inventaire de la succession de J._; cela découle d'ailleurs des réserves que l'intimée a constamment émises à cet égard.
On se trouve ainsi dans l'éventualité prévue à l'<ref-law> (ch. 1067 des Directives de l'Office fédéral des assurances sociales sur la perception des cotisations [DP] dans l'AVS, AI et APG). Contrairement à ce que le recourant semble penser, l'intimée et les premiers juges n'ont pas nié que l'<ref-law> s'appliquait au règlement de la créance de 122'791 fr. 60. La juridiction cantonale a uniquement considéré, à juste titre (jugement, p. 29), que la question de l'enrichissement des héritiers n'était pas d'actualité, dès lors que la décision portant sur la créance complémentaire de 122'791 fr. 60, adressée au seul exécuteur testamentaire, était limitée aux biens successoraux non partagés et non au patrimoine en mains des héritiers. L'exécuteur testamentaire devait ainsi s'acquitter de cette créance, sur les biens successoraux non partagés, les intérêts moratoires étant réservés (art. 41bis al. 1 let. f RAVS).
Quant à l'exception du défaut d'enrichissement (<ref-law>), elle ne se pose pas dans la procédure S1 12 59, puisque la responsabilité du recourant pour les dettes de cotisations portées à l'inventaire subsiste même après le partage des biens successoraux, non seulement sur ces biens-là mais également sur ses biens personnels, dès lors qu'il a accepté la succession sous bénéfice d'inventaire (art. 589 al. 1 et 3 CC).
4.
Le recourant a présenté une requête d'assistance judiciaire à titre subsidiaire (<ref-law>), pour le cas où il ne serait pas en mesure de verser à temps l'avance de frais de 9'000 fr. demandée par le Tribunal fédéral (<ref-law>). Comme il a déposé les sûretés dans le délai imparti, sa requête est sans objet.
Le recourant, qui succombe, supportera les frais de la procédure (<ref-law>; ch. 1 du Tarif des émoluments judiciaires du Tribunal fédéral).

Par ces motifs, le Tribunal fédéral prononce:
1.
Dans la mesure où il est recevable, le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 9'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à O._, à Maître T._, exécuteur testamentaire de la succession de feu J._, au Tribunal cantonal du canton du Valais, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 5 février 2014
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Kernen
Le Greffier: Berthoud