Faits: A.a. Par décisions des 15 mars 2001, 20 juin 2002, 10 mars 2003 et 11 mars 2004, la Caisse de compensation du canton du Valais (la caisse) a fixé les acomptes de cotisations personnelles dus par J._, agent immobilier à B._, en tant que personne exerçant une activité indépendante, pour les années 2001, 2002, 2003 et 2004. La caisse a précisé qu'elle avait fixé les cotisations sur la base de revenus estimés par elle-même, les cotisations étant arrêtées sous réserve d'une rectification sur la base des revenus communiqués ultérieurement par l'autorité fiscale. J._ est décédé en août 2004. Le 25 novembre 2004, dans le cadre de l'établissement de l'inventaire de la succession, la caisse a produit à M e T._, notaire et exécuteur testamentaire, une créance de cotisations personnelles dues pour la période de juillet à août 2004 de 2'862 fr. 10, selon décision du 11 mars 2004. Elle a précisé que cette production était établie sous réserve, d'une part des cotisations sur salaires qui seraient éventuellement dues sur la base du décompte d'employeur pour la période de janvier à août 2004, d'autre part des cotisations personnelles dues pour 2001, 2002, 2003 et 2004 à fixer définitivement sur la base des revenus communiqués ultérieurement par l'autorité fiscale. En mai 2005, la caisse a reçu le décompte d'employeur pour la période de janvier à août 2004, ainsi que les informations relatives aux revenus non agricoles retenus par l'autorité fiscale, respectivement 3'599'486 fr. (pour l'année 2001), 422'862 fr. (2002), 300'641 fr. (2003) et 200'427 fr. (2004). Les taxations fiscales ont été contestées. Le 30 mai 2005, la caisse a notifié aux hoirs de feu J._ quatre décisions de cotisations personnelles afférentes aux années 2001, 2002 et 2003, ainsi qu'à la période courant de janvier à août 2004, en précisant que les cotisations personnelles avaient été déterminées sur la base des revenus qu'elle avait elle-même estimés; après déduction des cotisations déjà payées et ajout des intérêts moratoires, les sommes réclamées se sont élevées à 376'926 fr. 15 (2001), 23'776 fr. 30 (2002), 10'818 fr. 55 (2003) et 6'516 fr. 80 (janvier à août 2004). Le 1 er juin 2005, sur la base de ces décisions, la caisse a rectifié sa production du 25 novembre 2004; elle a aussi ajouté un montant de 849 fr. à titre de cotisations sur salaires pour la période de janvier à août 2004, selon décision du 11 mars 2005. La caisse a rappelé, dans cette production, que ses décisions seraient rectifiées, au besoin, sur la base des taxations fiscales définitives 2003A, 2003B et 2004. Par décision du 24 novembre 2005, le Juge du district de Z._ a admis à l'inventaire de la succession les créances de cotisations de la caisse relatives à ses décisions des 11 mars et 30 mai 2005. Par décision du 5 janvier 2006, le juge a pris acte de l'acceptation de la succession, sous bénéfice d'inventaire, par les héritiers de feu J._ (soit R._, O._ et V._). A réception de la taxation fiscale IFD 2003 définitive, la caisse a, par décision du 10 novembre 2009, fixé les cotisations personnelles de feu J._ pour l'année 2003 en tant que personne exerçant une activité indépendante. Le solde de 9'937 fr. 45 qui en est résulté en faveur du cotisant (pour 2003) a été porté en déduction des cotisations encore dues pour l'année 2001, qui se montaient désormais à 367'779 fr. 15, par une seconde décision du 10 novembre 2009 (les soldes dus pour 2002 et 2004 sont restés inchangés). A.b. La taxation fiscale définitive afférente aux mois de janvier à août 2004 a été communiquée à la caisse en février 2011. Par décision du 21 février 2011, confirmée sur opposition le 15 juin 2011, la caisse a notifié à la communauté héréditaire de J._ par M e T._, exécuteur testamentaire, une décision définitive de cotisations personnelles complémentaires dues pour la période de janvier à août 2004, réclamant le versement d'un montant complémentaire de 122'791 fr. 60, sur la base d'un revenu de 1'438'500 fr. A.c. Par décision du 19 mai 2010, communiquée à la caisse en septembre 2010, la Commission de recours en matière fiscale du canton du Valais a fixé définitivement les taxations fiscales relatives aux revenus d'indépendant de feu J._ pour les années 2001 et 2002. Le 16 décembre 2011, la caisse a notifié à M e T._, R._, V._ et O._, de nouvelles décisions de cotisations personnelles de feu J._, annulant et remplaçant les décisions du 30 mai 2005. Concernant l'année 2001, la caisse a tenu compte d'un revenu de 3'599'486 fr. et réclamé le paiement d'un solde de cotisations de 476'860 fr. 60 (sous déduction des cotisations déjà payées, avec ajout des intérêts moratoires). Pour l'année 2002, sur la base d'un revenu de 422'862 fr., le solde de cotisations a été fixé à 31'532 fr. 60 (sous déduction des cotisations déjà payées, avec ajout des intérêts moratoires). En ce qui concerne la période de janvier à août 2004, le revenu a été fixé à 183'627 fr., le solde de cotisations dues étant de 8'459 fr. 15 (sous déduction des cotisations déjà payées, avec ajout des intérêts moratoires). Par décisions du 15 février 2012, la caisse a partiellement admis les oppositions que O._ et V._ avaient formées contre les décisions du 16 décembre 2011. La caisse a confirmé les bases de calcul, mais réduit les soldes dus à 328'108 fr. 60 pour les cotisations 2001, à 21'885 fr. 40 pour les cotisations 2002 et à 5'898 fr. 40 pour les cotisations de janvier à août 2004, compte tenu des cotisations payées par R._. Cette dernière et M e T._ ne se sont pas opposés aux décisions du 16 décembre 2011. B. M e T._ a déféré la décision sur opposition du 15 juin 2011 au Tribunal cantonal du canton du Valais, Cour des assurances sociales, en concluant à son annulation. La cause a été enregistrée sous la cote S1 11 117. V._ et O._ ont recouru séparément contre les décisions sur opposition du 15 février 2012, en concluant à leur annulation. Les causes ont été enregistrées respectivement sous les cotes S1 12 59 et S1 12 61. Par jugement du 29 mai 2013, la juridiction cantonale a pris le dispositif suivant: 1. En la cause S1 11 117, le recours de M e T._ est rejeté. 2. (...) 3. En la cause S1 12 59, le recours de V._ est rejeté. 4. En la cause S1 12 61, le recours de O._ est rejeté. 5. Il n'est pas perçu de frais ni alloué de dépens. C. V._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation des ch. 1, 3, 4 et 5 de son dispositif, avec suite de frais et dépens. Il invite le Tribunal fédéral à constater que les prétentions de la caisse de compensation portant sur les cotisations de feu J._ pour les années 2001, 2002 et 2004 sont périmées.