Faits:
A.
Par décision du 13 juin 2003, C._ a été mis au bénéfice d'une rente entière d'invalidité à compter du 1 er mars 2000, cette prestation étant assortie d'une rente complémentaire pour le conjoint et de rentes pour enfants.
A la suite du divorce de C._ survenu en 2010, l'Office cantonal AI du Valais (l'office AI) a procédé à un nouveau calcul des rentes au 1 er octobre 2010. Comme les montants des nouvelles rentes étaient inférieurs, l'office AI a réclamé la restitution des prestations versées à tort, par décisions du 15 février 2013. Il a par ailleurs retiré l'effet suspensif aux éventuels recours qui seraient formés contre ces décisions.
B.
C._ et ses filles M._, E._ et A._, ont déféré les décisions du 15 février 2013 au Tribunal cantonal du Valais, Cour des assurances sociales, en concluant principalement à leur annulation, subsidiairement à la remise de l'obligation de restituer, plus subsidiairement au renvoi de la cause à l'office AI. Ils ont aussi requis la restitution de l'effet suspensif aux demandes de remboursement.
Par ordonnances des 11 avril et 8 mai 2013, la juridiction cantonale a invité l'office AI à s'exprimer sur les recours dirigés contre ses décisions du 15 février 2013, notamment sur les demandes de restitution de l'effet suspensif. Dans sa réponse du 27 mai 2013, l'office AI a conclu au rejet des conclusions principales des recours, ainsi qu'à l'irrecevabilité des conclusions subsidiaires. Il s'est référé à une prise de position de la Caisse AVS X._ (la caisse de compensation) du 13 mai 2013.
Par décision présidentielle du 4 juin 2013, la Cour des assurances sociales a joint les causes. Elle a restitué l'effet suspensif aux recours formés contre les décisions du 15 février 2013.
C.
L'office AI interjette un recours en matière de droit public contre la décision présidentielle du 4 juin 2013. Avec suite de frais, il conclut principalement à son annulation et au renvoi de la cause à la juridiction cantonale, subsidiairement à ce que l'effet suspensif soit restitué aux recours cantonaux dans la mesure où ils concernent les différentes demandes de remboursement, mais que le retrait de l'effet suspensif soit maintenu quant aux montants des nouvelles rentes.

Considérant en droit:
1.
1.1. La décision attaquée restitue l'effet suspensif aux recours formés contre les décisions administratives du 15 février 2013. Il s'agit donc d'une décision incidente en matière de mesures provisionnelles contre laquelle un recours immédiat au Tribunal fédéral n'est admissible qu'aux conditions de l'<ref-law> (arrêt 9C_867/2012 du 17 avril 2013 consid. 2). En vertu de cette disposition, les décisions préjudicielles et incidentes (autres que celles prévues à l'<ref-law>) peuvent faire l'objet d'un recours si elles peuvent causer un préjudice irréparable, c'est-à-dire un dommage de nature juridique qui ne peut pas être réparé ultérieurement par un jugement final ou une autre décision favorable au recourant (<ref-ruling> consid. 4 p. 141, 288 consid. 3.1 p. 291), ce qu'il appartient à celui-ci de démontrer sous peine d'irrecevabilité (<ref-ruling> consid. 4 p. 95; <ref-ruling> consid. 1.3.3 p. 141). Selon la jurisprudence, des mesures provisionnelles causent un préjudice irréparable si elles ont pour effet d'interdire certains actes sur lesquels il n'est par la suite pas possible de revenir concrètement, ce qui est notamment le cas d'un retrait provisoire d'un permis de conduire (arrêts 1C_195/2013 du 20 mars 2013 consid. 1.2, 2C_293/2013 du 21 juin 2013 consid. 1.1).
Comme l'indique à juste titre le recourant, la décision attaquée est de nature à lui causer un préjudice irréparable au sens de l'<ref-law>, compte tenu de la situation financière des bénéficiaires des rentes.
1.2. Par ailleurs, une décision portant sur la restitution de l'effet suspensif à un recours est une décision de mesures provisionnelles au sens de l'<ref-law>, de sorte que seule la violation de droits constitutionnels peut être invoquée (<ref-ruling> consid. 2 p. 477).
Dès lors que le recourant soulève de tels griefs d'une manière conforme à l'<ref-law> (<ref-ruling> consid. 1.5 p. 197), il convient d'entrer en matière.
2.
2.1. En premier lieu, l'office recourant se prévaut d'une violation de son droit d'être entendu. Sans énoncer explicitement l'art. 29 al. 2 Cst., il soutient que la juridiction cantonale a violé le principe " ne eat judex ultra petita partium ", dont il est question à l'art. 61 let. d LPGA. Selon cette disposition légale, le tribunal n'est pas lié par les conclusions des parties; il peut réformer, au détriment du recourant, la décision attaquée ou accorder plus que le recourant n'avait demandé; il doit cependant donner aux parties l'occasion de se prononcer ou de retirer le recours.
En l'espèce, le recourant observe que les intimés avaient sollicité devant la juridiction cantonale de recours, à titre préalable, la restitution de l'effet suspensif aux différentes demandes de remboursement. A cet égard, le recourant soutient que lorsque la caisse de compensation avait déclaré, le 13 mai 2013, qu'elle n'enverrait pas de rappel ou de sommation durant la procédure de recours, elle avait ainsi implicitement " acquiescé " à la demande de restitution de l'effet suspensif portant spécifiquement sur les demandes de remboursement. En revanche, il estime que la caisse n'avait jamais accepté, même de manière implicite, que l'effet suspensif fût accordé aux recours quant au fond (sous-entendu: aux montants des rentes). Dès lors, en restituant entièrement l'effet suspensif aux recours, la Cour des assurances sociales a non seulement été au-delà des conclusions des assurés, mais également au-delà de celles de la caisse de compensation. Comme la juridiction cantonale ne pouvait restituer l'effet suspensif aux recours sans avoir donné aux parties l'occasion de se prononcer, le recourant estime que son droit d'être entendu a été violé.
2.2. L'office recourant invoque en outre une violation du principe de la bonne foi (art. 9 Cst.). A son avis, lorsque la caisse de compensation avait indiqué, le 13 mai 2013, qu'elle n'enverrait pas de rappel ou de sommation durant la procédure de recours, cela ne signifiait pas pour autant qu'elle acquiesçait " à la demande de restitution de l'effet suspensif ". Selon le recourant, l'interprétation du tribunal cantonal ne tient manifestement pas compte de la volonté de la caisse de compensation, laquelle était seulement prête à surseoir à l'encaissement des prestations perçues à tort, le temps que la procédure de recours parvienne à chef.
En interprétant les propos de la caisse de compensation à l'encontre des termes clairs que cette dernière a utilisés, l'office recourant soutient qu'il a été totalement pris au dépourvu par les conclusions que la juridiction cantonale a tirées et qu'il n'a pas été en mesure de rectifier la situation puisque l'occasion ne lui en a pas été donnée. Le recourant estime que la Cour des assurances sociales a agi ainsi d'une manière contraire aux règles de la bonne foi dans la procédure.
3.
Dans sa réponse du 27 mai 2013, l'office recourant a conclu au rejet du recours dans la mesure de sa recevabilité. Pour le surplus, il ne s'est pas déterminé lui-même sur la question de la restitution de l'effet suspensif, mais il s'est référé aux observations de la caisse de compensation du 13 mai 2013 où cette dernière indiquait uniquement qu'elle n'enverrait pas de rappel ou de sommation durant la procédure de recours (p. 6). Confrontée aux conclusions peu claires et ambigües de l'administration, l'instance précédente a dû interpréter les écritures des 13 et 27 mai 2013. En considérant que l'office AI avait acquiescé à la demande de restitution de l'effet suspensif, la juridiction cantonale a procédé à une interprétation certes discutable de ces deux écritures, mais que l'on ne saurait toutefois qualifier d'insoutenable. Il s'ensuit que le principe de la bonne foi dans le procès (art. 9 Cst.) n'a pas été enfreint dans une mesure qui justifierait l'annulation de la décision incidente attaquée.
Dès lors que l'office recourant a été expressément appelé à s'exprimer sur la demande de restitution de l'effet suspensif aux recours dirigés contre les décisions du 15 février 2013, conformément à l'ordonnance du 11 avril 2013, le grief tiré d'une violation du droit constitutionnel d'être entendu, singulièrement l'art. 29 al. 2 Cst., apparaît infondé. L'office recourant ne doit s'en prendre qu'à lui-même si la juridiction cantonale a implicitement admis qu'il ne s'opposait pas à ce que l'effet suspensif fût restitué aux recours concernant les montants des nouvelles rentes et d'avoir renoncé, en conséquence, à l'inviter à se déterminer à nouveau en vertu de l'art. 61 let. d LPGA.
4.
Le recourant, qui succombe, supportera les frais de la procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 21 novembre 2013
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Kernen
Le Greffier: Berthoud