Faits: A. Par décision du 13 juin 2003, C._ a été mis au bénéfice d'une rente entière d'invalidité à compter du 1 er mars 2000, cette prestation étant assortie d'une rente complémentaire pour le conjoint et de rentes pour enfants. A la suite du divorce de C._ survenu en 2010, l'Office cantonal AI du Valais (l'office AI) a procédé à un nouveau calcul des rentes au 1 er octobre 2010. Comme les montants des nouvelles rentes étaient inférieurs, l'office AI a réclamé la restitution des prestations versées à tort, par décisions du 15 février 2013. Il a par ailleurs retiré l'effet suspensif aux éventuels recours qui seraient formés contre ces décisions. B. C._ et ses filles M._, E._ et A._, ont déféré les décisions du 15 février 2013 au Tribunal cantonal du Valais, Cour des assurances sociales, en concluant principalement à leur annulation, subsidiairement à la remise de l'obligation de restituer, plus subsidiairement au renvoi de la cause à l'office AI. Ils ont aussi requis la restitution de l'effet suspensif aux demandes de remboursement. Par ordonnances des 11 avril et 8 mai 2013, la juridiction cantonale a invité l'office AI à s'exprimer sur les recours dirigés contre ses décisions du 15 février 2013, notamment sur les demandes de restitution de l'effet suspensif. Dans sa réponse du 27 mai 2013, l'office AI a conclu au rejet des conclusions principales des recours, ainsi qu'à l'irrecevabilité des conclusions subsidiaires. Il s'est référé à une prise de position de la Caisse AVS X._ (la caisse de compensation) du 13 mai 2013. Par décision présidentielle du 4 juin 2013, la Cour des assurances sociales a joint les causes. Elle a restitué l'effet suspensif aux recours formés contre les décisions du 15 février 2013. C. L'office AI interjette un recours en matière de droit public contre la décision présidentielle du 4 juin 2013. Avec suite de frais, il conclut principalement à son annulation et au renvoi de la cause à la juridiction cantonale, subsidiairement à ce que l'effet suspensif soit restitué aux recours cantonaux dans la mesure où ils concernent les différentes demandes de remboursement, mais que le retrait de l'effet suspensif soit maintenu quant aux montants des nouvelles rentes.