Faits :
A.
La société C._ SA a été affiliée en tant qu'employeur auprès de la Caisse cantonale de compensation du canton du Valais (la caisse). D._, président du conseil d'administration, disposait d'un pouvoir de signature collective à deux avec A._, vice-président du conseil d'administration. Ce dernier a été radié du Registre du commerce en janvier 2011, date à partir de laquelle D._ est devenu administrateur unique avec signature individuelle. La faillite de C._ SA, ouverte en février 2012, a été suspendue en mai 2013.
Par décision sur opposition du 21 octobre 2013, la caisse a demandé à D._ de réparer le dommage de 110'926 fr. 45 qu'elle avait subi dans la faillite de C._ SA par la perte de cotisations paritaires restées impayées pour la période s'étendant de janvier 2009 à décembre 2011.
Par décision du 5 novembre 2013, la caisse a requis de A._ le paiement de 89'224 fr. 60 au titre de réparation du dommage causé par la perte des cotisations sociales dues par C._ SA pour la période s'étendant de janvier 2009 à décembre 2010. Saisie d'une opposition, la caisse l'a admise partiellement en retenant que la responsabilité de A._ avait cessé en février 2010; elle a ainsi ramené ses prétentions à son encontre à 42'730 fr. 35, par décision sur opposition du 3 mars 2014.
B.
A._ a déféré cette décision au Tribunal cantonal du canton du Valais, Cour des assurances sociales, en concluant à ce que cette autorité reconnaisse qu'il ne doit pas à la caisse le montant de 42'730 fr. 35.
Par jugement du 28 août 2015, la juridiction cantonale a rejeté le recours.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en reprenant ses conclusions formées en première instance.

Considérant en droit :
1.
Devant le Tribunal fédéral, le litige porte sur la responsabilité du recourant, au sens de l'<ref-law>, dans le préjudice causé à l'intimée par la perte de cotisations sociales AVS/AI/APG/AC à hauteur de 42'730 fr. 35.
2.
Les premiers juges ont exposé correctement les règles applicables à la solution du litige, singulièrement la jurisprudence relative à la responsabilité de l'employeur au sens de l'<ref-law>, si bien qu'il suffit de renvoyer à leur jugement (consid. 3 et 4, pp. 7-15).
3.
3.1. Les premiers juges ont constaté que le recourant ne disposait d'aucune connaissance en matière de gestion financière et d'administration de société et que son rôle dans la gestion de l'entreprise était celui d'un "homme de paille". Ils ont aussi constaté qu'il avait signé le questionnaire relatif à l'affiliation de C._ SA à la caisse intimée, mais qu'il n'avait ensuite pris aucune mesure pour s'assurer du paiement régulier des cotisations sociales, alors qu'il avait accès au compte bancaire de la société.
Dans ces conditions, les premiers juges ont considéré que le recourant avait, par son absence de surveillance et sa passivité, violé son devoir de diligence. Son inaction relevait ainsi de la négligence grave au sens de l'<ref-law>, en lien de causalité avec le dommage subi.
3.2. Le recourant se prévaut d'une violation du droit fédéral (<ref-law>, 55 CC, 50 et 754 CO). Reprenant les griefs qu'il avait soulevés en première instance, il allègue que D._ avait pris des décisions sans le consulter, respectivement sans apposer sa signature. Il soutient qu'il n'était pas en charge de la gestion de la société faillie et qu'il n'avait pas de pouvoir de représentation. Dans ces conditions, le recourant ne voit pas en quoi on pourrait lui reprocher d'avoir causé un dommage à la caisse intimée, puisqu'il résulterait des seuls agissements de D._.
Par ailleurs, le recourant allègue qu'il n'avait pas les compétences et les connaissances pour gérer une société ainsi spoliée, respectivement identifier et/ou exercer une surveillance de ses activités, dès lors que des actes délictueux avaient été commis à son insu. Il soutient qu'on ne peut lui reprocher de n'avoir pas vérifié que le président du conseil d'administration n'outrepassait pas ses pouvoirs, ce d'autant qu'il n'avait pas de connaissances en la matière.
Le recourant demande aussi au Tribunal fédéral de nier le rapport de causalité entre sa passivité et le dommage subi par la caisse de compensation. A son avis, il ne fait aucun doute qu'il n'aurait pas décelé les irrégularités dans la gestion de l'entreprise si les comptes et documents administratifs lui avaient néanmoins été présentés, puisqu'il n'avait pas de compétences en la matière et qu'il avait été abusé. Citant divers avis de doctrine, il demande au Tribunal fédéral de revenir sur la jurisprudence développée en matière de responsabilité de l'employeur au sens de l'<ref-law>, qu'il estime être d'une extrême sévérité.
Dans un dernier moyen, le recourant se prévaut d'une violation de son droit d'être entendu. En particulier, il reproche aux premiers juges d'avoir écarté ses requêtes de preuve qui avaient pour but de démontrer le rôle effectif qu'il avait joué au sein de la société C._ SA du 14 août 2008 au 14 janvier 2011.
3.3. Le recourant a été inscrit au Registre du commerce en tant qu'administrateur de la société C._ SA. A ce titre, il était organe de plein droit de la société et devait assumer les tâches prescrites par la loi (<ref-law>). L'argumentation du recourant n'est pas conforme à la portée de l'<ref-law> et de la jurisprudence y relative. En effet, en sa qualité d'administrateur, il lui incombait de veiller personnellement à ce que les cotisations paritaires afférentes aux salaires versés fussent effectivement payées à la caisse de compensation, nonobstant le mode de répartition interne des tâches au sein la société. Un administrateur d'une société anonyme ne peut se libérer de cette responsabilité en se bornant à soutenir qu'il faisait confiance à un employé chargé de régler les cotisations sociales à la caisse de compensation, car cela constitue déjà en soi un cas de négligence grave. La jurisprudence s'est toujours montrée constante, lorsqu'il s'est agi d'apprécier la responsabilité d'administrateurs qui alléguaient avoir été exclus de la gestion d'une société et qui s'étaient accommodés de ce fait sans autre forme de procès (parmi d'autres: arrêt 9C_289/2009 du 19 mai 2010 consid. 6.2 et les références).
Dans le cas d'espèce, le recourant reconnaît avoir été un "homme de paille". Une telle situation est précisément inadmissible, car celui qui se déclare prêt à assumer ou à conserver un mandat d'administrateur d'une société anonyme, tout en sachant qu'il ne pourra pas le remplir consciencieusement, viole son obligation de diligence (<ref-ruling> consid. 3b p. 200; RDAT 1993, I, p. 374 consid. 6). En n'exerçant aucune surveillance, le recourant a donc commis une négligence qui doit, sous l'angle de l'<ref-law>, être qualifiée de grave (<ref-ruling> consid. 2b p. 3). On rappellera aussi que le fait de ne pas être en mesure d'exercer ses fonctions, parce que la personne morale est dirigée en fait par d'autres personnes, ou d'accepter un mandat à titre fiduciaire, ne constitue pas un motif de suppression ou d'atténuation de la faute commise (JEAN-FRANÇOIS EGLI, Aperçu de la jurisprudence récente du Tribunal fédéral relative à la responsabilité des administrateurs de société anonyme, in Publication CEDIDAC 8, 1987, p. 32). En bref, la carence du recourant (cura in custodiendo) tombe sous le coup de l'<ref-law> et sa responsabilité dans le préjudice subi par la caisse s'en trouve aussi engagée. Contrairement à ce que demande le recourant, il n'y a aucun motif de revenir sur cette jurisprudence constante.
Quant au grief tiré de la violation du droit du recourant d'être entendu, résultant du refus des premiers juges de lui permettre de démontrer le rôle effectif qu'il avait joué au sein de la société C._, il est dépourvu de tout fondement. En effet, le recourant ne peut se libérer de sa responsabilité envers la caisse intimée en alléguant ou en cherchant à établir qu'il n'était qu'un homme de paille (voir la décision H 289/99 du 10 janvier 2000 du Tribunal fédéral des assurances).
4.
Le recourant, qui succombe, supportera les frais de la procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 31 mai 2016
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Glanzmann
Le Greffier : Berthoud