A.- Le 14 juillet 1997, la société D._ SA, dont H._ est l'administrateur unique depuis 1992, a obtenu un sursis concordataire d'une durée de six mois.
Le 4 décembre 1997, elle proposait à ses créanciers, parmi lesquels figurait la Caisse cantonale valaisanne de compensation (ci-après : la caisse), un concordat prévoyant de leur verser un dividende de 10 %, pour solde de compte.
Faute d'un nombre suffisant d'adhésions, le juge du district de Monthey en a refusé l'homologation. Il a prononcé la faillite de la société le 16 mars 1998.
La caisse a produit une créance de 31 219 fr. relative aux cotisations AVS/AI/APG/AC impayées pour la période de janvier à juillet 1997 ainsi qu'à un solde de cotisations pour l'année 1996, y compris les intérêts moratoires. Le 27 novembre 1998, elle a pris une décision de réparation du dommage par laquelle elle réclamait à H._ le paiement de 31 219 fr., sous déduction d'un éventuel dividende à percevoir dans la faillite de la société.
B.- Le prénommé ayant fait opposition à cette décision, la caisse a porté le cas devant le Tribunal des assurances du canton du Valais. Par jugement du 21 août 2000, la juridiction cantonale a condamné l'ancien administrateur de D._ SA à payer à la caisse le montant de 31 219 fr.
C.- H._ interjette un recours de droit administratif contre ce jugement en concluant, sous suite de frais et dépens, à sa réforme et au rejet de la demande de la caisse. Celle-ci conclut au rejet du recours, alors que l'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- La décision litigieuse n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
2.- Le recourant soulève tout d'abord le moyen tiré de la péremption du droit de la caisse à lui demander la réparation du dommage qu'elle a subi. D'après lui, elle connaissait son dommage depuis le 14 août 1997 déjà; en effet, elle lui a écrit à cette date qu'elle ne pourrait pas adhérer sans réserve au concordat, dans la mesure où cela lui ferait perdre ses droits contre les organes de D._ SA, découlant de l'art. 52 LAVS.
a) L'art. 82 RAVS règle la prescription du droit de la caisse de compensation de demander la réparation du dommage.
Un tel droit se prescrit lorsque la caisse ne le fait pas valoir par une décision de réparation dans l'année après qu'elle a eu connaissance du dommage et, en tout cas, à l'expiration d'un délai de cinq ans à compter du fait dommageable (al. 1). Lorsque ce droit dérive d'un acte punissable soumis par le code pénal à un délai de prescription de plus longue durée, ce délai est applicable (al. 2).
En dépit de la terminologie dont use l'art. 82 RAVS, les délais institués par cette norme ont un caractère péremptoire (<ref-ruling> consid. 3b, 119 V 92 consid. 3, 118 V 195 consid. 2b et les références).
Par moment de la "connaissance du dommage" au sens de l'art. 82 al. 1 RAVS, il faut entendre, en règle générale, le moment où la caisse de compensation aurait dû se rendre compte, en faisant preuve de l'attention raisonnablement exigible, que les circonstances effectives ne permettaient plus d'exiger le paiement des cotisations, mais pouvaient entraîner l'obligation de réparer le dommage (<ref-ruling> consid. 3b, 119 V 92 consid. 3, 118 V 195 consid. 3a et les références). En règle ordinaire, lorsque le dommage résulte d'une faillite, ce moment coïncide avec celui où la caisse est informée de sa collocation dans la liquidation. Toutefois, la caisse peut, en raison de circonstances spéciales, acquérir cette connaissance avant le dépôt de l'état de collocation, par exemple à l'occasion d'une assemblée des créanciers où elle apprend qu'aucun dividende ne sera distribué aux créanciers de sa classe (<ref-ruling> sv. consid. 3a-b); de même peut-il être exigé d'elle qu'elle se renseigne sur les motifs ayant conduit au refus d'homologation d'un concordat (VSI 1995 p. 169).
b) La correspondance dont fait état le recourant ne démontre pas que l'intimée disposait d'informations particulières sur les comptes de D._ SA en août 1997.
Tout au plus peut-on en déduire qu'elle n'entendait pas renoncer à ses droits contre les organes de la société, dans l'hypothèse où elle subirait un dommage dans le cadre du concordat. Cela ne suffit pas à considérer que la caisse connaissait son dommage, ou pouvait le connaître en faisant preuve de l'attention raisonnablement exigible.
Ce n'est qu'en recevant le bilan concordataire de la société, en décembre 1997, qu'elle disposait d'informations suffisantes pour pouvoir se déterminer. Sa décision du 28 novembre 1998 a donc été rendue avant l'échéance du délai d'une année dès la connaissance du dommage.
3.- a) La condition essentielle de l'obligation de réparer le dommage consiste, selon le texte même de l'art. 52 LAVS, dans le fait que l'employeur a, intentionnellement ou par négligence grave, violé les prescriptions et ainsi causé un préjudice. L'intention et la négligence constituent différentes formes de la faute. L'art. 52 LAVS consacre en conséquence une responsabilité pour faute résultant du droit public. Il n'y a obligation de réparer le dommage, dans un cas concret, que s'il n'existe aucune circonstance justifiant le comportement fautif de l'employeur ou excluant l'intention et la négligence grave.
A cet égard, on peut envisager qu'un employeur cause un dommage à la caisse de compensation en violant intentionnellement les prescriptions en matière d'AVS, sans que cela entraîne pour autant une obligation de réparer le préjudice.
Tel est le cas lorsque l'inobservation des prescriptions apparaît, au vu des circonstances, comme légitime et non fautive (<ref-ruling> consid. 1b, 193 consid. 2b; RCC 1985 p. 603 consid. 2, 647 consid. 3a). Ainsi, il peut arriver qu'en retardant le paiement de cotisations, l'employeur parvienne à maintenir son entreprise en vie, par exemple lors d'une passe délicate dans la trésorerie.
Mais il faut alors, pour qu'un tel comportement ne tombe pas ultérieurement sous le coup de l'art. 52 LAVS, que l'on puisse admettre que l'employeur avait, au moment où il a pris sa décision, des raisons sérieuses et objectives de penser qu'il pourrait s'acquitter des cotisations dues dans un délai raisonnable (<ref-ruling>; RCC 1992 p. 261 consid. 4b).
b) aa) Le recourant conteste que le dommage subi par l'intimée puisse lui être imputé à faute, bien qu'il n'ait pas veillé au paiement des cotisations sociales dues par D._ SA à l'intimée pendant la période litigieuse. Il fait valoir que cette société a rencontré des difficultés financières dès la fin du mois d'avril 1996, mais que d'importants investissements personnels lui permettaient d'espérer un prochain assainissement. D'après lui, ce n'est qu'à partir du mois de mars 1997 qu'il pouvait douter du règlement intégral des cotisations en souffrance; en effet, l'établissement bancaire, principal créancier de la société, avait dénoncé, pour le 28 février 1997, les crédits dont elle bénéficiait jusqu'alors. Le recourant expose avoir ensuite maintenu l'entreprise en activité pendant une courte période seulement, tout en faisant son possible pour rembourser sa dette envers l'intimée. A cet égard, il allègue lui avoir versé, le 9 juin 1997, un montant de 62 749 fr. 25 représentant un arriéré de cotisations dues pour l'année 1996.
bb) De telles circonstances ne sont pas de nature à légitimer le comportement du recourant. En effet, il en ressort que D._ SA ne faisait pas face à un défaut temporaire de liquidités dû à la subite dénonciation d'un crédit bancaire, mais à des difficultés financières qui se sont étendues sur de nombreux mois, au point que la société avait déjà un important retard dans le paiement des cotisations AVS/AI/APG/AC au début de l'année 1997. A ce moment, elle ne parvenait toujours pas, non seulement à régler sa dette envers l'intimée, mais encore à assumer les cotisations courantes, malgré les investissements personnels du recourant. Ce dernier a ainsi maintenu son entreprise en activité sans pouvoir faire valoir de perspectives concrètes d'assainissement; dans ce contexte, la dénonciation, pour le 28 février 1997, des crédits bancaires dont avait bénéficié la société n'est que la conséquence d'une situation financière précaire depuis plusieurs mois. Partant, il lui appartient de supporter le dommage qu'il a causé fautivement à l'intimée.
4.- Compte tenu de l'issue du litige, les frais de la procédure, qui n'est pas gratuite en l'occurrence (art. 134 OJ a contrario), seront supportés par le recourant.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Les frais de la cause, consistant en un émolument de justice de 3000 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais, d'un même
montant, qu'il a versée.
III. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton du Valais et à l'Office fédéral des assurances sociales.
Lucerne, le 30 avril 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIe Chambre :
Le Greffier :