A.- La société X._ SA était affiliée à la Caisse de compensation de la Société suisse des entrepreneurs (ci-après : la caisse). Son conseil d'administration était formé de B._, président, et A._, secrétaire.
Le 23 mai 1997, elle a obtenu un sursis concordataire en vue d'un concordat-dividende. La publication a eu lieu le 4 juin suivant dans la Feuille officielle suisse du commerce (FOSC).
Par ordonnance du 5 novembre 1997, le président du Tribunal I du district de Porrentruy a prolongé de six mois la procédure de sursis concordataire.
Le 5 mai 1998, le commissaire au sursis a sollicité une nouvelle prolongation de trois mois, en indiquant que la procédure concordataire en cours devait être transformée en une procédure concordataire par abandon d'actif. Après avoir, par ordonnance du 6 mai 1998, invité les créanciers à se prononcer, le président du Tribunal I, par ordonnance du 20 mai 1998, a accordé une prolongation jusqu'au 23 août 1998.
Par publication dans la FOSC du 5 juin 1998, les créanciers ont été informés du dépôt du projet de concordat dès le 22 juin suivant chez le commissaire au sursis, où il pouvait être consulté. En outre, ils étaient convoqués à l'assemblée des créanciers fixée au 15 juillet 1998. Par courrier du 30 juin 1998, le commissaire au sursis a informé personnellement les créanciers de la date de l'assemblée des créanciers et leur a communiqué un rapport avec une proposition concordataire.
Le 16 septembre 1998, le président du Tribunal I a homologué le concordat par abandon d'actif. La caisse a produit des créances pour un montant de 43 140 fr. 40, somme qui a été colloquée entièrement en troisième classe.
Un dividende situé entre 11 et 23 % a été proposé aux créanciers de ladite classe.
Par des décisions du 30 juin 1999, la caisse a réclamé à B._ et A._ le paiement de la somme de 42 074 fr. 35, montant représentant les cotisations AVS/AI/APG/AC encore dues, frais d'administration, de poursuite et intérêt moratoire compris.
B.- B._ et A._ ayant formé opposition, la caisse a porté le cas devant la Chambre des assurances du Tribunal cantonal du canton du Jura, en concluant à la condamnation des opposants au paiement du montant précité.
Après avoir ordonné la jonction des procédures, la juridiction cantonale a condamné solidairement les défendeurs au paiement de la somme de 42 074 fr. 35, sous déduction du dividende à percevoir dans le cadre de la liquidation du concordat (jugement du 21 août 2000).
C.- B._ et A._ interjettent recours de droit administratif en concluant, sous suite de frais et dépens, à l'annulation du jugement entrepris.
La caisse intimée et l'Office fédéral des assurances sociales n'ont pas présenté de détermination.

Considérant en droit :
1.- La décision litigieuse n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
2.- A l'appui de leurs conclusions, les recourants font valoir que le droit de l'intimée de réclamer la réparation du dommage est périmé.
a) L'<ref-law> règle la prescription du droit de la caisse de compensation de demander la réparation du dommage.
Un tel droit se prescrit lorsque la caisse ne le fait pas valoir par une décision de réparation dans l'année après qu'elle a eu connaissance du dommage et, en tout cas, à l'expiration d'un délai de cinq ans à compter du fait dommageable (al. 1). Lorsque ce droit dérive d'un acte punissable soumis par le code pénal à un délai de prescription de plus longue durée, ce délai est applicable (al. 2).
En dépit de la terminologie dont use l'<ref-law>, les délais institués par cette norme ont un caractère péremptoire (<ref-ruling> consid. 3b, 119 V 92 consid. 3, 118 V 195 consid. 2b et les références).
Par moment de la "connaissance du dommage" au sens de l'<ref-law>, il faut entendre, en règle générale, le moment où la caisse de compensation aurait dû se rendre compte, en faisant preuve de l'attention raisonnablement exigible, que les circonstances effectives ne permettaient plus d'exiger le paiement des cotisations, mais pouvaient entraîner l'obligation de réparer le dommage (<ref-ruling> consid. 3b, 119 V 92 consid. 3, 118 V 195 consid. 3a et les références).
b) La jurisprudence considère que le créancier qui entend demander la réparation d'une perte qu'il subit dans une faillite ou un concordat par abandon d'actif connaît suffisamment son préjudice, en règle ordinaire, lorsqu'il est informé de sa collocation dans la liquidation. La partie lésée peut toutefois, en raison de circonstances spéciales, acquérir la connaissance nécessaire avant le dépôt de l'état de collocation. Ainsi, dès lors que son devoir de diligence lui commande de suivre l'évolution de la procédure de faillite, on peut exiger d'une caisse qu'elle assiste ou se fasse représenter à la première assemblée des créanciers ou, du moins, qu'elle requière le procès verbal de cette assemblée et le rapport du préposé (arrêt B. du 14 décembre 2000, H 283/99, destiné à la publication [cf.
VSI 2001, p. 97]).
Selon la jurisprudence, même la connaissance d'un dommage partiel est suffisante pour faire courir le délai prévu à l'<ref-law> (<ref-ruling> consid. 3c/bb).
3.- a) En l'occurrence, la juridiction cantonale a considéré que la caisse avait eu connaissance du dommage le 2 juillet 1998, date à laquelle elle a reçu la lettre du commissaire au sursis du 30 juin précédent, dont les annexes comprenaient une proposition de concordat. Aux termes de cette proposition, la caisse pouvait envisager recouvrer un dividende situé entre 11 et 23 % de sa créance de troisième classe.
De leur côté, les recourants allèguent que la caisse devait avoir eu connaissance du dommage le 28 mai 1997, date de la publication dans la FOSC du sursis concordataire accordé le 23 mai précédent. En effet, en sa qualité de titulaire d'une créance devant être colloquée en troisième classe (cf. <ref-law>, dans sa teneur - applicable en l'espèce - en vigueur du 1er janvier 1997 au 31 décembre 2000), la caisse devait déjà savoir à ce moment-là qu'elle ne pourrait recouvrer la totalité de sa créance de cotisation.
A tout le moins, elle aurait dû avoir connaissance du dommage au plus tard le 5 novembre 1997 ou le 20 mai 1998, dates auxquelles le juge a accordé la prolongation du sursis concordataire.
b) Le point de vue de la juridiction cantonale, selon lequel l'intimée n'a eu connaissance du dommage que le 2 juillet 1998 ne saurait être partagé.
Dans son ordonnance de prolongation du sursis concordataire du 20 mai 1998, notifiée à tous les créanciers, le juge a notamment relevé ce qui suit :
"Vu le rapport du commissaire au sursis du 15 mai 1998, requis par le soussigné, aux termes duquel il ressort que si X._ SA devait tomber en faillite, les créanciers de troisième classe ne toucheraient aucun dividende; que, par contre, l'aboutissement d'un concordat par abandon d'actif permettrait d'obtenir un montant équivalent à un dividende de 20 % environ, voire plus dans la mesure où les tractations menées avec la Banque Y._ aboutiraient favorablement. ..".
Dans la mesure où il ne mentionne pas ce fait, le jugement entrepris repose sur une constatation incomplète des faits pertinents, à laquelle le Tribunal fédéral des assurances doit remédier (art. 105 al. 2 OJ; cf. consid. 1). Or, à réception de l'ordonnance précitée, l'intimée devait se rendre compte qu'elle subirait un dommage. En effet, même en cas d'aboutissement des tractations auxquelles il est fait allusion, la caisse devait s'attendre à perdre la plus grande partie de sa créance de cotisation.
Aussi, doit-on admettre qu'à réception de l'ordonnance de prolongation du sursis concordataire du 20 mai 1998, elle avait une connaissance suffisante du dommage. Dans la mesure où la caisse ne l'a fait valoir que par des décisions du 30 juin 1999, son droit à la réparation du dommage subi était dès lors périmé.
Cela étant, la juridiction cantonale n'était pas fondée à condamner B._ et A._ au paiement de la somme de 42 074 fr. 35 à titre de réparation du dommage subi par la caisse ensuite du non-paiement des cotisations encore dues par la société X._ SA. Le recours se révèle ainsi bien fondé.
4.- La procédure n'est pas gratuite (art. 134 OJ a contrario). La caisse, qui succombe, supportera les frais de justice (art. 156 al. 1 en liaison avec l'art. 135 OJ).
Les recourants, qui obtiennent gain de cause, sont représentés par un avocat. Ils ont droit à une indemnité de dépens pour l'instance fédérale (art. 159 al. 1 en relation avec l'art. 135 OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis et le jugement du Tribunal cantonal
du canton du Jura du 21 août 2000 est annulé.
II. Les frais de justice, d'un montant de 3500 fr., sont mis à la charge de l'intimée.
III. Les avances de frais versées par les recourants, d'un
montant de 3500 fr. chacun, leur sont restituées.
IV. L'intimée versera aux recourants la somme de 2500 fr.
(y compris la taxe à la valeur ajoutée) à titre de
dépens pour l'instance fédérale.
V. Le Tribunal cantonal du canton du Jura statuera sur
les dépens pour la procédure de première instance, au
regard de l'issue du procès de dernière instance.
VI. Le présent arrêt sera communiqué aux parties, au Tribunal cantonal du canton du Jura, Chambre des assurances, et à l'Office fédéral des assurances
sociales.
Lucerne, le 4 mai 2001
Au nom du
Tribunal fédéral des assurances
p. le Président de la IIe Chambre :
Le Greffier :