A.- La société X._ SA était affiliée à la Caisse de compensation de la Société suisse des entrepreneurs (ci-après : la caisse). Son conseil d'administration était formé de B._, président, et A._, secrétaire. Le 23 mai 1997, elle a obtenu un sursis concordataire en vue d'un concordat-dividende. La publication a eu lieu le 4 juin suivant dans la Feuille officielle suisse du commerce (FOSC). Par ordonnance du 5 novembre 1997, le président du Tribunal I du district de Porrentruy a prolongé de six mois la procédure de sursis concordataire. Le 5 mai 1998, le commissaire au sursis a sollicité une nouvelle prolongation de trois mois, en indiquant que la procédure concordataire en cours devait être transformée en une procédure concordataire par abandon d'actif. Après avoir, par ordonnance du 6 mai 1998, invité les créanciers à se prononcer, le président du Tribunal I, par ordonnance du 20 mai 1998, a accordé une prolongation jusqu'au 23 août 1998. Par publication dans la FOSC du 5 juin 1998, les créanciers ont été informés du dépôt du projet de concordat dès le 22 juin suivant chez le commissaire au sursis, où il pouvait être consulté. En outre, ils étaient convoqués à l'assemblée des créanciers fixée au 15 juillet 1998. Par courrier du 30 juin 1998, le commissaire au sursis a informé personnellement les créanciers de la date de l'assemblée des créanciers et leur a communiqué un rapport avec une proposition concordataire. Le 16 septembre 1998, le président du Tribunal I a homologué le concordat par abandon d'actif. La caisse a produit des créances pour un montant de 43 140 fr. 40, somme qui a été colloquée entièrement en troisième classe. Un dividende situé entre 11 et 23 % a été proposé aux créanciers de ladite classe. Par des décisions du 30 juin 1999, la caisse a réclamé à B._ et A._ le paiement de la somme de 42 074 fr. 35, montant représentant les cotisations AVS/AI/APG/AC encore dues, frais d'administration, de poursuite et intérêt moratoire compris. B.- B._ et A._ ayant formé opposition, la caisse a porté le cas devant la Chambre des assurances du Tribunal cantonal du canton du Jura, en concluant à la condamnation des opposants au paiement du montant précité. Après avoir ordonné la jonction des procédures, la juridiction cantonale a condamné solidairement les défendeurs au paiement de la somme de 42 074 fr. 35, sous déduction du dividende à percevoir dans le cadre de la liquidation du concordat (jugement du 21 août 2000). C.- B._ et A._ interjettent recours de droit administratif en concluant, sous suite de frais et dépens, à l'annulation du jugement entrepris. La caisse intimée et l'Office fédéral des assurances sociales n'ont pas présenté de détermination.