A.- Par deux décisions du 17 juin 1997, la Caisse de compensation CICICAM (la caisse) a informé G._ et P._ qu'elle les rendait responsables du préjudice (perte de cotisations paritaires) qu'elle avait subi à la suite de l'ajournement de la faillite de la société X._ SA à La Chaux-de-Fonds, survenue le 9 septembre 1996, et qu'elle leur en demandait réparation, conjointement et solidairement, jusqu'à concurrence de 106 663 fr. 65. B.- Les prénommés ayant formé opposition, la caisse a porté le cas devant le Tribunal administratif du canton de Neuchâtel, le 11 septembre 1997, en concluant à ce que les défendeurs fussent condamnés à lui payer la somme précitée. Par jugement du 9 février 1998, la Cour cantonale a adjugé entièrement ses conclusions à la caisse, tout en réservant la rétrocession aux défendeurs par la demanderesse du dividende éventuellement perçu par elle dans la procédure concordataire. Ce jugement a été annulé par arrêt du Tribunal fédéral des assurances du 17 décembre 1998 (H 83/98), qui a renvoyé la cause aux premiers juges afin qu'ils administrent diverses preuves et statuent à nouveau. Les 29 juin et 16 août 1999, la juridiction cantonale a entendu les cinq témoins requis par les défendeurs, soit le comptable de la société X._ SA, les deux curateurs puis commissaires au sursis, et deux responsables du Crédit Suisse. Par jugement du 11 février 2000, le Tribunal administratif a admis la demande jusqu'à concurrence de 84 192 fr. 85, la caisse ayant perçu un dividende concordataire de 22 470 fr. 80. C.- G._ et P._ interjettent recours de droit administratif contre ce jugement dont ils demandent l'annulation, sous suite de frais et dépens, en concluant principalement au rejet de la demande de la caisse, et subsidiairement au renvoi de la cause aux premiers juges pour instruction complémentaire et nouvelle décision. La caisse intimée conclut au rejet du recours. L'Office fédéral des assurances sociales ne s'est pas déterminé.