A.- a) Par décision du 16 décembre 1997, la Caisse cantonale valaisanne de compensation (la caisse) a informé T._ qu'elle le rendait responsable du préjudice qu'elle avait subi dans la faillite de la société X._ SA survenue le 19 novembre 1996 (perte de cotisations paritaires), et qu'elle lui en demandait réparation jusqu'à concurrence de 31 189 fr. 25.
T._ s'est opposé à cette décision, par lettre du 23 décembre 1997.
La caisse a porté le cas devant le Tribunal des assurances du canton du Valais, le 19 janvier 1998, en concluant à ce que le défendeur fût condamné à lui payer le montant précité.
Par jugement du 3 décembre 1998, la cour cantonale a statué, admettant la demande dirigée contre T._ et condamnant celui-ci à payer la somme de 31 189 fr. 25 à la demanderesse, sans donner l'occasion au défendeur de s'exprimer sur une écriture complémentaire de la caisse du 26 janvier 1998.
Par arrêt du 3 août 1999, le Tribunal fédéral des assurances a admis le recours de droit administratif interjeté par T._, annulé le jugement entrepris (sans examen au fond) et renvoyé la cause au Tribunal des assurances du canton du Valais pour qu'il donne au prénommé l'occasion de dupliquer.
Répondant à l'invitation de l'autorité cantonale, T._ s'est déterminé par écriture du 6 septembre 1999.
Dans le cadre de l'instruction, la cour cantonale a requis le dossier pénal le concernant.
b) Par jugement du 15 septembre 1999 le Juge II du district de Sion a acquitté T._ des chefs d'accusation de gestion déloyale et de gestion fautive retenus contre lui par le Ministère public du Valais central. Selon les termes de ce jugement "l'autorité de céans a finalement acquitté T._, son ignorance de la situation et l'absence de dessein délictueux interdisant toute condamnation.
Sur le plan civil, T._ n'a toutefois pas su assumer ses responsabilités d'administrateur et a, par sa passivité, causé la faillite de la société. Il a du reste expressément reconnu ses torts" (p. 42 du jugement pénal).
B.- Par jugement du 28 décembre 1999, le Tribunal des assurances du canton du Valais a admis la demande de réparation du dommage présentée le 19 janvier 1998 par la caisse et levé l'opposition de T._, ce dernier étant reconnu débiteur d'un montant de 31 189 fr. 25 à l'endroit de la demanderesse.
C.- T._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, sous suite de frais et dépens. Il conclut à ce que la demande en réparation du dommage qui le concerne soit rejetée. La caisse conclut au rejet du recours. L'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- La décision litigieuse n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
2.- Les jugements du 3 décembre 1998 et du 28 décembre 1999 du Tribunal des assurances du canton du Valais exposent de manière exacte et complète les dispositions légales et réglementaires, ainsi que les principes jurisprudentiel applicables au présent cas. Sous réserve de certains rappels ou précisions, il suffit donc d'y renvoyer.
3.- Le recourant soulève tout d'abord le moyen tiré de la péremption du droit de la caisse de lui réclamer la réparation du dommage qu'elle invoque.
En l'espèce, l'intimée déclarait, dans sa demande en réparation du dommage, qu'elle a eu connaissance du fait que sa créance demeurerait impayée, le 17 décembre 1996, soit à la date de la première assemblée des créanciers (B.O. du Valais du 6 décembre 1996), de sorte qu'il y a lieu de retenir cette date comme point de départ du délai de péremption (<ref-ruling> consid. 3c/aa et les références).
En rendant sa décision le 16 décembre 1997, elle a donc agi dans le délai d'une année prévu par l'<ref-law>.
Par ailleurs, le recourant fait valoir - pour la première fois - que le justificatif postal attestant de l'envoi de la décision en réparation n'a pas été déposé en cause et que le respect du délai n'est donc pas établi. Dès lors que le pouvoir d'examen du Tribunal fédéral des assurances est limité par l'art. 105 al. 2 OJ, ce moyen, qui aurait dû être invoqué plus tôt, est irrecevable (<ref-ruling> consid. 1c ).
4.- a) Le recourant conteste toute responsabilité dans la survenance du dommage subi par l'intimée. Il fait valoir en substance que toute la gestion administrative était exercée par les deux actionnaires et directeurs, B._ et N._, qui l'ont tenu à l'écart des décisions sociales. Il allègue que, néanmoins, il s'est renseigné auprès de l'Office des Poursuites de Sion et a interrogé à plusieurs reprises les deux prénommés sur la marche de la société. Par ailleurs, il ressort du jugement pénal que B._ et N._ ont détourné à leur profit des sommes considérables, alors que lui-même a été acquitté. Ces constatations devaient lier le juge des assurances sociales. Le recourant considère dès lors comme choquant d'être la seule personne visée par la demande en réparation de la caisse. De surcroît, il allègue que cette dernière a violé les <ref-law> et 37 al. 2 RAVS en l'actionnant en justice, sans l'avertir préalablement.
b) aa) L'<ref-law> (en vigueur depuis le 1er juillet 1992) énumère les attributions intransmissibles et inaliénables des membres du conseil d'administration. En font partie l'exercice de la haute surveillance sur les personnes chargées de la gestion, pour s'assurer notamment qu'elles observent la loi, les règlements et les instructions données (chiffre 5). Dans le cadre de l'exercice de cette haute surveillance, l'administrateur répond notamment, comme sous le régime de l'ancien droit de la société anonyme, de la cura in custodiendo (Adrian Kammerer, Die unübertragbaren und unentziehbaren Kompetenzen des Verwaltungsrates, thèse Zurich 1997, p. 226). C'est ainsi qu'il a non seulement le devoir d'assister aux séances du conseil d'administration, mais également l'obligation de se faire renseigner périodiquement sur la marche des affaires (Kammerer, op. cit. , p. 186). Il est tenu de prendre les mesures appropriées lorsqu'il a connaissance ou aurait dû avoir connaissance d'irrégularités commises dans la gestion de la société (Forstmoser/Meier-Hayoz/Nobel, Schweizerisches Aktienrecht, § 30 note 49).
bb) Ainsi que l'ont retenu les premiers juges, le recourant a sans conteste violé ses devoirs d'administrateur unique en exerçant ce mandat sans contrôler l'activité des personnes chargées de la gestion, soit B._ et N._.
En n'exerçant aucune surveillance sur la gestion de la société et en ne se souciant pas - de son propre aveu - des relations de celle-ci avec les organes de l'AVS, en dépit d'une situation financière précaire, le recourant a commis une négligence qui, sous l'angle de l'<ref-law>, doit être qualifiée de grave (<ref-ruling> consid. 2b). En particulier, ses rares interventions mentionnées au consid. 4a ci-dessus ne sauraient être assimilées à l'exercice d'une activité de surveillance.
cc) La passivité du recourant, de surcroît, est en relation de causalité naturelle et adéquate avec le dommage. En effet, s'il avait correctement exécuté son mandat, il aurait pu veiller au paiement des cotisations d'assurance sociale, conformément aux obligations légales de la société (<ref-law> en corrélation avec les <ref-law>) ou, à tout moins, il aurait pu constater - vu l'importance des montants en jeu - que des cotisations étaient impayées et prendre les mesures qui s'imposaient.
S'il se trouvait dans l'incapacité de prendre ces mesures en raison de l'opposition des organes qui dirigeaient en fait la société, il devait alors démissionner de ses fonctions ou révoquer les directeurs défaillants (<ref-law>).
b) D'après la jurisprudence, les manquements de la caisse de compensation à des prescriptions élémentaires relatives à la fixation et à la perception des cotisations constituent une faute grave, concomitante à celle des administrateurs, qui justifie de réduire le montant du dommage, pour autant que celui-ci entre dans un rapport de causalité - notamment adéquate - avec le comportement illicite reproché (<ref-ruling> consid. 3c).
En l'espèce, contrairement à ce que soutient le recourant, il apparaît que la caisse a respecté la procédure de sommation prévue aux <ref-law> et 37 al. 2RAVS (cf. décisions de cotisations paritaires des 22 mai, 5 juin, 1er juillet et 3 septembre 1996, qui comportent toutes des taxes relatives à une sommation préalable).
Quant à la décision de cotisations paritaires du 10 décembre 1996, elle précédait d'une semaine la première assemblée générale des créanciers (17 décembre 1996), date à laquelle la caisse a appris que sa créance ne pourrait pas être payée. Une sommation préalable aurait été vouée au même insuccès que les démarches antérieures (voir en ce sens <ref-law>). Exiger une sommation dans ces circonstances aurait de toute évidence constitué un formalisme excessif (arrêts non publiés D. du 7 août 1997, H 326/96 et Y. du 30 juin 1972, H 100/71). Par ailleurs, il n'incombait pas à la caisse d'avertir le recourant de son intention de lui demander la réparation du dommage qu'elle subirait en raison de l'insolvabilité de la société.
5.- Selon la jurisprudence, s'il existe une pluralité de responsables, la caisse de compensation jouit d'un concours d'actions et le rapport interne entre les coresponsables ne la concerne pas; elle ne peut prétendre qu'une seule fois à la réparation du dommage, chacun des débiteurs répondant solidairement envers elle de l'intégralité du dommage et il lui est loisible de rechercher tous les débiteurs, quelques-uns ou un seul d'entre eux, à son choix (<ref-ruling> consid. 5a).
Le moyen tiré du nouvel <ref-law> que fait valoir le recourant doit également être écarté. En effet, cette disposition ne saurait trouver application dans le cadre de la responsabilité de l'<ref-law>, pour justifier une réduction de l'étendue de la réparation en relation avec la gravité de la faute du responsable (VSI 1996 p. 309 consid. 6).
Le fait que le recourant a été libéré des chefs d'accusation pénaux retenus contre lui, alors que B._ et N._ ont été reconnus coupables de gestion déloyale, de gestion fautive et de violations de la LAVS, n'y change rien.
En effet, l'examen de la responsabilité sous l'angle de l'<ref-law> ne répond pas aux mêmes critères que celui de la culpabilité au sens du droit pénal (<ref-ruling> sv. consid. 5a et les références). Il n'est par conséquent pas déterminant en l'espèce que le recourant n'ait fait l'objet d'aucune condamnation pénale. Le juge pénal opérait d'ailleurs lui-même cette distinction dans son jugement du 15 septembre 1999 (cf. état de fait A/b).
6.- En ce qui concerne le montant du dommage retenu par les premiers juges, il n'apparaît pas contestable et il n'est du reste pas discuté par le recourant.
Sur le vu de de qui précède, le recours est mal fondé.
7.- Compte tenu de l'issue du litige, les frais de la procédure, qui n'est pas gratuite en l'occurrence (art. 134 OJ a contrario), seront supportés par le recourant.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Les frais de la cause, consistant en un émolument de justice de 3000 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais, d'un même
montant, qu'il a versée.
III. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton du Valais et à l'Office fédéral des assurances sociales.
Lucerne, le 28 août 2000
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
La Greffière :