A.- La société X._ SA était affiliée à la Caisse interprofessionnelle d'AVS de la Fédération romande des syndicats patronaux (ci-après : la caisse). Son conseil d'administration était composé de A._, président, et de B._, administrateur, tous deux au bénéfice de la signature individuelle.
Dès le mois de mars 1987, la société a accumulé du retard dans le paiement des cotisations dues à la caisse. Entre 1988 et 1991, cette dernière lui a ainsi notifié une quinzaine de commandements de payer. Au mois de juin 1990, la caisse a également déposé plainte pénale contre les deux administrateurs. Par jugement du 18 octobre 1994, le Tribunal de police du canton de Genève a toutefois acquitté A._ et B._ du chef d'accusation de détournement de cotisations AVS. Entre-temps, le 23 août 1991, X._ SA a été déclarée en faillite par le Tribunal de première instance du canton de Genève. La liquidation de la société a été suspendue le 24 octobre 1994 et la faillite clôturée par défaut d'actifs le 12 décembre 1994.
Par deux décisions du 19 septembre 1995, la caisse a réclamé à A._ et à B._ un montant de 29 165 fr., somme correspondant au dommage subi par elle ensuite de la faillite de X._ SA.
La notification de la décision concernant A._ s'est révélée infructueuse, l'intéressé ayant quitté la Suisse sans laisser d'adresse. Quant au pli adressé à B._, remis à la poste le 18 septembre 1995 et indiquant l'ancienne adresse du prénommé, il a été renvoyé par l'office postal destinataire avec la mention "a déménagé; délai de réexpédition expiré". Après avoir eu connaissance de sa nouvelle adresse, la caisse lui a communiqué, le 14 novembre 1995, une nouvelle décision de même teneur que la précédente. Le 24 décembre 1995, B._ a fait opposition contre cette décision.
B.- La caisse a porté le cas devant la Commission cantonale genevoise de recours en matière d'assurance-vieillesse, survivants et invalidité (ci-après : la commission), en concluant, préalablement, à l'irrecevabilité (pour cause de tardiveté) de l'opposition formée par B._ et, principalement, à ce que ce dernier fût condamné à lui payer la somme de 29 165 fr.
Par jugement du 31 mars 2000, la commission a déclaré l'opposition de l'intéressé recevable et admis la demande de la caisse dans sa totalité.
C.- B._ interjette recours de droit administratif contre ce jugement dont il requiert l'annulation, en concluant au rejet de la demande de la caisse.
La caisse conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- La décision litigieuse n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
2.- Le recourant soulève tout d'abord le moyen tiré de la péremption du droit de la caisse de lui réclamer la réparation du dommage qu'elle invoque. Selon lui, c'est à tort que la commission a estimé que la caisse avait respecté le délai d'une année prévu par l'<ref-law>. En effet, dans la mesure où le pli contenant la décision du 19 septembre 1995 ne l'avait pas atteint, ce n'est que par l'envoi de la décision du 14 novembre 1995 que la caisse lui avait valablement notifié sa demande en réparation. Or à ce moment-là, le délai de péremption était déjà échu. En tout état de cause, la décision du 19 septembre 1995 devait être considéré comme nulle : d'une part, elle avait été remplacée par une nouvelle décision du 14 novembre 1995 et, d'autre part, elle était postdatée.
3.- a) L'<ref-law> règle la prescription du droit de la caisse de compensation de demander la réparation du dommage. Un tel droit se prescrit lorsque la caisse ne le fait pas valoir par une décision de réparation dans l'année après qu'elle a eu connaissance du dommage et, en tout cas, à l'expiration d'un délai de cinq ans à compter du fait dommageable (al. 1). Lorsque ce droit dérive d'un acte punissable soumis par le code pénal à un délai de prescription de plus longue durée, ce délai est applicable (al. 2).
En dépit de la terminologie dont use l'<ref-law>, les délais institués par cette norme ont un caractère péremptoire (<ref-ruling> consid. 3b, 119 V 92 consid. 3, 118 V 195 consid. 2b et les références).
Par moment de la "connaissance du dommage" au sens de l'<ref-law>, il faut entendre, en règle générale, le moment où la caisse de compensation aurait dû se rendre compte, en faisant preuve de l'attention raisonnablement exigible, que les circonstances effectives ne permettaient plus d'exiger le paiement des cotisations, mais pouvaient entraîner l'obligation de réparer le dommage (<ref-ruling> consid. 3b, 119 V 92 consid. 3, 118 V 195 consid. 3a et les références).
Lorsque la liquidation de la faillite est suspendue faute d'actifs, le délai d'une année court à partir de la publication de la suspension (RCC 1990 p. 306 consid. 4c/bb).
b) En l'espèce, la suspension de la liquidation de X._ SA ayant été publiée le 24 octobre 1994, il est constant que la notification de la décision du 14 novembre 1995, intervenue le 23 novembre 1995, n'a pas eu lieu dans le délai d'une année dès la connaissance du dommage.
Il convient donc d'examiner si la caisse a fait valoir en temps utile son droit de demander la réparation du dommage en déposant sa première décision (du 19 septembre 1995) à un bureau de poste le 18 septembre 1995, bien que le pli ait été renvoyé à l'expéditeur parce qu'il indiquait une adresse erronée.
4.- a) Selon la jurisprudence, le délai pour faire valoir une créance en réparation du dommage est sauvegardé par la remise en temps utile de la décision en réparation à un bureau de poste et non par sa notification régulière au destinataire. Du moment que le prononcé d'une décision de réparation du dommage est l'unique moyen d'éviter la péremption du droit et qu'au moment du prononcé de cette décision, il n'existe en principe aucun litige ni aucune procédure en cours entre la caisse et la personne tenue à réparation, le respect du délai de péremption dépend dès lors uniquement des mesures entreprises par la caisse et non de circonstances en rapport avec le fonctionnement de la poste ou de l'attitude du destinataire, sur laquelle la caisse n'a aucune influence. Celle-ci fait donc valoir son droit en temps utile au sens de l'<ref-law>, lorsqu'elle remet la décision en réparation du dommage à la poste dans l'année après qu'elle a eu connaissance du dommage et, en tout cas, avant l'expiration d'un délai de cinq ans à compter du fait dommageable, les délais de prescription pénale plus longs étant réservés (<ref-ruling> consid. 4c).
b) Dans le cas particulier, bien que l'indication de l'ancienne adresse du recourant ne soit pas une circonstance directement en rapport avec le fonctionnement de la poste, ni avec l'attitude du destinataire, il y a lieu de considérer que la caisse, en remettant sa décision à la poste le 18 septembre 1995, soit dans le délai prescrit à l'<ref-law>, a fait valoir en temps utile sa créance en réparation du dommage. En effet, la non-communication d'une décision n'affecte pas sa validité mais exclusivement son opposabilité, c'est-à-dire ses effets. Une décision qui n'a pas été notifiée n'est pas nulle, mais elle ne peut avoir aucun effet pour celui auquel elle aurait dû être notifiée (Knapp, Précis de droit administratif, 4ème édition Bâle 1991, n. 699 p. 152). En l'occurrence, cela a notamment pour conséquence que le délai pour former opposition contre la décision en réparation du dommage n'a commencé à courir qu'à partir de sa notification effective au recourant. A cet égard, il importe peu que la caisse n'a pas procédé à une nouvelle notification de sa décision du 19 septembre 1995, mais en a rendu une seconde en date du 14 novembre 1995. A l'évidence, il s'agit de la même décision puisque le contenu en est strictement identique. On ne saurait y voir, comme le voudrait le recourant, deux décisions différentes dont l'une serait annulée par l'autre. C'est également en vain que le recourant excipe de la nullité de la décision du 19 septembre 1995 au motif que celle-ci porte une date postérieure d'un jour à son établissement. C'est une inadvertance qui n'a aucune conséquence sur sa validité formelle.
5.- a) Le jugement entrepris expose correctement les dispositions légales et la jurisprudence applicables en matière de responsabilité de l'employeur et des organes de celui-ci (<ref-law>), de sorte qu'il suffit d'y renvoyer.
b) Les premiers juges ont constaté, de manière à lier la Cour de céans (consid. 1) que le recourant, inscrit comme administrateur de X._ SA dès le 14 février 1983, avait conservé cette fonction par amitié envers A._ jusqu'au 21 mai 1991, quand bien même il s'était retiré, en 1985 déjà, de la gestion de la société. Ils ont également retenu qu'il était au courant des difficultés financières de la société mais qu'il n'avait rien entrepris pour remédier à cette situation, s'en remettant sur ce point aux explications fournies par A._. Ils en ont déduit que le recourant avait, par son attitude passive, commis une négligence grave au sens de l'<ref-law>, laquelle était en relation de causalité naturelle et adéquate avec le dommage subi par la caisse.
c) Comme en procédure cantonale, le recourant fait valoir qu'il a effectivement quitté la société en 1985 et qu'il n'avait eu, depuis lors, plus aucune influence sur la marche des affaires de la fiduciaire. Le seul reproche qu'on pouvait lui adresser était d'avoir omis d'effectuer sa radiation comme administrateur auprès du registre du commerce dès son retrait effectif du conseil d'administration.
En outre, il estime que son comportement, qualifié de léger par les premiers juges, ne saurait constituer une négligence grave au sens de l'<ref-law>.
d) Cette argumentation se situe à la limite de la témérité.
Non seulement le recourant s'est borné, durant toute la procédure, à prétendre sa démission du conseil d'administration sans pouvoir en apporter la moindre preuve, mais il a encore reconnu, devant le juge d'instruction pénal, "que du moment où (il avait) conservé ces fonctions, (il était) solidairement responsable avec A._" (cf. procès-verbal de l'audience du 26 février 1991).
En demeurant administrateur sans en assumer la charge dans les faits, le recourant a tout simplement méconnu l'une des attributions intransmissibles et inaliénables que lui confère l'<ref-law>, soit l'exercice de la haute surveillance sur les personnes chargées de la gestion, pour s'assurer notamment que celles-ci observent la loi, les règlements et les instructions données (ch. 5). En réalité, sa situation n'était pas très éloignée à celle d'un homme de paille, et c'est précisément en cela que réside sa faute, car celui qui se déclare prêt à assumer ou à conserver un mandat d'administrateur, tout en sachant qu'il ne pourra pas le remplir consciencieusement, viole son obligation de diligence (<ref-ruling> consid. 3b; RDAT 1993, I, p. 374 consid. 6). Sa négligence doit donc, sous l'angle de l'<ref-law>, être qualifiée de grave (<ref-ruling> consid. 2b), surtout qu'elle s'est prolongée sur une période relativement longue. Que le recourant a finalement été acquitté de toute infraction en relation avec le non paiement des cotisations AVS n'est pas ici un élément décisif car, comme l'ont fait remarquer à juste titre les premiers juges, l'infraction réprimée à l'<ref-law> est soumise à des conditions de punissabilité différentes.
La passivité du recourant est, de surcroît, en relation de causalité naturelle et adéquate avec le dommage subi par la caisse de compensation. En effet, s'il avait correctement exécuté son mandat, il aurait pu constater que les cotisations sociales étaient impayées et prendre les mesures qui s'imposaient; s'il n'avait plus la volonté de s'occuper de la gestion de la société, il devait alors démissionner de ses fonctions. Ne l'ayant pas fait, il répond du dommage qui en est résulté pour la caisse.
Le recours est mal fondé.
6.- La procédure n'est pas gratuite, s'agissant d'un litige qui ne porte pas sur l'octroi ou le refus de prestations d'assurance (art. 134 OJ a contrario). Le recourant, qui succombe, supportera les frais de justice (art. 156 al. 1 OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Les frais de justice, d'un montant de 1900 fr., sont mis à la charge du recourant et sont compensées avec l'avance de frais qu'il a effectuée.
III. Le présent arrêt sera communiqué aux parties, à la Commission cantonale genevoise de recours en matière d'assurance-vieillesse, survivants et invalidité et à
l'Office fédéral des assurances sociales.
Lucerne, le 27 avril 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIe Chambre :
La Greffière :