A.- La société A._ SA est affiliée en tant qu'employeur à la Caisse cantonale valaisanne de compensation (la caisse). S._ a été administrateur de cette société.
Par décision du 12 novembre 1999, la caisse a informé le prénommé qu'elle le rendait responsable du préjudice qu'elle avait subi par la remise d'un acte de défaut de biens après saisie, lequel avait été établi à l'encontre de la société A._ SA pour des cotisations paritaires échues et demeurées impayées. De ce chef, la caisse lui en demandait réparation jusqu'à concurrence de 3249 fr. 90.
B.- S._ ayant formé opposition, la caisse a porté le cas devant le Tribunal cantonal des assurances du canton du Valais, le 17 décembre 1999, en concluant à ce que le défendeur fût condamné à lui payer la somme précitée.
Par ordonnance du 4 janvier 2000, envoyée sous pli recommandé à S._, à Y._ (France) la juridiction cantonale a invité le défendeur à produire ses déterminations, accompagnées des pièces justificatives en sa possession, dans un délai échéant le 4 février 2000.
Cette ordonnance est restée sans réponse.
Par jugement du 13 mars 2000, le Tribunal cantonal a adjugé entièrement ses conclusions à la caisse demanderesse.
C.- S._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, en concluant à sa libération. Il produit divers moyens de preuve qui n'avaient pas été versés au dossier en instance cantonale.
La caisse intimée conclut au rejet du recours. L'Office fédéral des assurances sociales ne s'est pas déterminé.
D.- Le Tribunal fédéral des assurances a invité le Tribunal cantonal à lui communiquer la date à laquelle l'ordonnance du 4 janvier 2000 avait été notifiée au recourant. Avec sa réponse, la juridiction cantonale a produit une attestation de l'office postal de Y._, datée du 26 janvier 2001, dont il ressort que l'ordonnance du 4 janvier 2000 n'est pas parvenue audit office.
L'intimée, qui a eu l'occasion de se déterminer à nouveau, a maintenu ses conclusions.

Considérant en droit :
1.- a) Selon un principe général du droit administratif (<ref-law> et 107 al. 3 OJ), une notification irrégulière ne peut entraîner aucun préjudice pour les parties, de sorte que la décision affectée d'un tel vice doit en principe être considérée comme nulle.
b) Aux termes de l'art. 32 al. 4 de la Convention de sécurité sociale entre la Confédération suisse et la République française du 3 juillet 1975, pour l'application de cette dernière, les autorités administratives et les institutions compétentes de chacun des Etats contractants communiquent directement entre elles ainsi qu'avec les personnes intéressées ou leurs mandataires. Il en découle que le Tribunal cantonal des assurances du canton du Valais, autorité judiciaire, n'était pas habilité à communiquer directement avec le recourant, mais qu'il aurait dû faire acheminer son ordonnance du 4 janvier 2000 à son destinataire par la voie diplomatique, à l'instar du jugement du 13 mars 2000.
Par ailleurs, il est douteux que le recourant ait pu prendre connaissance de l'ordonnance du 4 janvier 2000, puisque l'office postal de Y._ a attesté, le 26 janvier 2001, que le pli recommandé qui contenait cet acte ne lui était pas parvenu.
c) La notification de l'ordonnance du 4 janvier 2000 était donc irrégulière, si bien qu'elle ne peut entraîner aucun préjudice pour le recourant. Comme ce dernier n'a pas eu l'occasion de défendre ses droits et de produire ses moyens de preuve en temps utile, le jugement attaqué doit être annulé et la cause renvoyée aux premiers juges afin qu'ils invitent le recourant à répondre à la demande en réparation du dommage du 17 décembre 1999, puis statuent à nouveau sur celle-ci.
2.- La procédure n'est pas gratuite, s'agissant d'un litige qui ne porte pas sur l'octroi ou le refus de prestations d'assurance (art. 134 OJ a contrario). L'intimée, qui succombe, supportera les frais de justice, arrêtés à 500 fr.
Pour le même motif, l'intimée est redevable d'une indemnité de dépens au recourant (art. 159 al. 1 OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis en ce sens que le jugement du
Tribunal cantonal des assurances du canton du Valais
du 13 mars 2000 est annulé, la cause lui étant renvoyée
pour qu'il procède conformément aux considérants.
II. Les frais de justice, d'un montant total de 500 fr., sont mis à la charge de l'intimée.
III. L'avance de frais effectuée par le recourant, d'un
montant de 655 fr. 05, lui est restituée.
IV. L'intimée versera au recourant la somme de 1000 fr. à titre de dépens pour l'instance fédérale.
V. Le présent arrêt sera communiqué aux parties, au Tribunal
cantonal des assurances du canton du Valais et à
l'Office fédéral des assurances sociales.
Lucerne, le 5 mars 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIe Chambre :
Le Greffier :