A.- H._ est de nationalité suisse. Depuis son mariage, en 1969, elle a été domiciliée en Suisse, où elle n'a exercé aucune activité lucrative. En août 1995, elle a quitté la Suisse pour rejoindre son mari à S._.
H._ a déposé le 28 février 1999 une déclaration d'adhésion à l'assurance-vieillesse, survivants et invalidité facultative pour les ressortissants suisses à l'étranger.
Par décision du 29 juin 1999, la Caisse suisse de compensation a rejeté cette demande d'adhésion, motif pris de sa tardiveté.
B.- H._ a recouru contre cette décision devant la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger (ci-après : la commission). Elle a été déboutée le 4 avril 2000.
C.- H._ interjette recours de droit administratif contre ce jugement dont elle demande l'annulation.
La Caisse suisse de compensation a conclu au rejet du recours.
L'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- La décision litigieuse n'a pas pour objet l'octroi ou le refus de prestations d'assurance, mais le droit de la recourante à l'affiliation à l'assurance-vieillesse, survivants et invalidité facultative pour les ressortissants suisses à l'étranger. Partant, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 OJ en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
2.- Aux termes de l'<ref-law>, dans sa teneur en vigueur jusqu'au 31 mars 2001 (RO 2000 2677, 2681), les ressortissants suisses qui cessent d'être obligatoirement assurés peuvent le rester à titre facultatif quel que soit leur âge. L'adhésion à l'assurance facultative doit cependant intervenir dans un délai d'une année à compter du jour où les conditions de l'assurance obligatoire ont pris fin (art. 10 al. 1er de l'ordonnance concernant l'assurance-vieillesse, survivants et invalidité facultative des ressortissants suisses résidant à l'étranger, du 26 mai 1961 [OAF; RS 831. 111]).
En l'espèce, la recourante, de nationalité suisse, a été domiciliée en Suisse jusqu'en août 1995, avant de rejoindre son mari à S._. C'est donc à ce moment qu'a pris fin son affiliation obligatoire à l'AVS et qu'a commencé à courir le délai d'une année de l'<ref-law>. Déposée en février 1999, sa déclaration d'affiliation à l'assurance facultative était donc tardive.
Contrairement à l'avis de la recourante, le seul fait que son époux est demeuré affilié obligatoirement à l'AVS jusqu'en 1998 et qu'il a payé des cotisations représentant plusieurs fois la cotisation minimale ne permettait pas de considérer qu'elle était elle-même assurée et, partant, que le délai était respecté (<ref-ruling> consid. 1; <ref-ruling> consid. 3).
3.- La recourante reproche enfin aux premiers juges de n'avoir pas admis l'existence de circonstances extraordinaires justifiant la prolongation du délai pour déposer la déclaration d'adhésion. Elle allègue en effet n'avoir jamais été renseignée par les autorités suisses à S._ de la possibilité et des modalités de l'affiliation à l'AVS facultative. Ce grief n'est cependant pas fondé. Dans sa jurisprudence, le Tribunal fédéral des assurances a en effet déjà prononcé à plusieurs reprises que ni l'erreur de droit ni l'ignorance du suisse à l'étranger qui n'a pas reçu d'information de la représentation suisse ne constituent des motifs de prolongation du délai d'inscription à l'assurance facultative (<ref-ruling> consid. 4b, 97 V 215 consid. 2, ATFA 1962 p. 99). Il n'y a pas de motif en l'espèce de s'écarter de cette jurisprudence.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Les frais de justice, d'un montant de 500 fr., sont mis à la charge de la recourante et sont compensés avec l'avance de frais qu'elle a versée.
III. Le présent arrêt sera communiqué aux parties, à la Commission fédérale de recours en matière d'assurance- vieillesse, survivants et invalidité pour les personnes
résidant à l'étranger ainsi qu'à l'Office fédéral
des assurances sociales.
Lucerne, le 7 mars 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIe Chambre :
Le Greffier :