Faits :
Faits :
A. Par décision du 31 janvier 2002 notifiée le 13 février 2002, la Caisse suisse de compensation a prononcé, en faveur de S._, ressortissant burundais né le 15 septembre 1946, le remboursement de 16'619 francs 90 de cotisations AVS qu'il a payées sur ses salaires cumulés des années 1979 à 1987.
A. Par décision du 31 janvier 2002 notifiée le 13 février 2002, la Caisse suisse de compensation a prononcé, en faveur de S._, ressortissant burundais né le 15 septembre 1946, le remboursement de 16'619 francs 90 de cotisations AVS qu'il a payées sur ses salaires cumulés des années 1979 à 1987.
B. S._ a recouru contre cette décision par mémoire du 11 mars 2002 déposé à un bureau de poste burundais et parvenu le 22 mars suivant, à la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger (ci-après: la Commission fédérale). Par jugement du 15 juillet 2002, celle-ci a déclaré le recours irrecevable, motif pris qu'il était tardif.
B. S._ a recouru contre cette décision par mémoire du 11 mars 2002 déposé à un bureau de poste burundais et parvenu le 22 mars suivant, à la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger (ci-après: la Commission fédérale). Par jugement du 15 juillet 2002, celle-ci a déclaré le recours irrecevable, motif pris qu'il était tardif.
C. S._ interjette un recours de droit administratif contre ce jugement dont il requiert l'annulation, en concluant, à ce que la cour de céans se prononce sur le fond du dossier.
La Caisse suisse de compensation conclut au rejet du recours tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit :
Considérant en droit :
1. 1.1 Le présent litige porte sur la recevabilité du recours interjeté devant la Commission fédérale à l'encontre de la décision du 31 janvier 2002 de la Caisse suisse de compensation, si bien qu'il n'y a pas lieu d'entrer en matière sur les conclusions du recourant quant au montant du remboursement.
Se fondant sur l'art. 21 al. 1 PA, la Commission fédérale a considéré ce recours comme tardif, motif pris qu'il avait été déposé à un bureau de poste burundais le 11 mars 2002 et qu'il lui était parvenu le 22 mars suivant, soit après le terme du délai de recours échu le 14 mars 2002.
1.2 Selon la jurisprudence, pour pouvoir se prévaloir à l'égard d'un assuré domicilié à l'étranger de la règle prévue à l'art. 21 al. 1 PA concernant l'exigence de la remise d'un acte de recours à un bureau de poste suisse ou à une représentation diplomatique ou consulaire suisse, l'autorité administrative doit mentionner textuellement cette disposition légale dans l'indication des voies de droit (ATF 125 V 67 consid. 3).
En l'occurrence, l'indication des voies de droit figurant dans la décision administrative du 31 janvier 2002 ne mentionne pas le contenu de l'art. 21 al. 1 PA si bien que c'est avec raison que le recourant se plaint d'une indication insuffisante des voies de recours dans la décision administrative litigieuse (art. 35 PA). Selon la jurisprudence précitée, on doit en effet exiger d'une autorité administrative agissant dans l'exercice de ses compétences décisionnelles qu'elle renseigne de manière exacte et complète un assuré domicilié à l'étranger, lorsqu'il existe des règles particulières relatives à l'exercice formel du droit de recours contre sa décision. Cela résulte des principes de la fairness et d'égalité des armes qui protègent les intérêts de l'administré dans l'exercice de ses droits fondamentaux face à l'appareil administratif.
Dans ces conditions, l'on ne saurait faire grief au recourant de ne pas s'être conformé au contenu de cette disposition en omettant de remettre son mémoire de recours soit à une représentation diplomatique ou consulaire suisse soit dans un bureau de poste suisse dans le délai légal. Dès lors qu'une notification irrégulière ne peut entraîner aucun préjudice pour les parties (art. 38 PA, Kölz/Häner, Verwaltungsverfahren und Verwaltungsrechtspflege des Bundes, p. 130 sv.), il convient d'annuler le jugement entrepris et de renvoyer la cause à la Commission fédérale pour qu'elle entre en matière et se prononce sur le fond.
Dans ces conditions, l'on ne saurait faire grief au recourant de ne pas s'être conformé au contenu de cette disposition en omettant de remettre son mémoire de recours soit à une représentation diplomatique ou consulaire suisse soit dans un bureau de poste suisse dans le délai légal. Dès lors qu'une notification irrégulière ne peut entraîner aucun préjudice pour les parties (art. 38 PA, Kölz/Häner, Verwaltungsverfahren und Verwaltungsrechtspflege des Bundes, p. 130 sv.), il convient d'annuler le jugement entrepris et de renvoyer la cause à la Commission fédérale pour qu'elle entre en matière et se prononce sur le fond.
2. Selon l'art. 31 al. 1 OJ, celui qui, au cours de la procédure écrite ou orale, enfreint les convenances ou trouble la marche d'une affaire est passible d'une réprimande ou d'une amende disciplinaire de 300 francs au plus.
Dans le cas d'espèce, les écritures du recourant sont clairement inconvenantes. On peut cependant se contenter de l'avertir qu'il doit se conformer aux règles de la civilité et que s'il venait à répéter ce comportement, il ferait l'objet de sanctions.
Dans le cas d'espèce, les écritures du recourant sont clairement inconvenantes. On peut cependant se contenter de l'avertir qu'il doit se conformer aux règles de la civilité et que s'il venait à répéter ce comportement, il ferait l'objet de sanctions.
3. Le litige n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, la procédure n'est en principe pas gratuite (art. 134 OJ a contrario). Dans le cas particulier, il se justifie de ne pas percevoir de frais judiciaires.
Par ces motifs, le Tribunal fédéral des assurances prononce :
1. Dans la mesure où il est recevable, le recours est admis et le jugement du 15 juillet 2002 de la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger est annulé.
1. Dans la mesure où il est recevable, le recours est admis et le jugement du 15 juillet 2002 de la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger est annulé.
2. La cause est renvoyée à dite Commission pour qu'elle procède conformément aux considérants.
2. La cause est renvoyée à dite Commission pour qu'elle procède conformément aux considérants.
3. Il n'est pas perçu de frais de justice.
3. Il n'est pas perçu de frais de justice.
4. L'avance de frais versée par le recourant, d'un montant de 500.- fr., lui est restituée.
4. L'avance de frais versée par le recourant, d'un montant de 500.- fr., lui est restituée.
5. Le présent arrêt sera communiqué aux parties, à la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger et à l'Office fédéral des assurances sociales.
Lucerne, le 29 janvier 2003
Au nom du Tribunal fédéral des assurances
La Présidente de la IVe Chambre: La Greffière: