A.- Der 1940 geborene H._ liess sich Mitte 1985 in Südafrika nieder, wobei er innerhalb dieses Staates seinen
Wohnsitz mehrmals gewechselt hat. Im März 1987 trat er der freiwilligen AHV/IV für Auslandschweizer bei. Nachdem er den am 3. Oktober 1990 verfügten Mindestbeitrag für 1991 schuldig geblieben war und ihm eingeschriebene Mahnungen sowie die Ausschlussandrohung nicht zugestellt werden konnten, ging die Schweizerische Ausgleichskasse davon aus, dass er ab 1. Januar 1994 aus der freiwilligen Versicherung ausgeschlossen sei.
In der Folge reichte H._ im März 1996 eine neue Beitrittserklärung ein, worin er geltend machte, er habe sich "nie abgemeldet und alle erhobenen Beiträge bezahlt". Mit Verfügung vom 21. Mai 1996 lehnte die Ausgleichskasse das (neuerliche) Beitrittsgesuch ab, weil es vom über 50-jährigen Gesuchsteller nicht innert Jahresfrist seit Wegfall der Voraussetzungen für die obligatorische Versicherung eingereicht worden sei. Diese vom Schweizerischen Generalkonsulat in Johannesburg am 5. Juni 1996 an die Postfachadresse von H._ eingeschrieben versandte Verfügung wurde von der südafrikanischen Post als nicht zugestellt ("undelivered") an die schweizerische Auslandvertretung zurückgeschickt, wo sie am 17. Juli 1996 wieder einging. Einem zweiten Zustellungsversuch mit Versanddatum vom 22. Juli 1996 war ebenfalls kein Erfolg beschieden; die eingeschriebene Briefpostsendung traf am 3. September als nicht abgeholt ("unclaimed") wieder beim Generalkonsulat ein. H._ nahm die Verfügung erst am 23. September 1996 in Empfang, nachdem die konsularische Vertretung sie am 6. September 1996 ein drittes Mal eingeschrieben versandt hatte.
B.- Die Eidgenössische Rekurskommission der AHV/IV für die im Ausland wohnenden Personen trat mit Entscheid vom 23. April 1998 auf die Beschwerde gegen die Kassenverfügung vom 21. Mai 1996 nicht ein. H._ habe sich den ersten Zustellungsversuch anrechnen zu lassen, weshalb sich die erst am 21. Oktober 1996 bei der Rekurskommission eingegangene Beschwerde als verspätet erweise. Gründe für eine Wiederherstellung der Rechtsmittelfrist seien keine gegeben. C.- H._ führt Verwaltungsgerichtsbeschwerde, mit welcher er - neben materiellen Rechtsbegehren - sinngemäss beantragt, auf die vorinstanzlich eingereichte Beschwerde sei einzutreten.
Die Ausgleichskasse verzichtet ausdrücklich auf eine Stellungnahme zur Verwaltungsgerichtsbeschwerde.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Die Verwaltungsgerichtsbeschwerde richtet sich gegen den vorinstanzlichen Nichteintretensentscheid. Es ist somit einzig zu prüfen, ob die Rekurskommission zu Recht auf die Beschwerde nicht eingetreten ist, während das Eidgenössische Versicherungsgericht auf die materiellen Anträge (Anerkennung einer über Ende 1993 hinaus weiter dauernden freiwilligen Versicherung; Abrechnung über die rückständigen Jahresbeiträge) von vornherein nicht eintreten kann (<ref-ruling> Erw. 1 mit Hinweisen).
2.- Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
3.- a) Nach <ref-law> kann gegen Verfügungen der Ausgleichskassen innert 30 Tagen seit der Zustellung Beschwerde erhoben werden. Diese gesetzliche Frist darf das Gericht gemäss <ref-law> (anwendbar nach <ref-law>) nicht erstrecken. Laut <ref-law> beginnt die Beschwerdefrist an dem auf die Zustellung der Mitteilung folgenden Tage zu laufen. Fällt der letzte Tag auf einen Samstag, einen Sonntag oder einen am Wohnsitz oder Sitz der Partei oder ihres Vertreters vom kantonalen Recht anerkannten Feiertag, so endigt die Frist am nächsten Werktag (<ref-law>). Schriftliche Eingaben müssen gemäss <ref-law> spätestens am letzten Tage der Frist der Behörde eingereicht oder zu deren Handen der Schweizerischen Post oder einer schweizerischen diplomatischen oder konsularischen Vertretung übergeben werden. Läuft die Frist unbenützt ab, so erwächst die Verfügung in formelle Rechtskraft mit der Wirkung, dass das Gericht auf die verspätet eingereichte Beschwerde nicht eintreten kann.
b) Eine eingeschriebene Postsendung gilt grundsätzlich in dem Zeitpunkt als zugestellt, in welchem die angeschriebene Person sie tatsächlich in Empfang nimmt. Wird die Person nicht angetroffen und wird daher eine Abholungseinladung in ihren Briefkasten oder ihr Postfach gelegt, so gilt die Sendung in jenem Zeitpunkt als zugestellt, in welchem sie auf der Poststelle abgeholt wird. Geschieht dies nicht innert der postalischen Abholfrist, so gilt die Sendung als am letzten Tag dieser Frist zugestellt (<ref-ruling>, 119 II 149 Erw. 2, 119 V 94 Erw. 4b/aa, je mit Hinweisen). Ein allfälliger zweiter Versand und die spätere Entgegennahme der Sendung vermögen an diesem Ergebnis - vorbehältlich des Vertrauensschutz begründenden zweiten Versands mit vorbehaltloser Rechtsmittelbelehrung (<ref-ruling> Erw. 4c; vgl. auch <ref-ruling>, 117 II 511 Erw. 2) - nichts zu ändern und sind rechtlich unbeachtlich (<ref-ruling> Erw. 4b/aa mit Hinweisen).
c) Nach der Rechtsprechung obliegt der Beweis der Tatsache sowie des Zeitpunktes der Zustellung einer Verfügung der Verwaltung (<ref-ruling> Erw. 2a). Weil der Sozialversicherungsprozess von der Untersuchungsmaxime beherrscht wird, handelt es sich dabei nicht um die subjektive Beweisführungslast (<ref-law>), sondern in der Regel nur um die so genannte objektive Beweislast in dem Sinne, dass im Falle der Beweislosigkeit der Entscheid zu Ungunsten jener Partei ausfällt, die aus dem unbewiesen gebliebenen Sachverhalt Rechte ableiten wollte (<ref-ruling> Erw. 3b mit Hinweis). Tatsachen, welche hinsichtlich der Zustellung von Kassenverfügungen oder mit Bezug auf den entsprechenden Zustellungszeitpunkt erheblich sind, müssen mit überwiegender Wahrscheinlichkeit nachgewiesen sein (<ref-ruling> Erw. 2b, 121 V 6 Erw. 3b).
4.- a) In der Verwaltungsgerichtsbeschwerde werden - wie bereits in der vorinstanzlich eingereichten Stellungnahme des Beschwerdeführers vom 14. August 1997 - verschiedenste Unzulänglichkeiten der südafrikanischen Post, namentlich in der Nordwest-Provinz, angeprangert. Wie es sich damit verhält, braucht vorliegend nicht geprüft zu werden. Festzuhalten gilt, dass der Beschwerdeführer geltend macht, sein Postfach in der unbemannten Container-Poststation B._ im zentralen Hochland werde vom Hauptpostamt der "weit entfernten nächsten Stadt" Rustenburg nur sehr unregelmässig und unzuverlässig bedient ("das schliesst eingeschriebene und versicherte Sendungen mit ein"). Im hier relevanten Zeitraum (1996) habe die Postzustellung deshalb nicht geklappt, "weil die noch von erfahrenem Personal besetzte Abteilung für eingeschriebene Sendungen nicht abgeholte Sendungen prompt zurücksandte, währenddem im Obergeschoss des Hauptpostamtes die Abholungseinladungen sich im Postsack für die Containerstation B._ langweilten". Die Abholungseinladungen für eingeschriebene Postsendungen seien normalerweise erst ins Postfach gelangt, nachdem die entsprechenden Sendungen "schon lange zurückgeschickt worden war(en)". Eine solche "Fata Morgana", die den Beschwerdeführer jeweils zum Hauptpostamt locke und jedes Mal einen halben Tag nutzlosen Reisens und Wartens (in der Kundenschlange vor dem Postschalter) koste, könne nicht einmal als Versuch einer Zustellung bezeichnet werden. Erst nach telefonischer Absprache mit dem Generalkonsulat in Johannesburg sei es ihm gelungen, die streitige Kassenverfügung vom 21. Mai 1996 auf dem Hauptpostamt von Rustenburg zu behändigen.
b) Die Rekurskommission stützte ihren Nichteintretensentscheid auf die in Erw. 3b hievor angeführte Rechtsprechung über die Annahme eines fiktiven Zustellungsdatums bei nicht abgeholten eingeschriebenen Postsendungen. Angesichts des Umstandes, dass die in Frage stehende ablehnende Kassenverfügung nach ihrem ersten, am 5. Juni 1996 erfolgten Versand durch das Schweizerische Generalkonsulat in Johannesburg am 17. Juli 1996 als nicht zugestellt ("undelivered") wieder bei diesem einging, folgerte die Vorinstanz, dass die südafrikanische Post "die eingeschriebene Briefpostsendung (...) spätestens am 16. Juli 1996" an den Absender zurückgesandt habe. Zufolge des vom 15. Juli bis und mit 15. August dauernden Fristenstillstandes (<ref-law> in Verbindung mit <ref-law>) gelte somit der 16. August 1996 als fiktiver Eröffnungszeitpunkt der Verfügung vom 21. Mai 1996. Die 30-tägige Rechtsmittelfrist habe demnach am 17. August 1996 zu laufen begonnen und am 16. September 1996 (einem Montag) geendet, weshalb sich die erst am 21. Oktober 1996 bei der Rekurskommission eingegangene Beschwerde als verspätet erweise.
5.- Der vorinstanzlichen Auffassung kann nicht gefolgt werden:
a) Obwohl für das vorliegende Verfahren ohne Belang, gilt es zunächst, die Rekurskommission auf die Rechtsprechung gemäss AHI 1998 S. 211 aufmerksam zu machen. Danach beginnt die Beschwerdefrist an dem auf das Ende des Fristenstillstandes folgenden Tag zu laufen, wenn die Eröffnung einer anfechtbaren Verwaltungsverfügung auf den in <ref-law> festgelegten Stillstand der Fristen fällt; die Rechtsprechung zu Art. 32 Abs. 1 OG (<ref-ruling>) ist nicht analog anwendbar. Im hier zu beurteilenden Fall hätte die Beschwerdefrist mithin unter den von der Vorinstanz getroffenen Annahmen - welche sich, wie nachfolgend zu zeigen sein wird, als unhaltbar erweisen - am 16. August 1996 (auf das Ende des Fristenstillstandes gemäss <ref-law> folgender Tag) zu laufen begonnen (was allerdings auf die Beendigung der Rechtsmittelfrist ohne Einfluss geblieben wäre; vgl. <ref-law>).
b) aa) Im Hinblick auf Art. 105 Abs. 2OG(vgl. Erw.2hievor)hatdieVorinstanz-wiebereitserwähnt-ausdrücklichfestgestellt, dassdiesüdafrikanischePost die am 5. Juni 1996 vom zuständigen Generalkonsulat erstmals versandte, die streitige Kassenverfügung enthaltende eingeschriebene Briefpostsendung "spätestens am 16. Juli 1996" an die schweizerische Vertretung retournierte. Über diese unbestrittene Tatsache hinaus traf jedoch die Rekurskommission - implizite - weitere Sachverhaltsfeststellungen, setzt doch die von ihr herangezogene Rechtsprechung über die fiktive Zustellung nicht abgeholter eingeschriebener Postsendungen (Erw. 3b hievor) voraus, dass die Abholungseinladung mit Fristangabe tatsächlich ordnungsgemäss ausgestellt und im Briefkasten oder Postfach der angeschriebenen Person hinterlegt wurde, wofür eine - widerlegbare - Vermutung besteht (nicht veröffentlichte Urteile S. vom 10. Februar 1989 [K 61/88] und R. vom 3. Juni 1987 [H 118/86], je mit Hinweisen auf <ref-ruling> und Martin Gossweiler, Die Verfügung im Schweizerischen Sozialversicherungsrecht, Diss. Bern 1983, S. 157). Diese Gerichtspraxis setzt indessen ihrerseits voraus, dass die eingeschriebene Postsendung bei der Bestimmungspoststelle überhaupt eingegangen ist. Dies hat die Vorinstanz - unausgesprochen - angenommen.
bb) Ob es sich hiebei um eine Sachverhaltsfeststellung oder aber um eine anhand von Erfahrungssätzen gezogene Folgerung rechtlicher Art handelt (vgl. <ref-ruling>, 100 V 152 Erw. 2b; Gygi, Bundesverwaltungsrechtspflege, 2. Aufl. , Bern 1983, S. 274 f.), die hier frei zu überprüfen wäre (vgl. Erw. 2 hievor), kann offen bleiben. Selbst bei Annahme einer Tatsachenfeststellung vermöchte diese nämlich das Eidgenössische Versicherungsgericht nicht zu binden. Denn aus der angeführten Begründung geht hervor, dass sich die Rekurskommission der Sache nach ausschliesslich auf die vermutete Verlässlichkeit der Post gestützt hat. Ob die betreffende Verfügung tatsächlich bei der Bestimmungspoststelle in Rustenburg eingegangen ist und von dieser an das Generalkonsulat in Johannesburg zurückgesandt wurde, lässt sich indes nach den unter Erw. 3c hievor dargelegten Grundsätzen anhand des blossen Umstandes, dass die am 5. Juni 1996 aufgegebene Briefpostsendung mit dem (von welcher Poststelle auch immer angebrachten) Vermerk "nicht zugestellt" ("undelivered") an den Absender retourniert wurde, nicht beweisen (mit Ausnahme desjenigen der Aufgabepoststelle weist der Briefumschlag keinerlei Datumsstempel auf). Die Vorinstanz hat denn auch diesbezüglich keinerlei Beweiserörterung oder Beweiswürdigung vorgenommen, weshalb nicht von einer Sachverhaltsfeststellung im Sinne von Art. 105 Abs. 2 OG gesprochen werden kann; vielmehr liegt eine blosse Sachverhaltsunterstellung vor, welche keine Bindungswirkung entfaltet (Gygi, a.a.O., S. 286 mit Hinweis auf <ref-ruling>). Da auch von zusätzlichen Beweiserhebungen mit Sicherheit keine neuen Erkenntnisse zu erwarten wären, wirkt sich die dargelegte Beweislosigkeit gegen die Verwaltung aus: Der erste, am 5. Juni 1996 unternommene Zustellungsversuch kann dem Beschwerdeführer nicht angerechnet werden.
c) Was den zweiten Zustellungsversuch des Generalkonsulates mit Versanddatum vom 22. Juli 1996 anbelangt, ging die streitige Verfügung am 3. September 1996 wieder beim Absender ein. Diesmal war der Briefumschlag mit dem Vermerk "nicht abgeholt" ("unclaimed") versehen, den ein Postbeamter oder eine -beamtin am 26. August 1996 (einem Montag) angebracht hatte (wiederum befinden sich - abgesehen von demjenigen der Aufgabepoststelle vom 22. Juli 1996 - keine Datumsstempel auf dem Umschlag). Es mag vorliegend offen bleiben, ob die Briefpostsendung tatsächlich bei der Bestimmungspoststelle in Rustenburg eingegangen ist, ob diese die Abholungseinladung korrekt ausgestellt und im Postfach des Beschwerdeführers hinterlegt hat und ob die Bestimmungspoststelle die Sendung mit der Kassenverfügung erst nach Ablauf der postalischen Aufbewahrungsfrist an das Generalkonsulat zurückgesandt hat. Selbst wenn alle diese Fragen zu bejahen wären und auf Grund des erwähnten Vermerks auf dem Briefumschlag von einer auf den 23. oder 24. August 1996 (Freitag oder Samstag) fallenden fiktiven Zustellung der Verfügung auszugehen wäre, liesse sich daraus nichts zu Ungunsten des Beschwerdeführers ableiten.
Denn diesfalls hätte die 30-tägige Beschwerdefrist am 24. oder 25. August 1996 zu laufen begonnen und hätte bis zum 23. September 1996 (einem Montag) gedauert (vgl. <ref-law>). In der Zwischenzeit hatte das Generalkonsulat in Johannesburg bereits den dritten Zustellungsversuch unternommen, auf Grund dessen dem Beschwerdeführer die streitige Verwaltungsverfügung am 23. September 1996, d.h. am letzten Tag der unmittelbar hievor genannten Rechtsmittelfrist, ausgehändigt werden konnte (Datumsstempel der Poststelle Rustenburg auf dem entsprechenden Rückschein). Da indessen dieser dritte (schliesslich erfolgreiche) Zustellungsversuch unbestrittenermassen ohne Vorbehalt hinsichtlich der in der Verfügung enthaltenen Rechtsmittelbelehrung (Möglichkeit der Beschwerdeerhebung innert 30 Tagen seit Zustellung der Verfügung) erfolgte, ist darin rechtsprechungsgemäss eine vertrauensbegründende Auskunft zu erblicken, welche zur Verlängerung der Beschwerdefrist bis zum 23. Oktober 1996 führte (<ref-ruling>, 117 II 511 Erw. 2, 115 Ia 20 Erw. 4c).
Die am 21. Oktober 1996 bei der Rekurskommission eingegangene Beschwerde wurde nach dem Gesagten auf jeden Fall rechtzeitig erhoben. Der folglich zu Unrecht ergangene vorinstanzliche Nichteintretensentscheid ist aufzuheben und die Sache zur materiellen Behandlung der Beschwerde an die Rekurskommission zurückzuweisen, welche die Rechtsprechung gemäss <ref-ruling> Erw. 2 zu beachten haben wird (vgl. auch Rz 3013 der Wegleitung des Bundesamtes für Sozialversicherung zur freiwilligen AHV/IV für Auslandschweizer).
6.- Bei diesem Verfahrensausgang wird die beschwerdebeklagte Ausgleichskasse kostenpflichtig (Art. 134 OG e contrario; Art. 156 Abs. 1 in Verbindung mit Art. 135 OG). Damit erweist sich das Gesuch des Beschwerdeführers um unentgeltliche
Prozessführung als gegenstandslos.

Demnach erkennt das Eidg. Versicherungsgericht:
I. In Gutheissung der Verwaltungsgerichtsbeschwerde, soweit darauf einzutreten ist, wird der Entscheid der Eidgenössischen Rekurskommission der AHV/IV für die im Ausland wohnenden Personen vom 23. April 1998 aufgehoben, und es wird die Sache an die Vorinstanz zurückgewiesen, damit diese über die Beschwerde gegen die Verfügung der Schweizerischen Ausgleichskasse vom 21. Mai 1996 materiell entscheide.
II. Die Gerichtskosten in der Höhe von Fr. 500. - werden der Schweizerischen Ausgleichskasse auferlegt.
III. Dieses Urteil wird den Parteien, dem Beschwerdeführer auf dem Ediktalweg, der Eidgenössischen Rekurskommission der AHV/IV für die im Ausland wohnenden Personen und dem Bundesamt für Sozialversicherung zugestellt. Das für den Beschwerdeführer bestimmte Exemplar wird einstweilen zu den Akten gelegt.
Luzern, 11. Juli 2000
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Der Gerichtsschreiber:
i.V.