A.- Nachdem B._, ein schweizerischer Staatsangehöriger, der im massgeblichen Zeitraum vorübergehend in Grossbritannien lebte und arbeitete, gegen zwei Beitragsverfügungen der Schweizerischen Ausgleichskasse vom 14. Mai 1999 Beschwerde erhoben hatte, forderte die Eidgenössische Rekurskommission der AHV/IV für die im Ausland wohnenden Personen ihn mit Zwischenverfügung vom 22. März 2000 auf, zur Sicherstellung der mutmasslichen Gerichtskosten bis zum 2. Mai 2000 einen Kostenvorschuss von Fr. 1000.- zu überweisen.
Gleichzeitig kündigte sie an, bei Nichtleistung dieses Betrages innert der angesetzten Frist werde die Beschwerde durch einen Nichteintretensentscheid erledigt.
B.- Mit Verwaltungsgerichtsbeschwerde lässt B._ die Aufhebung der Kostenvorschussverfügung vom 22. März 2000 beantragen, wobei er im Wesentlichen geltend macht, die Eidgenössische Rekurskommission habe die Behandlung seiner Beschwerde ohne vorgängige Bezahlung eines Kostenvorschusses an die Hand zu nehmen, da für das erstinstanzliche Beschwerdeverfahren keine Kosten erhoben werden dürften.
Die Eidgenössische Rekurskommission und die Ausgleichskasse enthalten sich eines Antrags. Auch das Bundesamt für Sozialversicherung (BSV) verzichtet nach Einsichtnahme in die Akten auf eine Vernehmlassung.
C.- Am 5. März 2002 hat das Eidgenössische Versicherungsgericht eine publikumsöffentliche Beratung durchgeführt.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Entsprechend dem Gegenstand der angefochtenen Zwischenverfügung vom 22. März 2000 kann von der Sache her einzig die Zulässigkeit des von der Eidgenössischen Rekurskommission verlangten Kostenvorschusses zur Diskussion stehen.
Über die bestrittene Beitragspflicht kann das Eidgenössische Versicherungsgericht nicht befinden, da sich die Vorinstanz dazu noch gar nicht geäussert hat und es mithin an einer unabdingbaren Sachurteilsvoraussetzung fehlt (vgl.
BGE 125 V 414 Erw. 1a, 119 Ib 36 Erw. 1b, je mit Hinweisen).
2.- Zunächst stellt sich indessen in verfahrensrechtlicher Hinsicht die Frage, ob gegen die Kostenvorschussverfügung vom 22. März 2000 überhaupt selbstständig Verwaltungsgerichtsbeschwerde geführt werden kann.
a) Gemäss Art. 128 OG beurteilt das Eidgenössische Versicherungsgericht letztinstanzlich Verwaltungsgerichtsbeschwerden gegen Verfügungen im Sinne von Art. 97, 98 lit. b-h und 98a OG auf dem Gebiet der Sozialversicherung.
Hinsichtlich des Begriffs der mit Verwaltungsgerichtsbeschwerde anfechtbaren Verfügungen verweist Art. 97 OG auf <ref-law>. Nach <ref-law> gelten als Verfügungen Anordnungen der Behörden im Einzelfall, die sich auf öffentliches Recht des Bundes stützen (und im Übrigen noch weitere, nach dem Verfügungsgegenstand näher umschriebene Voraussetzungen erfüllen). Verfügungen im Sinne dieser Umschreibung können nach dem Wortlaut des zweiten Absatzes von <ref-law> auch Zwischenverfügungen sein, insoweit sie den Anforderungen des vorangehenden ersten Absatzes entsprechen.
Zudem verweist <ref-law> bezüglich der Zwischenverfügungen auf Art. 45 des gleichen Gesetzes, laut dem nur solche Zwischenverfügungen anfechtbar sind, die einen nicht wieder gutzumachenden Nachteil bewirken können (<ref-law>). Dieser grundsätzliche Vorbehalt gilt als Voraussetzung für die Zulässigkeit eines selbstständigen, der Endverfügung vorangehenden Beschwerdeverfahrens, insbesondere für alle in <ref-law> - nicht abschliessend - aufgezählten Zwischenverfügungen. Für das letztinstanzliche Beschwerdeverfahren ist ferner zu beachten, dass gemäss Art. 129 Abs. 2 in Verbindung mit Art. 101 lit. a OG die Verwaltungsgerichtsbeschwerde gegen Zwischenverfügungen nur zulässig ist, wenn sie auch gegen die Endverfügung offen steht (<ref-ruling> Erw. 2 mit Hinweisen).
b) In <ref-ruling> hat das Eidgenössische Versicherungsgericht in einem Fall, in welchem die Eidgenössische Rekurskommission mangels fristgerechter Bezahlung des eingeforderten Kostenvorschusses auf eine Beschwerde nicht eingetreten ist, erwogen, dass Kostenvorschussverfügungen zu den Zwischenverfügungen zählen, welche - grundsätzlich - nicht selbstständig anfechtbar sind, es sei denn, sie wären geeignet, einen nicht wieder gutzumachenden Nachteil im Sinne von <ref-law> zu bewirken; die Aufforderung zur Leistung eines Kostenvorschusses, verbunden mit der Ankündigung, im Unterlassungsfall auf das Rechtsmittel nicht einzutreten - womit das Verfahren ohne Sachurteil seinen Abschluss finden würde -, stelle indessen zweifellos eine Anordnung dar, welche einen nicht wieder gutzumachenden Nachteil bewirken könne; auch wenn Kostenvorschussverfügungen in der in <ref-law> enthaltenen Liste selbstständig anfechtbarer Zwischenverfügungen nicht aufgeführt seien, müssten deshalb dagegen gerichtete Verwaltungsgerichtsbeschwerden als zulässig betrachtet werden; dies umso mehr, als <ref-law> auch die Verweigerung der unentgeltlichen Rechtspflege als selbstständig anfechtbare Zwischenverfügung bezeichne (<ref-ruling> f. Erw. 3).
Daran hat das Gericht seither in ständiger Rechtsprechung festgehalten (AHI 1998 S. 188; ZAK 1988 S. 529 Erw. 2a; nicht veröffentlichte Urteile P. vom 30. Juli 2001 [H 155/01] und M. vom 13. März 2000 [H 429/99]). Aus der Überlegung heraus, es liege ein nicht wieder gutzumachender Nachteil vor, wenn die Aufforderung zur Leistung eines Kostenvorschusses mit der Androhung, im Säumnisfall auf eine Klage oder ein Rechtsmittel nicht einzutreten, verbunden wird, geht im Übrigen auch das Schweizerische Bundesgericht von der selbstständigen Anfechtbarkeit von Kostenvorschussverfügungen aus (BGE 77 I 46 Erw. 2; Urteil vom 1. Juni 2001 [4P. 70/2001]).
c) Die nach der bisherigen Rechtsprechung bestehende Möglichkeit, gegen Kostenvorschussverfügungen Verwaltungsgerichtsbeschwerde führen zu können, birgt die Gefahr einer unter Umständen erheblichen Ausdehnung der Verfahrensdauer in sich. Eine Verfahrensverzögerung als Folge verschiedener im Laufe eines Beschwerdeverfahrens gegen gewisse prozessleitende Zwischenverfügungen gegebener Rechtsmittelwege lässt sich mit dem unter anderm in <ref-law> für das kantonale Beschwerdeverfahren ausdrücklich verankerten, im Übrigen aber auch für das Verfahren vor der Eidgenössischen Rekurskommission analog geltenden Grundsatz der Raschheit des Verfahrens (<ref-ruling> f. Erw. 4; vgl. auch nachfolgende Erw. 5c) nur schwer vereinbaren. Eine wesentliche Straffung der Prozessdauer liesse sich indessen auch mit einer Änderung der Rechtsprechung über die Anfechtbarkeit von Kostenvorschussverfügungen in dem Sinne, dass entsprechende Zwischenverfügungen erst im Rahmen eines gegen den verfahrensabschliessenden Endentscheid gerichteten Verwaltungsgerichtsbeschwerdeverfahrens einer gerichtlichen Überprüfung zugeführt werden können, kaum erreichen.
Der Problematik des nicht wieder gutzumachenden Nachteils, der grundsätzlich die Eröffnung eines Rechtsmittelwegs gebietet, könnte zwar in Fällen, in welchen der Aufforderung zur Leistung eines Kostenvorschusses nicht Folge geleistet wurde und deswegen ein Nichteintretensentscheid ergangen ist, begegnet werden, indem bei Bestätigung der Rechtmässigkeit der Kostenvorschussverfügung in dem gegen den verfahrensabschliessenden Nichteintretensentscheid gerichteten Verwaltungsgerichtsbeschwerdeverfahren jeweils eine neue Frist für die Erfüllung der geforderten Sicherstellung angesetzt würde. Die betroffene Partei, welche den verlangten Kostenvorschuss nicht bezahlen will oder kann, müsste es dann allerdings zunächst zu einem Nichteintretensentscheid kommen lassen, bevor sie überhaupt die Möglichkeit hätte, die nicht akzeptierte verfahrensleitende Anordnung gerichtlich überprüfen zu lassen. Eine Beschleunigung des Verfahrensablaufs wäre unter diesen Umständen - gesamthaft gesehen - nicht zu erwarten.
Wurde der Kostenvorschuss demgegenüber fristgerecht geleistet, würde die zur Zahlung aufgeforderte Partei bei einem materiellen Obsiegen zufolge der diesfalls vorzunehmenden Rückerstattung zum Vornherein keinen Nachteil erleiden.
Bei einem Unterliegen verbunden mit einer zu Lasten der vorschusspflichtigen Partei gehenden Kostenauferlegung könnte zwar immer noch auch nur im Kostenpunkt Verwaltungsgerichtsbeschwerde geführt werden. Bliebe diese aber ohne Erfolg, würden die Kosten mit dem geleisteten Vorschuss verrechnet, ohne dass die betroffene Person je die Möglichkeit gehabt hätte, in Kenntnis der Beurteilung der Kostenpflichtigkeit des Verfahrens durch eine gerichtliche Instanz zu entscheiden, ob sie auf einem - kostenpflichtigen - materiellen Entscheid bestehen oder aber ihre Beschwerde zurückziehen will. Solange bezüglich dieser grundsätzlichen Kostenfrage Unklarheit herrscht, kann ihr Entscheid so oder anders zu einem nicht wieder gutzumachenden Nachteil führen.
Entweder verzichtet sie auf Grund allenfalls unbegründeter Befürchtungen hinsichtlich möglicher Kostenfolgen auf eine Fortführung des Beschwerdeverfahrens oder aber sie sieht sich gezwungen, ein Kostenrisiko in Kauf zu nehmen, das sie bei Vorliegen einer gerichtlichen Bestätigung der Kostenpflichtigkeit des Verfahrens nicht zu tragen bereit wäre.
d) Da die in <ref-law> für eine selbstständige Anfechtung von Zwischenverfügungen genannte Voraussetzung des nicht wieder gutzumachenden Nachteils somit erfüllt ist und die betroffene Partei offensichtlich auch ein im Sinne von Art. 103 lit. a OG schutzwürdiges Interesse an einer gerichtlichen Überprüfung der Kostenpflichtigkeit des Beschwerdeverfahrens noch vor Erlass des verfahrensabschliessenden Endentscheids hat, ist eine Änderung der bisherigen Rechtsprechung über die Anfechtbarkeit von Kostenvorschussverfügungen nicht zu rechtfertigen. Auf die Verwaltungsgerichtsbeschwerde ist demzufolge einzutreten.
3.- a) Die Eidgenössische Rekurskommission geht in der angefochtenen Zwischenverfügung vom 22. März 2000 davon aus, dass es sich beim Streit über die Beitragspflicht um ein kostenpflichtiges Verfahren handelt, was sie damit begründet, dass sich gemäss dem Verweis in Art. 26 der Verordnung vom 3. Februar 1993 über Organisation und Verfahren eidgenössischer Rekurs- und Schiedskommissionen (SR 173. 31) die Verfahrenskosten nach <ref-law> richten; des Weitern dürften laut Art. 4b der Verordnung vom 10. September 1969 über Kosten und Entschädigungen im Verwaltungsverfahren (SR 172. 041.0) - ausser bei mutwilliger oder leichtfertiger Beschwerdeführung - lediglich in Leistungsstreitigkeiten keine Verfahrenskosten erhoben werden. Im Übrigen verweist die Rekurskommission auf Art. 134 OG, welcher für das Verwaltungsgerichtsbeschwerdeverfahren vor dem Eidgenössischen Versicherungsgericht Kostenlosigkeit ebenfalls nur für Fälle vorsieht, in welchen es um die Bewilligung oder Verweigerung von Versicherungsleistungen geht.
b) Der Beschwerdeführer wendet demgegenüber ein, für eine Kostenerhebung in nicht Versicherungsleistungen betreffenden Verfahren fehle es an einer klaren gesetzlichen Grundlage; die Praxis der Eidgenössischen Rekurskommission widerspreche überdies <ref-law>, welcher auch für sie Geltung habe. Im Übrigen macht er geltend, die streitige Beitragspflicht lasse sich nicht von der Frage nach zukünftigen Leistungen trennen; zudem sei die Kostenerhebung im Sinne von Art. 4a der Verordnung über Kosten und Entschädigungen im Verwaltungsverfahren unverhältnismässig.
4.- a) Laut <ref-law> entscheiden die kantonalen Rekursbehörden über Beschwerden (Satz 1); über Beschwerden von Personen im Ausland entscheidet die eidgenössische Rekursbehörde (Satz 2).
Nach <ref-law> regeln die Kantone das Rekursverfahren (Satz 1), welches bestimmten Anforderungen zu genügen hat (Satz 2). So muss das Verfahren gemäss <ref-law> einfach, rasch und für die Parteien grundsätzlich kostenlos sein, wobei jedoch in Fällen leichtsinniger oder mutwilliger Beschwerdeführung dem Beschwerdeführer eine Spruchgebühr und die Verfahrenskosten auferlegt werden können.
Gemäss <ref-law> bestellt der Bundesrat die eidgenössische Rekursbehörde (Satz 1). Nach Abs. 2 derselben Bestimmung regelt er ihre Organisation und ernennt ihre Mitglieder (Satz 1). Abs. 3 von <ref-law> schliesslich sieht vor, dass ein einzelnes vollamtliches Mitglied mit summarischer Begründung auf Nichteintreten oder Abweisung erkennen kann, wenn die Vorprüfung vor oder nach einem Schriftenwechsel ergibt, dass die Beschwerde unzulässig oder offensichtlich unbegründet ist (Satz 1); im Übrigen gilt das Verwaltungsverfahrensgesetz (Satz 2).
b) Nach Art. 63 Abs. 1 des auf den 1. Oktober 1969 in Kraft getretenen VwVG auferlegt die Beschwerdeinstanz in der Entscheidungsformel die Verfahrenskosten, bestehend aus Spruchgebühr, Schreibgebühren und Barauslagen, in der Regel der unterliegenden Partei (Satz 1); unterliegt diese nur teilweise, so werden die Verfahrenskosten ermässigt (Satz 2); ausnahmsweise können sie erlassen werden (Satz 3).
<ref-law> sieht vor, dass die Beschwerdeinstanz vom Beschwerdeführer einen Kostenvorschuss in der Höhe der mutmasslichen Verfahrenskosten erhebt (Satz 1); sie setzt zu dessen Leistung unter der Androhung des Nichteintretens eine angemessene Frist (Satz 2); wenn besondere Gründe vorliegen, kann sie auf die Erhebung des Kostenvorschusses ganz oder teilweise verzichten (Satz 3).
Gemäss Abs. 5 von <ref-law> regelt der Bundesrat die Bemessung der Gebühren. Unter anderm gestützt auf diese Bestimmung hat er die ebenfalls am 1. Oktober 1969 in Kraft getretene Verordnung vom 10. September 1969 über Kosten und Entschädigungen im Verwaltungsverfahren (SR 172. 041.0) erlassen, welche in Art. 4b vorsieht, dass dem Beschwerdeführer in Streitigkeiten über die Bewilligung oder Verweigerung von Leistungen der Sozialversicherung keine Verfahrenskosten auferlegt werden, es sei denn, es handle sich um mutwillige oder leichtfertige Beschwerden.
c) Nach Abs. 1 von <ref-law>, welcher zusammen mit den Art. 71b und 71c VwVG im Rahmen der am 15. Februar 1992 in Kraft getretenen Revision des OG vom 4. Oktober 1991 auf den 1. Januar 1994 neu eingefügt worden ist, entscheiden, soweit andere Bundesgesetze es vorsehen, Schiedskommissionen als erste Instanzen und eidgenössische Rekurskommissionen als Beschwerdeinstanzen (Satz 1). Das Verfahren der Kommissionen bestimmt sich laut <ref-law> unter Vorbehalt von Art. 2 und 3 nach dem VwVG.
In Abs. 3 von Ziff. 1 der Schlussbestimmungen zur Änderung des OG vom 4. Oktober 1991 ist unter dem Titel 'Ausführungsbestimmungen' vorgesehen, dass der Bundesrat innert zweier Jahre seit Inkrafttreten des revidierten OG unter anderm Ausführungsbestimmungen über die Organisation und das Verfahren eidgenössischer Rekurs- und Schiedskommissionen im Sinne der Artikel 71a-71c VwVG erlässt (lit. a).
d) Laut Art. 26 der gestützt auf die eben erwähnte Schlussbestimmung zur Änderung des OG und die Art. 71a-71c VwVG erlassenen Verordnung vom 3. Februar 1993 über Organisation und Verfahren eidgenössischer Rekurs- und Schiedskommissionen (SR 173. 31) richten sich die Verfahrenskosten nach <ref-law> und - mit einer hier nicht interessierenden Ausnahme - nach der Verordnung vom 10. September 1969 über Kosten und Entschädigungen im Verwaltungsverfahren (vgl. Erw. 4b hievor in fine).
5.- a) Dem Wortlaut von Art. 84-85bis AHVG lässt sich nicht entnehmen, dass die für das Verfahren vor den kantonalen Rekursbehörden in <ref-law> vorgeschriebene Kostenlosigkeit auch für das Verfahren vor der Eidgenössischen Rekurskommission der AHV/IV für die im Ausland wohnenden Personen gilt. Andererseits ergibt sich aus dem Wortlaut der Art. 84-85bis AHVG auch nicht eindeutig, dass für die beiden Verfahren bezüglich der Kostenpflicht unterschiedliche Regeln gelten sollen.
b) Das Gesetz ist in erster Linie nach seinem Wortlaut auszulegen. Ist der Text nicht ganz klar und sind verschiedene Auslegungen möglich, so muss nach seiner wahren Tragweite gesucht werden unter Berücksichtigung aller Auslegungselemente, namentlich des Zwecks, des Sinnes und der dem Text zu Grunde liegenden Wertung. Wichtig ist ebenfalls der Sinn, der einer Norm im Kontext zukommt. Vom klaren, d.h. eindeutigen und unmissverständlichen Wortlaut darf nur ausnahmsweise abgewichen werden, u.a. dann nämlich, wenn triftige Gründe dafür vorliegen, dass der Wortlaut nicht den wahren Sinn der Bestimmung wiedergibt. Solche Gründe können sich aus der Entstehungsgeschichte der Bestimmung, aus ihrem Grund und Zweck oder aus dem Zusammenhang mit andern Vorschriften ergeben (<ref-ruling> Erw. 5b/aa, 127 V 5 Erw. 4a, 92 Erw. 1d, 198 Erw. 2c, je mit Hinweisen).
Eine historisch orientierte Auslegung ist für sich allein nicht entscheidend. Anderseits vermag aber nur sie die Regelungsabsicht des Gesetzgebers aufzuzeigen, welche wiederum zusammen mit den zu ihrer Verfolgung getroffenen Wertentscheidungen verbindliche Richtschnur des Richters und der Richterin bleibt, auch wenn sie das Gesetz mittels teleologischer Auslegung oder Rechtsfortbildung veränderten Umständen anpassen oder es ergänzen (<ref-ruling> Erw. 1b, 123 V 301 Erw. 6a mit Hinweisen).
c) Wie erwähnt, lässt sich auf Grund des Wortlauts der Art. 84-85bis AHVG nicht schlüssig sagen, wie weit der Verweis auf das VwVG in <ref-law> geht. Insbesondere ist nicht klar erkennbar, welche Auswirkungen er auf die Kostenfolge in Verfahren vor der Eidgenössischen Rekurskommission der AHV/IV für die im Ausland wohnenden Personen zeitigt. Es ist daher auf dem Auslegungsweg zu ermitteln, welche Bedeutung dem Verweis auf das VwVG im zweiten Satz des <ref-law> hinsichtlich der Kostenregelung zukommt.
Obschon die in Art. 85 Abs. 2 lit. a-h AHVG genannten Verfahrensvorschriften ausdrücklich für das kantonale Beschwerdeverfahren aufgestellt wurden, hat das Eidgenössische Versicherungsgericht in <ref-ruling> erkannt, dass nicht einzusehen wäre, weshalb <ref-law>, wonach das Verfahren einfach, rasch und für die Parteien grundsätzlich kostenlos sein muss, in Bezug auf die Einfachheit und Raschheit des Verfahrens nur für die kantonalen Rekursbehörden Verbindlichkeit haben sollte, während die Eidgenössische Rekursbehörde davon befreit wäre; eine solche Auslegung würde eine die Rechtsgleichheit verletzende Benachteiligung der im Ausland wohnenden Versicherten mit sich bringen, weshalb <ref-law> für die Eidgenössische Rekurskommission analog zu gelten habe (<ref-ruling> f. Erw. 4; vgl. auch <ref-ruling> Erw. 4 mit Hinweisen).
Um zu entscheiden, ob die bezüglich Einfachheit und Raschheit des Verfahrens analoge Anwendbarkeit von <ref-law> in Verfahren vor der Eidgenössischen Rekurskommission auch hinsichtlich der in dieser Bestimmung ebenfalls vorgeschriebenen Kostenlosigkeit gilt, müssen angesichts des verschiedene Interpretationen zulassenden Wortlauts der gesetzlichen Regelung, namentlich des Verweises in <ref-law>, weitere Auslegungskriterien herangezogen werden. Für die Gewinnung sachgerechter Erkenntnisse fallen dabei nebst den Schlüssen, die aus der systematischen Stellung der zur Diskussion stehenden Normen gezogen werden können, insbesondere die historische und die verfassungsbezogene Auslegungsmethode in Betracht.
6.- a) Aus gesetzessystematischer Sicht kann, nachdem mit <ref-law> eine Bestimmung speziell für die Eidgenössische Rekurskommission der AHV/IV für die im Ausland wohnenden Personen geschaffen worden ist, nicht ohne weiteres davon ausgegangen werden, dass der für die kantonalen Rekursbehörden geltende <ref-law> generell auch in Verfahren vor der Eidgenössischen Rekurskommission anwendbar ist. Die Eidgenössische Rekurskommission der AHV/IV für die im Ausland wohnenden Personen ist indessen die einzige der vier im Sozialversicherungsbereich tätigen Rekurskommissionen des Bundes (Beschwerdekommission der beruflichen Alters-, Hinterlassenen- und Invalidenvorsorge [Art. 74 BVG], Eidgenössische Rekurskommission für die Spezialitätenliste in der Krankenversicherung [<ref-law>], Eidgenössische Rekurskommission für die Unfallversicherung [<ref-law>]; vgl. Anhang I der Verordnung über Organisation und Verfahren eidgenössischer Rekurs- und Schiedskommissionen), deren sachliche Zuständigkeit sich mit derjenigen der kantonalen Rekursbehörden deckt. Aus diesem Grund wäre an sich zu erwarten gewesen, dass der Gesetzgeber Abweichungen von den für die kantonalen Beschwerdeinstanzen aufgestellten Verfahrensregeln ausdrücklich nennt.
b) Im Rahmen einer historisch orientierten Auslegung wird man sich vor Augen halten müssen, dass nach der Einführung der Alters- und Hinterlassenenversicherung im Jahre 1948 Beschwerdeverfahren vor der für Personen im Ausland zuständigen eidgenössischen Rekursbehörde für die Parteien über Jahre hinweg kostenlos waren.
aa) In der ursprünglichen Fassung des <ref-law> vom 20. Dezember 1946 (Bereinigte Sammlung der Bundesgesetze und Verordnungen 1848-1947, Band 8, S. 447) gab es für die eidgenössische Rekursinstanz noch keine gesetzliche Grundlage. Die Bestimmung sah lediglich vor, dass Beschwerden in erster Instanz von einer kantonalen Rekursbehörde beurteilt werden. Für diese enthielt <ref-law> einzelne Regeln, worunter in Abs. 2 auch die grundsätzliche Kostenlosigkeit des Beschwerdeverfahrens genannt wurde (Bereinigte Sammlung, a.a.O., S. 477 f.). Binswanger schreibt in seinem Kommentar zu <ref-law>, die kantonale Rechtspflege im Bereich der Alters- und Hinterlassenenversicherung bilde Teil der kantonalen Gerichtsbarkeit, weshalb die aus der kantonalen Rechtspflege erwachsenden Kosten von den Kantonen zu tragen seien (Peter Binswanger, Kommentar zum Bundesgesetz über die Alters- und Hinterlassenenversicherung, Zürich 1950/51, S. 303). Weiter weist er auf Art. 10 der bundesrätlichen Verordnung vom 14. Mai 1948 über die freiwillige Alters- und Hinterlassenenversicherung für Auslandschweizer (AS 1948 521) hin, wonach Beschwerden gegen Verfügungen der Ausgleichskasse für Auslandschweizer erstinstanzlich von einer besonderen Rekurskommission mit Sitz in Bern beurteilt werden (Binswanger, a.a.O., S. 302, insbes. Fn 9). Nach Art. 10 Abs. 3 dieser Verordnung war von der Rekurskommission ein Reglement über das Verfahren zu erlassen, in welchem Art. 85 Abs. 2 des Bundesgesetzes sinngemäss Anwendung findet. Gemäss Art. 13 Abs. 1 des gestützt auf diese Norm geschaffenen Reglements vom 6. September 1949 über Organisation und Verfahren der Rekurskommission der freiwilligen Alters- und Hinterlassenenversicherung für Auslandschweizer (AS 1949 1551) war das Verfahren für den Beschwerdeführer - vorbehältlich leichtsinniger oder mutwilliger Beschwerdeführung - kostenlos.
bb) Mit der durch Bundesratsbeschluss vom 20. April 1951 (AS 1951 394) erfolgten Einfügung von <ref-law> erhielt die eidgenössische Rekursbehörde - wiederum auf Verordnungsstufe - eine neue Grundlage, mit welcher ihre Zuständigkeit über jene für die im Ausland wohnenden schweizerischen Staatsangehörigen hinaus generell auf Personen ausgedehnt wurde, die im Ausland wohnen. Das Reglement vom 12. November 1952 über Organisation und Verfahren der Rekurskommission der Schweizerischen Ausgleichskasse (AS 1953 64) stützte sich nunmehr auf <ref-law>, wobei in Art. 14 Abs. 1 weiterhin die grundsätzliche Kostenlosigkeit des Verfahrens statuiert wurde. Nach dem gestützt auf die AHVV erlassenen Reglement der Rekurskommission war somit eine Gleichbehandlung mit den vor kantonalen Rekursbehörden prozessierenden Parteien gewährleistet.
cc) Erst im Rahmen der auf den 1. Januar 1954 in Kraft getretenen 2. Revision des AHVG (AS 1954 211) erhielt die eidgenössische Rekursbehörde eine gesetzliche Grundlage, indem in <ref-law> nunmehr neu auch von "der vom Bundesrat bestellten Rekurskommission für die in Artikel 62, Absatz 2, genannte Ausgleichskasse" die Rede war (vgl.
Botschaft des Bundesrates vom 5. Mai 1953; BBl 1953 II 136 f. und 144). Der Geltungsbereich von <ref-law> wurde dabei zwar nicht ausdrücklich auf die eidgenössische Rekursbehörde ausgedehnt; es wurde aus diesem Umstand aber auch nicht abgeleitet, dass <ref-law> für die im Gesetz nunmehr ausdrücklich genannte eidgenössische Rekursinstanz keine Geltung haben sollte.
Nach der Einführung des IVG vom 19. Juni 1959 (AS 1959 827), das in Art. 82 auch eine Änderung des <ref-law> vorsah (AS 1959 849; vgl. Botschaft des Bundesrates vom 24. Oktober 1958, BBl 1958 II 1285 f.), ging das am 19. November 1960 erlassene Reglement der Rekurskommission der Schweizerischen Ausgleichskasse (AS 1961 114) in Art. 14 Abs. 1 immer noch von der grundsätzlichen Kostenlosigkeit des Verfahrens aus.
dd) Mit dem auf den 1. Oktober 1969 erfolgten Inkrafttreten des VwVG vom 20. Dezember 1968 fielen auch die eidgenössischen Rekurskommissionen in dessen Anwendungsbereich (<ref-law>; Botschaft des Bundesrates vom 24. September 1965 über das Verwaltungsverfahren, BBl 1965 II 1359 f.). Die Regelung der Verfahrenskosten wurde im Wesentlichen von Art. 158 OG übernommen (BBl 1965 II 1372).
Mit der Revision des <ref-law> vom 15. Januar 1971 (AS 1971 30) ging die Zuständigkeit zum Erlass der Verfahrensordnung für die eidgenössische Rekursbehörde auf das Eidgenössische Departement des Innern über, welches deren Organisation festzulegen sowie ergänzende Bestimmungen zum VwVG zu erlassen hatte (<ref-law>). Indem die Möglichkeit einer Kostenauflage im zweiten Satz von <ref-law> nur für Fälle leichtsinniger oder mutwilliger Beschwerdeführung vorgesehen war, wurde die grundsätzliche Kostenlosigkeit nunmehr hier statuiert, sodass im gestützt darauf erlassenen Reglement vom 20. Januar 1971 über die Organisation und das Verfahren der Rekurskommission der Alters-, Hinterlassenen- und Invalidenversicherung für die im Ausland wohnenden Personen (AS 1971 214) auf eine Regelung der Kostenfolgen verzichtet werden konnte.
Die unter anderm gestützt auf <ref-law> und <ref-law> erlassene, für die Bereiche der Alters- und Hinterlassenen- sowie der Invalidenversicherung am 1. Oktober 1975 in Kraft getretene Verordnung vom 3. September 1975 über verschiedene Rekurskommissionen (AS 1975 1642) hielt demgegenüber in Art. 25 wiederum ausdrücklich fest, dass das Verfahren vor der Eidgenössischen Rekurskommission der Alters-, Hinterlassenen- und Invalidenversicherung für die im Ausland wohnenden Personen in der Regel - ausser bei mutwilliger oder leichtfertiger Beschwerdeführung - kostenlos ist (Satz 1).
c) Ohne ausdrückliche bundesgesetzliche Anordnung hielten sich die Ausführungsbestimmungen demnach immer noch an die für die kantonalen Rekursbehörden in <ref-law> vorgesehene Kostenlosigkeit. Obwohl das VwVG die allgemeine Kostenpflicht kennt und dieses Gesetz grundsätzlich auch im Verfahren vor der eidgenössischen Rekursinstanz anwendbar ist, blieb es somit zunächst auch nach der Schaffung des VwVG noch bei der Kostenfreiheit des Verfahrens.
Vor diesem Hintergrund mag der vom Beschwerdeführer eingenommene Standpunkt, wonach auch für nicht Versicherungsleistungen betreffende Verfahren vor der Eidgenössischen Rekurskommission der AHV/IV für die im Ausland wohnenden Personen von den Parteien keine Gerichtskosten erhoben werden dürfen, eine gewisse Stütze finden. Zu prüfen bleibt, ob dies auch unter Berücksichtigung der weiteren Entwicklung der gesetzlichen Ordnung zutrifft.
aa) Mit der Änderung des AHVG vom 24. Juni 1977 (9. AHV-Revision; AS 1978 391) wurde eigens für die für Personen im Ausland zuständige eidgenössische AHV/IV-Rekursbehörde der auf den 1. Mai 1978 vorzeitig in Kraft gesetzte <ref-law> geschaffen und <ref-law> entsprechend angepasst (vgl. Botschaft des Bundesrates vom 7. Juli 1976 über die neunte Revision der Alters- und Hinterlassenenversicherung, BBl 1976 III 66). Erst im Ständerat beantragte der Bundesrat die Einfügung des heutigen Abs. 3 von <ref-law>. Dies geschah vorwiegend im Hinblick auf die Ermöglichung eines summarischen Verfahrens bei aussichtslosen Beschwerden, wobei darauf hingewiesen wurde, dass ein solches zur Bewältigung der Geschäftslast der eidgenössischen Rekursinstanz vorzusehen sei, denn hier werde "sehr oft, weil das Verfahren gratis ist, 'probiert'" (Amtl. Bull. 1977 S 263 f. [Votum von Bundesrat Hürlimann]).
Die Räte gingen demnach immer noch von der Kostenlosigkeit des Verfahrens vor der Eidgenössischen Rekurskommission aus. Der in den Materialien nicht weiter begründete Verweis in <ref-law> auf das VwVG, das schon bisher anwendbar war, dürfte daher eher deklaratorischer Natur gewesen sein, dahin gehend zu verstehen, dass in Abweichung von der Regelung im VwVG auch eine Beschwerdeerledigung im summarischen Verfahren zulässig ist. Im Übrigen jedoch dürfte ein Abweichen von der bis dahin bestehenden Rechtslage vom Gesetzgeber nicht beabsichtigt gewesen sein.
bb) Dennoch findet sich in dem mit Verordnungsänderung vom 5. April 1978 (AS 1978 420) revidierten <ref-law> (AS 1978 435) keine Bestimmung mehr zur Kostenlosigkeit und in Art. 25 der Verordnung über verschiedene Rekurskommissionen in der Fassung vom 5. April 1978 (AS 1978 447) wird die Kostenfreiheit nur noch für Streitigkeiten über die Bewilligung oder Verweigerung von Versicherungsleistungen vorgesehen. Damit hat der Verordnungsgeber bezüglich der Überbindung der Kosten des Verfahrens vor der Eidgenössischen Rekurskommission erstmals eine Regelung getroffen, welche von der für die kantonalen Rekursbehörden massgebenden Ordnung abweicht. Ob er sich damit allenfalls über die vom Parlament beschlossene gesetzliche Grundlage hinweggesetzt hat, braucht angesichts der nachstehend dargelegten weiteren Entwicklung der gesetzgeberischen Tätigkeit im heutigen Zeitpunkt nicht mehr genauer untersucht zu werden.
cc) Im Zusammenhang mit der Revision des OG vom 4. Oktober 1991 (AS 1992 288) wurde für die eidgenössischen Rekurskommissionen mit den auf den 1. Januar 1994 in Kraft gesetzten Art. 71a-71c VwVG (AS 1992 306) ein neues gesetzliches Fundament geschaffen. <ref-law> besagt, dass sich das Verfahren der Kommissionen nach dem VwVG richtet. Gestützt auf Ziff. 1 (Ausführungsbestimmungen) Abs. 3 lit. a der Schlussbestimmungen zur Revision des OG (AS 1991 300) hat der Bundesrat am 3. Februar 1993 die Verordnung über Organisation und Verfahren eidgenössischer Rekurs- und Schiedskommissionen erlassen (AS 1993 879).
Bezüglich der Verfahrenskosten wird in deren Art. 26 (AS 1993 886) auf <ref-law> verwiesen, welcher keine Kostenlosigkeit vorsieht. Des Weitern wird auf die Verordnung vom 10. September 1969 über Kosten und Entschädigungen im Verwaltungsverfahren (AS 1969 760) verwiesen, welche in Art. 4b Kostenlosigkeit nur für Leistungsstreitigkeiten, nicht aber für die übrigen Verfahren vorsieht.
dd) Im Rahmen der Revision des OG hat sich der Gesetzgeber zwar nicht speziell mit der Kostenpflicht in Verfahren vor der Eidgenössischen Rekurskommission auseinander gesetzt. Es ging ihm vielmehr bloss um eine für alle Rekurskommissionen in gleicher Weise geltende verfahrensrechtliche Ordnung. Letztlich hat er sich in <ref-law> auf eine Wiederholung des schon in <ref-law> enthaltenen Verweises auf das VwVG und bezüglich der Verfahrenskosten somit auf <ref-law> beschränkt.
Damit steht auch der Verweis in Art. 26 der Verordnung über Organisation und Verfahren eidgenössischer Rekurs- und Schiedskommissionen in Einklang (vgl. auch <ref-law>, wonach Bestimmungen des Bundesrechts, die ein Verfahren eingehender regeln, Anwendung finden, soweit sie den Bestimmungen des VwVG nicht widersprechen).
Obschon die Kostenfreiheit schon mit Art. 25 der Verordnung über verschiedene Eidgenössische Rekurskommissionen in der Fassung vom 5. April 1978 auf Streitigkeiten über die Bewilligung oder Verweigerung von Versicherungsleistungen beschränkt worden war (Erw. 6c/bb hievor), sah sich der Gesetzgeber anlässlich der Revision des OG und der damit einhergehenden Einfügung des <ref-law> nicht zu einer ausdrücklichen Regelung der Kostenfolgen in Verfahren vor der Eidgenössischen Rekurskommission im Sinne einer Klarstellung oder gar einer Korrektur der bisherigen Praxis veranlasst. Es muss deshalb davon ausgegangen werden, dass er nunmehr mit einer Kostenerhebung zumindest in nicht Versicherungsleistungen betreffenden Verfahren vor der Eidgenössischen Rekurskommission einverstanden war. Daher verbietet sich die Annahme, die Preisgabe der Kostenfreiheit in solchen Streitigkeiten lasse sich mit dem gesetzgeberischen Willen nicht vereinbaren. Dem Eidgenössischen Versicherungsgericht verschliesst sich mithin trotz der unübersichtlichen gesetzlichen Grundlagen und der zufolge der zahlreichen Verweisungen nicht ohne weiteres klar erkennbaren Normenhierarchie die Möglichkeit, die in <ref-law> für das kantonale Beschwerdeverfahren vorgesehene generelle Kostenlosigkeit auf dem Wege der Gesetzesauslegung auch auf die Verfahren vor der Eidgenössischen Rekurskommission anwendbar zu erklären.
d) Die aktuell bestehende rechtliche Lage mag im Lichte einer verfassungsbezogenen Überprüfung zwar insofern unbefriedigend sein, als eine Ungleichbehandlung von Personen, die vor einer kantonalen Rechtsmittelinstanz Beschwerde führen können, und solchen, die sich dazu an die Eidgenössische Rekurskommission wenden müssen, hinzunehmen ist.
Auch liesse sich die Frage stellen, ob die unterschiedliche Regelung der Kostenfolgen in Streitigkeiten über Versicherungsleistungen einerseits und in den übrigen Verfahren andererseits, wie sie sich aus Art. 4b der Verordnung über Kosten und Entschädigungen im Verwaltungsverfahren ergibt, sachlich gerechtfertigt werden kann. Bedenken könnten sich in diesem Zusammenhang vor allem hinsichtlich der gesetzlichen Grundlage für die vom Bundesrat für Leistungsstreitigkeiten - abweichend von der nach VwVG massgebenden Regelung - eingeführte Kostenlosigkeit ergeben, sieht <ref-law> eine Kompetenzübertragung doch lediglich bezüglich der Gebührenregelung vor. Die Gesetz- und Verfassungsmässigkeit von Art. 4b der Verordnung über Kosten und Entschädigungen im Verwaltungsverfahren steht im vorliegenden Verfahren jedoch nicht zur Diskussion, weshalb darauf nicht weiter einzugehen ist. Festzuhalten bleibt einzig, dass sich unabhängig von der Zulässigkeit der in dieser Verordnungsbestimmung statuierten Kostenlosigkeit nirgends eine Verpflichtung des Verordnungsgebers ableiten lässt, Verfahren vor der Eidgenössischen Rekurskommission, in welchen es nicht um Versicherungsleistungen geht, ebenfalls von der Kostenpflichtigkeit auszunehmen.
7.- Wie sich aus <ref-law> (früher Art. 113 Abs. 3 und Art. 114bis Abs. 3 aBV) ergibt, ist das Eidgenössische Versicherungsgericht an die bestehende bundesgesetzliche Vorgabe gebunden. Es wäre Sache des Gesetzgebers, sollte er einen entsprechenden Handlungsbedarf sehen, bezüglich der Kostenregelung in Verfahren vor der Eidgenössischen Rekurskommission der AHV/IV für die im Ausland wohnenden Personen eine Regelung zu treffen, welche der im aktuell massgebenden Normengefüge formal unübersichtlichen und auch inhaltlich nicht ohne weiteres überzeugenden Rechtslage Abhilfe schafft.
a) Ein Blick auf die zur Zeit diskutierten gesetzgeberischen Vorhaben zeigt, dass sich im Bundesgesetz vom 6. Oktober 2000 über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG; BBl 2000 5041) keine Neuerungen finden, welche die Frage nach der Kostenpflicht in Verfahren vor der Eidgenössischen Rekurskommission der AHV/IV für die im Ausland wohnenden Personen betreffen. <ref-law> hält an der grundsätzlichen Kostenfreiheit in Verfahren vor den kantonalen Rekursbehörden fest (BBl 2000 5055), während <ref-law> im hier interessierenden Punkt keine Änderung erfährt (BBl 2000 5072; vgl. auch den Bericht der Kommission des Nationalrates für soziale Sicherheit und Gesundheit vom 26. März 1999, BBl 1999 4523, insbes. 4621). Auch im Rahmen der noch vorzunehmenden Anpassung des Anhangs zum ATSG ist bezüglich der Kostenfolge in Verfahren vor der Eidgenössischen Rekurskommission keine Bereinigung vorgesehen (Botschaft des Bundesrates vom 7. November 2001 über die Anpassung des Anhangs zum ATSG, BBl 2002 803, insbes. 809 ff., 852 f. und 855).
b) Hinzuweisen bleibt auf die Botschaft des Bundesrates vom 28. Februar 2001 zur Totalrevision der Bundesrechtspflege (BBl 2001 4202), aus der hervorgeht, dass mit der Einführung des Bundesgesetzes über das Bundesverwaltungsgericht (Verwaltungsgerichtsgesetz; VGG) auch eine Änderung von <ref-law> einhergehen soll, indem in Abs. 2 festgehalten wird, dass das Beschwerdeverfahren vor dem Bundesverwaltungsgericht für die Parteien grundsätzlich kostenlos ist, wenn es um Leistungen, Forderungen oder Anordnungen betreffend die AHV geht. Dazu wird in der Botschaft ausgeführt, Abs. 2 übernehme damit die Regel von <ref-law>, der für das Verfahren vor den kantonalen Versicherungsgerichten den Grundsatz der Kostenlosigkeit statuiert; die Tatsache, dass für AHV-Beschwerden von Personen im Ausland das Bundesverwaltungsgericht (und nicht die kantonalen Versicherungsgerichte) zuständig ist, dürfe nicht dazu führen, dass die Parteien der Kostenlosigkeit des Verfahrens verlustig gehen (BBl 2001 4459 und 4602).
8.- Nach dem Gesagten durfte die Eidgenössische Rekurskommission - gestützt auf die <ref-law>, 71a Abs. 2 VwVG sowie 26 der Verordnung über Organisation und Verfahren eidgenössischer Rekurs- und Schiedskommissionen, je in Verbindung mit Art. 63 Abs. 1 und 4 VwVG, sowie (e contrario) Art. 4b der Verordnung über Kosten und Entschädigungen im Verwaltungsverfahren (vgl.
Erw. 4 hievor) - die materielle Behandlung der gegen die Beitragsverfügungen der Schweizerischen Ausgleichskasse vom 14. Mai 1999 erhobenen Beschwerde von der vorgängigen Bezahlung eines Kostenvorschusses abhängig machen. Inwiefern dies oder der verlangte Betrag von Fr. 1000.- unverhältnismässig sein sollte, ist nicht ersichtlich und wird in der Verwaltungsgerichtsbeschwerde auch nicht weiter dargelegt.
9.- Dem Beschwerdeführer muss indessen die Möglichkeit eingeräumt werden, den von der Eidgenössischen Rekurskommission verlangten Kostenvorschuss noch zu bezahlen. Entgegen einer früheren Praxis wird ihm die dazu zu gewährende neue Frist nicht mehr vom Eidgenössischen Versicherungsgericht, sondern von der Eidgenössischen Rekurskommission, welcher die weitere Verfahrensleitung obliegt, angesetzt.
10.- Das Verfahren vor dem Eidgenössischen Versicherungsgericht ist kostenpflichtig, weil ebenfalls nicht die Bewilligung oder Verweigerung von Versicherungsleistungen, sondern mit der Zulässigkeit des verlangten Kostenvorschusses ausschliesslich eine prozessrechtliche Frage zu beurteilen war (Umkehrschluss aus Art. 134 OG). Die Kosten sind vom unterliegenden Beschwerdeführer zu tragen (Art. 156 Abs. 1 in Verbindung mit Art. 135 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
III. Dieses Urteil wird den Parteien, der Eidgenössischen Rekurskommission der AHV/IV für die im Ausland wohnenden Personen und dem Bundesamt für Sozialversicherung
zugestellt.
Luzern, 5. März 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der I. Kammer:
Der Gerichtsschreiber: