Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- a) Die Vorinstanz hat den Grundsatz über die in zeitlicher Hinsicht massgebenden Rechtssätze (<ref-ruling> Erw. 1 mit Hinweis), die für die Angehörigen des heutigen Jugoslawien weiterhin anwendbaren (<ref-ruling> Erw. 3) Staatsvertragsbestimmungen über die Versicherteneigenschaft als Voraussetzung für den Leistungsanspruch gegenüber der Invalidenversicherung (Art. 1, 2 und 8 lit. b des Abkommens zwischen der Schweizerischen Eidgenossenschaft und der Föderativen Volksrepublik Jugoslawien über Sozialversicherung vom 8. Juni 1962) sowie die gesetzlichen Bestimmungen und Grundsätze über die versicherten Personen (<ref-law> in Verbindung mit Art. 1 Abs. 1 lit. a und b AHVG), über die versicherungsmässigen Voraussetzungen des Leistungsanspruchs (<ref-law> in der vorliegend anwendbaren, bis 31. Dezember 2000 gültig gewesenen Fassung) und über den Beginn des Rentenanspruchs (Art. 29 Abs. 1 lit. a und b IVG; Art. 29 und 29ter IVV; <ref-ruling> Erw. 6, 119 V 102 Erw. 4a, 111 V 21 ff., 105 V 159 Erw. 2a; AHI 1998 S. 124 Erw. 3c mit Hinweisen) zutreffend dargelegt. Richtig sind ferner die vorinstanzlichen Erwägungen zur Frage, unter welchen Voraussetzungen ein jugoslawischer Staatsangehöriger nach der Rechtsprechung (ZAK 1989 S. 449 Erw. 3a, 1987 S. 443 Erw. 2c; nicht veröffentlichtes Urteil B. vom 3. April 1998, I 516/97) als der jugoslawischen Versicherung angehörend und damit als versichert im Sinne von Art. 8 lit. b des Staatsvertrages gilt. Darauf kann verwiesen werden.
b) Im angefochtenen Entscheid wird einlässlich und zutreffend dargelegt, dass der Verstorbene bei Eintritt der Invalidität mangels Wohnsitzes oder Ausübung einer Erwerbstätigkeit in der Schweiz nach innerstaatlichem Recht nicht versichert war. Ebenso ist der Vorinstanz beizupflichten, dass keine Versicherteneigenschaft nach Staatsvertrag gegeben war, weil der Verstorbene in seiner Heimat keine Beitragszeiten oder diesen gleichgestellte Zeiten aufgewiesen hat. In der Verwaltungsgerichtsbeschwerde werden keine Einwendungen vorgebracht, die zu einer anderen Beurteilung führen könnten, weshalb der Rentenanspruch von Verwaltung und Vorinstanz zu Recht abgelehnt wurde.
2.- Da die Verwaltungsgerichtsbeschwerde offensichtlich unbegründet ist, wird sie im Verfahren nach Art. 36a OG erledigt.

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, der Eidgenössischen Rekurskommission der AHV/IV für die im Ausland wohnenden Personen, der Schweizerischen Ausgleichskasse und
dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 13. Juni 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Der Gerichtsschreiber: