Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Das gegen die beiden Urteile des Eidgenössischen Versicherungsgerichts vom 16. Dezember 1994 und 9. September 1997 gerichtete Revisionsgesuch hat dieselben Rechtsfragen zum Gegenstand, weshalb es sich rechtfertigt, die beiden Verfahren zu vereinigen und in einem einzigen Urteil zu erledigen (vgl. <ref-ruling> Erw. 1, 120 V 466 Erw. 1 mit Hinweisen).
2.- In seiner Eingabe an die Schweizerische Ausgleichskasse vom 4. Februar 1998 ruft der Versicherte den Revisionsgrund von Art. 137 lit. b OG an, indem er geltend macht, die bisher ergangenen Urteile seien unrichtig gewesen, da er bis 13. Mai 1991 der jugoslawischen Rentenversicherung der Landwirte angehört habe, wie die beiliegende Bescheinigung vom 16. Januar 1998 bestätige. Die IV-Stelle hat das Gesuch daher richtigerweise dem Eidgenössischen Versicherungsgericht zur Beurteilung überwiesen. Das Revisionsgesuch ist nach Massgabe von Art. 140 OG genügend substanziiert und mit Blick auf die amtliche Weiterleitungspflicht (<ref-ruling>) als rechtzeitig zu betrachten (Art. 141 Abs. 1 lit. b OG).
3.- a) Nach Art. 137 lit. b in Verbindung mit Art. 135 OG ist die Revision eines Urteils des Eidgenössischen Versicherungsgerichts u.a. zulässig, wenn der Gesuchsteller nachträglich neue erhebliche Tatsachen erfährt oder entscheidende Beweismittel auffindet, die er im früheren Verfahren nicht beibringen konnte.
Als "neu" gelten Tatsachen, welche sich bis zum Zeitpunkt, da im Hauptverfahren noch tatsächliche Vorbringen prozessual zulässig waren, verwirklicht haben, jedoch der um Revision ersuchenden Person trotz hinreichender Sorgfalt nicht bekannt waren. Die neuen Tatsachen müssen ferner erheblich sein, d.h. sie müssen geeignet sein, die tatbeständliche Grundlage des angefochtenen Urteils zu verändern und bei zutreffender rechtlicher Würdigung zu einer andern Entscheidung zu führen (<ref-ruling> Erw. 2, 293 Erw. 2a, 108 V 171 Erw. 1; vgl. auch <ref-ruling>).
b) Um die im Zeitpunkt des Versicherungsfalles (Art. 29 Abs. 1 in Verbindung mit Art. 4 Abs. 2 und Art. 6 Abs. 1 IVG in der bis 31. Dezember 2000 geltenden Fassung) vorausgesetzte Versicherteneigenschaft zu erfüllen, muss der aus der ehemaligen Föderativen Volksrepublik Jugoslawien stammende Staatsangehörige im Sinne des Art. 8 lit. b des Abkommens zwischen der Schweizerischen Eidgenossenschaft und der Föderativen Volksrepublik Jugoslawien über Sozialversicherung vom 8. Juni 1962 der jugoslawischen Versicherung angehören. Dies trifft zu, wenn die Person tatsächlich Beiträge an die jugoslawische Versicherung leistet.
Nicht dazu zählen Bezüger einer jugoslawischen Invalidenrente.
Zu berücksichtigen sind auch Zeiten, die nach der jugoslawischen Gesetzgebung den eigentlichen Beitragszeiten gleichgestellt sind (ZAK 1989 S. 449 Erw. 3a, 1987 S. 440 Erw. 2c).
Mit Schreiben vom 14. Januar 1992 übermittelte die zuständige Landesstelle des jugoslawischen Versicherungsträgers der Ausgleichskasse das Formular "YU/CH4" (zur Bedeutung der darin enthaltenen Angaben bezüglich jugoslawischer Versicherungszeiten vgl. ZAK 1989 S. 450 Erw. 4).
Unter der Rubrik Beitragszeiten in Jugoslawien war die Periode von 1952 bis 1985 verzeichnet. Am 16. Januar 1998 teilte der jugoslawische Versicherungsträger offiziell mit, dass der Gesuchsteller bis zum 13. Mai 1991 Beiträge an die jugoslawische Sozialversicherung geleistet hat. Zudem liegt ein vom 18. August 1998 datierter Auszug aus dem Formular "YU/CH4" bei den Akten, welcher dies bestätigt.
c) Der Umstand, wonach der Gesuchsteller tatsächlich bis 13. Mai 1991 Beiträge an die jugoslawische Rentenversicherung geleistet und damit bei Eintritt der Invalidität am 5. Juni 1990 im Sinne von Art. 8 lit. b des schweizerisch-jugoslawischen Abkommens versichert war, stellt eine materiell rechtserhebliche Tatsache dar. Diese Tatsache ist - analog einer nachträglich bestätigten, zur Zugehörigkeit zur italienischen Sozialversicherung führenden Rentenberechtigung (nicht veröffentlichtes Urteil Z. vom 7. Oktober 1997, I 272/97) - durchaus als revisionsbegründend im Sinne von Art. 137 lit. b OG zu betrachten. Es handelt sich dabei um eine vorbestandene Tatsache, welche erst mit den neuen Mitteln bewiesen werden konnte. Der Gesuchsteller konnte das Beweismittel nicht bereits in den früheren Verfahren beibringen, weil es damals noch nicht vorlag. Die neue Tatsache führt zudem zu einem anderen Urteil. Das Revisionsgesuch erweist sich daher als begründet, was die Aufhebung der Urteile vom 16. Dezember 1994 und vom 9. September 1997 zur Folge hat.
4.- a) Gemäss Art. 144 Abs. 1 OG in Verbindung mit Art. 135 OG hat das Eidgenössische Versicherungsgericht nicht nur in der Sache selber zu entscheiden, sondern es befindet gleichzeitig über die Rückleistung bezüglich Hauptsache und Kosten. Entsprechend hat der Gesuchsteller anzugeben, welche Rückleistung verlangt wird (Art. 140 OG).
Die Wirkung der Gutheissung der Revision besteht darin, dass das angefochtene Urteil aufgehoben und das Verfahren in den Stand vor der Urteilsfällung zurückversetzt wird, damit neu entschieden werden kann (Urteil vom 18. Februar 2000, I 21/99; vgl. auch <ref-ruling> Erw. 3a und b; Poudret, Commentaire de la loi fédérale d'organisation judiciaire, Bd. V, S. 72). Es ist daher über den Rentenanspruch auf Grund der den Urteilen vom 16. Dezember 1994 und 9. September 1997 zu Grunde liegenden Situation zu entscheiden, mit der Änderung, dass die versicherungsmässigen Voraussetzungen als erfüllt zu gelten haben.
b) Mit der revisionsweisen Aufhebung der beiden ersten Urteile stehen die gegen die kantonalen Rekursentscheide erhobenen Verwaltungsgerichtsbeschwerden des Gesuchstellers wieder unbehandelt im Raum. Über diese ist nunmehr zu befinden (vgl. <ref-ruling> Erw. 3b und c). Damals hatte der Gesuchsteller die Zusprechung einer Rente von 40 - 50 % (Verwaltungsgerichtsbeschwerde im Verfahren I 178/94) und eine Rente von mindestens Fr. 350.- bis Fr. 400.- im Monat (Verwaltungsgerichtsbeschwerde im Verfahren I 267/97) beantragt.
Im Revisionsgesuch macht er eine Verschlechterung des Gesundheitszustandes geltend und beantragt sinngemäss eine ganze Rente.
5.- a) Im Anschluss an das Gesuch vom 4. Februar 1998 zog die IV-Stelle nebst den bisherigen Akten weitere medizinische Unterlagen bei und unterbreitete diese den Ärzten der IV-Stelle, Dr. med. R._ (Stellungnahme vom 10. März 1999) und Dr. med. Z._ (Stellungnahme vom 8. Oktober 1999).
Gemäss Bericht der Invalidenkommission in Belgrad vom 27. Dezember 1991 leidet der Versicherte an chronischer obstruktiver Bronchitis, Lungenemphysem, Osteoarthrose, zervikaler und lumbaler Spondylose mit Discarthrose C5-6 und L5 S1, Gonarthrose beidseits und depressivem neurasthenischem Syndrom. Die Ärzte bezeichneten ihn deswegen als zu 80 % arbeitsunfähig mit der Präzisierung, dass er seine bisherige Tätigkeit als Maurer nicht mehr ausüben könne und ihm auch jede andere entsprechende Arbeit nicht möglich sei; er sei seit dem 13. Mai 1991 Invalider der ersten Kategorie.
Die Akten wurden dem Arzt der IV-Stelle, Dr. med.
R._, unterbreitet, welcher in seiner Stellungnahme vom 13. März 1993 keine Invalidität feststellte, um sich dann am 16. Juli 1993 eher für eine 50 %-ige Invalidität auszusprechen mit dem Vorbehalt, dass ein anderer Arzt über die Arbeitsunfähigkeit befinde, da es sich beim Versicherten um einen ehemaligen Patienten handle. Dr. med.
Z._ äusserte sich sodann am 27. September 1993 dahingehend, dass er angesichts der Hauptdiagnosen rezidivierende Bronchitiden sowie degenerativ und statisch-dynamisch bedingte Rückenbeschwerden eine Arbeitsunfähigkeit von 80 % für jegliche Tätigkeiten nicht nachvollziehen könne.
Vielmehr sei ab Unfalldatum vom 5. Juni 1989 eine Arbeitsunfähigkeit als Maurer von 60 % und für leichte rückenschonende Verweisungstätigkeiten von 40 % anzunehmen.
In Betracht kämen Arbeiten wie Hilfsportier, Aufsicht, Verkehrsregelung bei Baustellen, leichte Magazinerarbeit, Tankstelle. Diese Beurteilung des Dr. med. Z._ ist schlüssig nachvollziehbar, während es mit Bezug auf die Schätzung der Ärzte in Belgrad mangels differenzierter Angaben zumindest zweifelhaft erscheint, dass sich die Prozentangabe tatsächlich auch auf leichtere Verweisungstätigkeiten bezieht. Gemäss Austrittsbericht des Rheumatologischen Instituts in Y._ vom 30. Juni 1995 bestand eine Arbeitsunfähigkeit für körperlich anstrengende und in gebückter Haltung auszuübende Arbeiten. Weiteren aus dem ehemaligen Jugoslawien stammenden Berichten vom Oktober 1998 lässt sich sodann entnehmen, dass sich der Gesundheitszustand verschlechtert hat, wobei sich nebst einer Zunahme der Wirbelsäulen- und Bandscheibensituation vor allem auch Kreislaufprobleme behindernd auswirkten. Gestützt auf diese medizinischen Unterlagen kam Dr. med.
Z._ am 8. Oktober 1999 zum Schluss, dass der Versicherte nunmehr als Maurer zu 90 % und in einer leichteren Verweisungstätigkeit zu 60 % arbeitunfähig zu betrachten sei. Der Gesuchsteller bringt nichts vor, was zu einer anderen Beurteilung zu führen vermöchte. Insbesondere liegt auch nichts vor, was auf mangelnde Objektivität und auf Befangenheit des Dr. med. Z._ schliessen lässt.
Umstände, welche das Misstrauen in die Unparteilichkeit der Beurteilung objektiv als begründet erscheinen liessen, werden weder geltend gemacht noch sind sie aus den Akten ersichtlich.
b) Die IV-Stelle hat sodann einen Einkommensvergleich vorgenommen, welcher ergab, dass bezogen auf dem Versicherten zumutbare Verweisungstätigkeiten ab 5. Juni 1989 bei einer Arbeitsunfähigkeit von 40 % ein Invaliditätsgrad von 53 % und ab 30. Oktober 1998 bei einer Arbeitsunfähigkeit von 60 % ein Invaliditätsgrad von 72 % besteht. Gegen die Ermittlung des Invaliditätsgrades wurden seitens des Gesuchstellers keine Einwendungen vorgebracht und auch die Akten ergeben keine Anhaltspunkte, welche zu einer anderen Betrachtungsweise führen würden.
6.- a) Der Gesuchsteller meldete sich am 14. Januar 1992 zum Rentenbezug an, wobei eine rentenbegründende Invalidität - nach einjähriger Arbeitsunfähigkeit von mindestens 40 % seit 5. Juni 1989 (vgl. <ref-law>) - ab 5. Juni 1990 vorlag. Die Nachzahlung der Rentenleistungen richtet sich nach <ref-law>. Gemäss Absatz 1 dieser Bestimmung erlischt der Anspruch auf Nachzahlung von Leistungen mit dem Ablauf von fünf Jahren seit Ende des Monats, für welchen die Leistung geschuldet war. Meldet sich jedoch ein Versicherter mehr als 12 Monate nach Entstehen des Anspruchs an, so werden die Leistungen lediglich für die 12 der Anmeldung vorangehenden Monate ausgerichtet.
Weitergehende Nachzahlungen werden erbracht, wenn der Versicherte den anspruchsbegründenden Sachverhalt nicht kennen konnte und die Anmeldung innert 12 Monaten seit Kenntnisnahme vornimmt (Abs. 2; vgl. dazu <ref-ruling>). Da die Anmeldung am 14. Januar 1992 erfolgte, kann der Gesuchsteller die Nachzahlung ab 1. Januar 1991 beanspruchen. Hätte die Anerkennung der Versicherteneigenschaft des Gesuchstellers schon im Zeitpunkt des Haupturteils vom 16. Dezember 1994 (und vom 9. September 1997) vorgelegen, hätte das Eidgenössische Versicherungsgericht in diesem Sinne entschieden.
Wenn die IV-Stelle gemäss ihren Ausführungen im Übermittlungsschreiben vom 28. Februar 2000 das Revisionsgesuch vom 4. Februar 1998 als Neuanmeldung betrachtet und die Nachzahlung rückwirkend bis 1. Februar 1993 festlegen will, kann ihr somit nicht beigepflichtet werden.
b) Zusammenfassend ergibt sich somit, dass ab 1. Januar 1991 bei einem Invaliditätsgrad von über 50 % Anspruch auf eine halbe und (in Anwendung von <ref-law>) ab 1. Januar 1999 bei einem Invaliditätsgrad von mehr als zwei Dritteln auf eine ganze Invalidenrente besteht. Die um die im Revisionsgesuch gestellten materiellen Begehren erweiterten Verwaltungsgerichtsbeschwerden in den Verfahren I 178/94 und I 267/97 sind in diesem Sinne teilweise gutzuheissen und die Entscheide der Rekurskommission vom 10. Februar 1994 und vom 16. April 1997 sowie die Verfügungen der Schweizerischen Ausgleichskasse vom 30. Juni 1993 und 5. Dezember 1995 aufzuheben.
7.- Weil das Gesuch gutzuheissen und die Revision zu gewähren ist, hat der obsiegende Gesuchsteller für die Vertretung im Revisionsverfahren vor dem Eidgenössischen Versicherungsgericht Anspruch auf Parteientschädigung. Rechtsberater Gojko Reljic macht eine Entschädigung von Fr. 2500.- geltend. Bei fachlich ausgewiesenen nichtanwaltlichen Vertretungen wird die Parteientschädigung praxisgemäss in der Regel auf Fr. 2000.- (80 % des Normalansatzes für anwaltliche Vertretung) festgelegt. Im vorliegenden Fall rechtfertigt sich eine Parteientschädigung von Fr. 1500.-.
Für die ersten beiden Verfahren vor dem Eidgenössischen Versicherungsgericht fehlt die Grundlage für die Zusprechung einer Parteientschädigung mangels anspruchsberechtigter qualifizierter Vertretung.

Demnach erkennt das Eidg. Versicherungsgericht:
I. In Gutheissung des Revisionsgesuches werden die Urteile
des Eidgenössischen Versicherungsgerichts vom 16. Dezember 1994 und 9. September 1997 aufgehoben.
II. In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerden werden die Entscheide der Eidgenössischen Rekurskommission der AHV/IV für die im Ausland wohnenden
Personen vom 10. Februar 1994 und 16. April 1997
und die Verfügungen der Schweizerischen Ausgleichskasse
vom 30. Juni 1993 und 5. Dezember 1995 aufgehoben,
und es wird festgestellt, dass der Gesuchsteller ab
1. Januar 1991 Anspruch auf eine halbe und ab 1. Januar
1999 auf eine ganze Invalidenrente hat.
III. Es werden keine Gerichtskosten erhoben.
IV. Die IV-Stelle für Versicherte im Ausland hat dem Gesuchsteller für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung
von Fr. 1500.- (einschliesslich Mehrwertsteuer) zu
bezahlen.
V. Dieses Urteil wird den Parteien, der Eidgenössischen
Rekurskommission der AHV/IV für die im Ausland wohnenden
Personen, der Schweizerischen Ausgleichskasse und
dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 13. Juni 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Die Gerichtsschreiberin: