Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Die Rekurskommission hat die massgeblichen gesetzlichen Vorschriften (Art. 4, 28 Abs. 1 und 1ter, 29 IVG) und die anwendbaren Staatsvertragsbestimmungen (Art. 4 in Verbindung mit Art. 2 und 3 des Abkommens der Schweizerischen Eidgenossenschaft und der Republik Österreich über Soziale Sicherheit vom 15. November 1967) über die Entstehung des Anspruchs österreichischer Staatsangehöriger auf eine Invalidenrente zutreffend dargestellt. Auf diese Erwägungen wird verwiesen.
2.- Streitig ist einzig, ob M._ im Zeitpunkt des Eintritts des Versicherungsfalles nach den staatsvertraglichen Vereinbarungen versichert war.
a) Soweit der Anspruch auf ordentliche schweizerische Renten vom Bestehen eines Versicherungsverhältnisses im Zeitpunkt des Versicherungsfalles abhängig ist, gelten gemäss Art. 23 lit. a des schweizerisch-österreichischen Sozialversicherungsabkommens als Versicherte auch österreichische Staatsbürger, die im Zeitpunkt des Versicherungsfalles in der österreichischen Pensions(Renten)versicherung versichert sind. Diesen gleichgestellt sind u.a. Personen, die Kranken- oder Wochengeld auf Grund gesetzlicher Versicherung (Ziff. 9 lit. a/bb des Schlussprotokolls zum Sozialversicherungsabkommen) oder wegen Arbeitslosigkeit eine Geldleistung der Arbeitslosenversicherung (Ziff. 9 lit. a/cc des Schlussprotokolls zum Sozialversicherungsabkommen) beziehen.
b) Unbestrittenermassen trat der Versicherungsfall nach Ablauf der Wartezeit von einem Jahr (<ref-law>) am 11. November 1993 ein.
aa) Gemäss staatsvertragskonformer Bescheinigung des österreichischen Versicherungsträgers auf dem Formular A/CH 4.3.1 vom 6. Februar 1987 weist der Beschwerdegegner in Österreich Beitragszeiten bis zum 19. Mai 1985 auf. Als gleichgestellte Zeiten werden im genannten Formular der Bezug von Kranken- oder Wochengeld vom 20. Mai 1985 bis 17. November 1985 sowie Arbeitslosengeld vom 20. Dezember 1985 bis zum 31. August 1986 gemeldet. Nachdem die Schweizerische Ausgleichskasse am 15. November 1994 Auskunft darüber wollte, ob M._ am 12. Juli 1994 Beiträge an die österreichische Pensions(Renten)versicherung entrichtet oder gleichgestellte Leistungen bezogen habe, teilte ihr der Versicherungsträger am 28. November 1994 mit, die genannte Person sei seit dem 21. März 1994 bis laufend als Arbeiter in der Pensionsversicherung pflichtversichert.
bb) Anlässlich der medizinischen Abklärungen des österreichischen Versicherungsträgers vom 12. Juli 1993 gab M._ an, als Koch in einem Wiener Restaurant zu arbeiten. Dies veranlasste die IV-Stelle, die erwerblichen Verhältnisse abzuklären. Dem Fragebogen für den Arbeitgeber vom 20. Oktober 1993 lässt sich entnehmen, dass der Beschwerdegegner seit dem 5. November 1991 beim Restaurant B._ arbeitete. Dieses Arbeitsverhältnis bestand bei der Erstellung des Fragebogens immer noch, doch wird unter Ziff. 12 "Allfällige Bemerkungen" vermerkt, der Vertrag sei am 15. Oktober 1993 gekündigt worden. Die Tragweite dieser Kündigung ist unklar (Kündigungsfrist, Auflösungszeitpunkt, letzter Arbeitstag, usw. ). Da die Arbeitgeberin im Fragebogen keinen Beendigungstermin angab, wird wohl davon auszugehen sein, dass die Vertragsauflösung offenbar nicht fristlos erfolgte. Die Darstellungen des Beschwerdegegners im Schreiben an die IV-Stelle vom 2. Oktober 1994 vermögen die Unklarheiten nicht zu beseitigen. Denn einerseits gibt er an, der Betrieb sei am 31. Oktober 1993 geschlossen worden, macht andererseits jedoch geltend, bis zum 1. Januar 1992(?) gearbeitet zu haben.
c) Nach dem Gesagten lässt sich anhand der vorliegenden Akten nicht zuverlässig feststellen, ob M._ im entscheidrelevanten Zeitpunkt vom 10. November 1993 (Ablauf der Wartezeit) beim österreichischen Versicherungsträger auf Grund einer Arbeitnehmertätigkeit pflichtversichert war oder allenfalls gleichgestellte Leistungen (insbesondere Arbeitslosengeld) bezogen hat. Die IV-Stelle wird den massgeblichen Sachverhalt daher ergänzen.

Demnach erkennt das Eidg. Versicherungsgericht:
I.In Gutheissung der Verwaltungsgerichtsbeschwerde werden der Entscheid der Eidgenössischen Rekurskommission der AHV/IV für die im Ausland wohnenden Personen vom 7. Oktober 1999 und die Verfügung der IV-Stelle für Versicherte im Ausland vom 28. November 1996 aufgehoben, und es wird die Sache an die IV-Stelle für Versicherte im Ausland zurückgewiesen, damit sie nach erfolgter Aktenergänzung über den Anspruch des Beschwerdegegners auf eine Invalidenrente neu verfüge.
II.Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, der Eidgenössischen Rekurskommission der AHV/IV für die im Ausland wohnenden Personen, der Schweizerischen Ausgleichskasse und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 19. Juli 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer:
Der Gerichtsschreiber: