A.- Der 1961 geborene, aus dem Kosovo stammende S._ war seit 1986 in der Schweiz als Saisonnier in verschiedenen Branchen tätig. Ab 1. Mai 1994 übte er bei der Firma H._ eine auf den 17. Dezember 1994 befristete Beschäftigung als Gebäudereiniger aus, welche er infolge akut aufgetretener Rückenbeschwerden am 7. Dezember 1994 aufgab. Seither geht er keiner Erwerbstätigkeit mehr nach. Die Fremdenpolizei des Kantons St. Gallen erteilte hierauf für das Jahr 1995 keine Saisonbewilligung mehr und wies S._ an, die Schweiz zu verlassen. Wegen fehlender Ausweispapiere für eine Rückkehr in seine Heimat hält dieser sich indes weiterhin hier auf.
Am 6. November 1995 meldete sich S._ bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons St. Gallen holte Auskünfte in medizinischer sowie erwerblich-beruflicher Hinsicht ein und veranlasste eine Begutachtung durch die Medizinische Abklärungsstelle (MEDAS; Expertise vom 27. November 1996). Nach Durchführung des Vorbescheidverfahrens lehnte sie einen Rentenanspruch des Versicherten mit der Begründung ab, es sei zwar vom 15. Dezember 1994 bis 27. September 1996 eine Arbeits- und Erwerbsunfähigkeit von 40 % ausgewiesen, mangels zivilrechtlichen Wohnsitzes in der Schweiz könnte jedoch lediglich eine Invalidenrente basierend auf einem Invaliditätsgrad von mindestens 50 % ausgerichtet werden (Verfügung vom 16. September 1997).
B.- Hiegegen liess S._ beim Versicherungsgericht des Kantons St. Gallen Beschwerde erheben und beantragen, es sei ihm ab 1. Dezember 1995 bis auf weiteres eine ganze Invalidenrente auszurichten. Lite pendente hob die IV-Stelle den angefochtenen Verwaltungsakt auf und sprach dem Versicherten mit Verfügung vom 29. Januar 1998 eine halbe Härtefallrente mit Wirkung ab 1. Dezember 1995 bis 30. September 1996 zu. S._ hielt an seinem Rechtsmittel fest. Das angerufene Gericht wies die Beschwerde ab, da nach der Aktenlage im massgeblichen Zeitraum weder ein höherer Invaliditätsgrad als 40 % noch eine über diesen Zeitpunkt hinaus andauernde Arbeitsunfähigkeit nachgewiesen seien (Entscheid vom 23. November 1999).
C.- S._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, in Aufhebung des kantonalen Entscheides sei die IV-Stelle zu verpflichten, den Sachverhalt rechtsgenügend zu ermitteln und alsdann über einen Rentenanspruch ab 1. Oktober 1996 zu verfügen. Ferner ersucht er um unentgeltliche Verbeiständung.
Während die IV-Stelle auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, hat sich das Bundesamt für Sozialversicherung nicht vernehmen lassen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Der Beschwerdeführer bringt in prozessualer Hinsicht vor, die IV-Stelle hätte mit ihrem Vorgehen - während des hängigen kantonalen Beschwerdeverfahrens ein "neues Vorbescheidverfahren" durchzuführen bzw. eine neue, den ursprünglich angefochtenen Verwaltungsakt aufhebende Verfügung zu erlassen - den Rechtsmittelweg rechtswidrig verkürzt.
Hiebei verkennt er indes, dass eine lite pendente erlassene Verfügung den Rechtsstreit nur insoweit beendet, als sie den Anträgen des Beschwerdeführers entspricht. Der Streit besteht jedoch in dem Rahmen weiter, als mit der Verfügung den Anträgen nicht stattgegeben wird. In diesem Fall muss die Beschwerdeinstanz auf die Sache eintreten, ohne dass der Beschwerdeführer die zweite Verfügung anzufechten braucht (<ref-ruling>, 107 V 250; ZAK 1992 S. 117 Erw. 5a mit Hinweisen). Von einer "Verkürzung" des Rechtsmittelweges kann demzufolge nicht die Rede sein.
2.- Antrag und Begründung der Verwaltungsgerichtsbeschwerde richten sich materiellrechtlich gegen die Rentenbefristung per Ende September 1996. Darüber ist zu befinden.
Auf Grund der Vorbringen der Parteien oder anderer sich aus den Akten ergebender Anhaltspunkte besteht demgegenüber kein hinreichender Anlass, die durch den qualifiziert vertretenen Beschwerdeführer nunmehr unbestritten gebliebene Höhe der vom 1. Dezember 1995 bis 30. September 1996 zugesprochenen Invalidenrente letztinstanzlich zu prüfen (<ref-ruling> Erw. 2c, 110 V 52 f. Erw. 4a).
3.- Das kantonale Gericht hat die vorliegend massgeblichen Bestimmungen und Grundsätze über den Begriff der Invalidität (<ref-law>), die Voraussetzungen und den Umfang des Rentenanspruchs (Art. 28 Abs. 1 und 1bis IVG), die Bedeutung ärztlicher Auskünfte im Rahmen der Invaliditätsbemessung (vgl. auch <ref-ruling> Erw. 2, 114 V 314 Erw. 3c, 105 V 158 Erw. 1) sowie die richterliche Würdigung von medizinischen Berichten und Gutachten (siehe auch <ref-ruling> ff. Erw. 3a und b mit Hinweisen) zutreffend dargelegt.
Darauf kann verwiesen werden. Anzufügen ist, dass nach Art. 8 lit. f des hier anwendbaren schweizerisch-jugoslawischen Sozialversicherungsabkommens (in der Fassung des Zusatzabkommens vom 9. Juli 1982, gültig seit 1. Januar 1984) jugoslawische Staatsangehörige ohne Wohnsitz in der Schweiz, die ihre Erwerbstätigkeit in diesem Land infolge Unfall oder Krankheit aufgeben müssen, und die bis zum Eintritt des Versicherungsfalles da bleiben, für die Gewährung von Leistungen der Invalidenversicherung als nach der schweizerischen Gesetzgebung versichert gelten.
4.- a) Mit Verfügung vom 29. Januar 1998 hat die IV-Stelle ihren Verwaltungsakt vom 16. September 1997 aufgehoben und - bestätigt durch das kantonale Gericht - dem Beschwerdeführer ab 1. Dezember 1995 eine bis 30. September 1996 befristete halbe Härtefallrente zugesprochen. Sie stützte sich hiebei im Wesentlichen auf das MEDAS-Gutachten vom 27. November 1996, welches dem Versicherten aus psychiatrischer Sicht vom 15. Dezember 1994 "bis heute" (27. September 1996: Datum der Schlussbesprechung der MEDAS-Ärzte) eine 40 %ige Arbeitsunfähigkeit sowie ab diesem Zeitpunkt wiederum ein uneingeschränktes Leistungsvermögen attestiert hatte.
b) Der Auffassung von Vorinstanz und Verwaltung kann angesichts der medizinischen Aktenlage bezüglich der Rentenbefristung auf Ende September 1996 nicht gefolgt werden.
Zu berücksichtigen ist namentlich der im MEDAS-Gutachten vom 27. November 1996 enthaltene prognostische Hinweis, dass, falls auch in Zukunft keine Aufenthalts- und Arbeitsbewilligung erteilt würde, mit einer Verschlechterung der psychosozialen Situation und der Arbeitsfähigkeit durch eine chronifizierende Entgleisung im Sinne einer Entwicklung körperlicher Symptome aus psychischen Gründen zu erwarten sei. Da sich der Beschwerdeführer ausweislich der Akten zumindest bis im März 1998 noch immer ohne Aufenthaltsbewilligung in der Schweiz aufgehalten hat, erscheint es mit Blick auf die gutachtliche Prognose sowie den Umstand, dass keinerlei gegenteilige ärztliche Beurteilungen vorliegen, durchaus möglich, dass sich der psychische Gesundheitszustand verschlechtert und damit auch die Arbeitsfähigkeit des Versicherten seit Oktober 1996 reduziert hat.
Obgleich demnach aktenkundige Anhaltspunkte gegeben waren, welche zusätzliche Abklärungen indiziert hätten (vgl. hiezu <ref-ruling> Erw. 4a mit Hinweisen), hat es die IV-Stelle anlässlich der lite pendente eingeleiteten Neuüberprüfung ihres Verwaltungsaktes vom 16. September 1997 unterlassen, den medizinischen Sachverhalt bis zum vorliegend relevanten Zeitpunkt des Verfügungserlasses (29. Januar 1998; <ref-ruling> Erw. 1b mit Hinweisen) zu eruieren.
Die Sache ist daher an die Verwaltung zurückzuweisen, welche die betreffenden Abklärungen vorzunehmen und hierauf über einen Rentenanspruch des Beschwerdeführers ab 1. Oktober 1996 zu befinden haben wird. Anzumerken bleibt, dass die versicherungsmässigen Voraussetzungen für die Ausrichtung einer Viertels- oder Härtefallrente bei Versicherten, welche in der Schweiz keinen Wohnsitz begründen, nur solange gegeben sind, als sie sich ohne wesentliche Unterbrechung ständig hier aufhalten (Art. 8 lit. f des Sozialversicherungsabkommens [vgl. Erw. 3 hievor]; <ref-ruling>).
Sollte der Beschwerdeführer die Schweiz verlassen müssen, stünde ihm lediglich eine Rente zu, wenn er mindestens zu 50 % invalid wäre (Art. 8 lit. b und e des Abkommens; <ref-law>).
5.- Im vorliegenden Verfahren geht es um die Bewilligung oder Verweigerung von Versicherungsleistungen, weshalb von der Auferlegung von Gerichtskosten abzusehen ist (Art. 134 OG). Dem Prozessausgang entsprechend ist dem Beschwerdeführer eine Parteientschädigung zuzusprechen (Art. 135 in Verbindung mit Art. 159 OG). Das Gesuch um unentgeltliche Verbeiständung erweist sich damit als gegenstandslos.

Demnach erkennt das Eidg. Versicherungsgericht:
I.In Gutheissung der Verwaltungsgerichtsbeschwerde werden
der Entscheid des Versicherungsgerichts des Kantons
St. Gallen vom 23. November 1999 und die Verwaltungsverfügung
vom 29. Januar 1998 aufgehoben, und es
wird die Sache an die IV-Stelle des Kantons St. Gallen
zurückgewiesen, damit sie, nach erfolgter Abklärung im
Sinne der Erwägungen, über einen Rentenanspruch des
Beschwerdeführers ab 1. Oktober 1996 verfüge.
II.Es werden keine Gerichtskosten erhoben.
III. Die IV-Stelle des Kantons St. Gallen hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von
Fr. 2500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
IV.Das Versicherungsgericht des Kantons St. Gallen wird über eine Neuverlegung der Parteikosten für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen
Prozesses zu befinden haben.
V.Dieses Urteil wird den Parteien, dem Versicherungsgericht
des Kantons St. Gallen und dem Bundesamt für Sozialversicherung
zugestellt.
Luzern, 9. November 2000
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer:
Die Gerichtsschreiberin: