A.- F._, geboren 1974, bezog gemäss Verfügung der Ausgleichskasse Textil vom 7. Juli 1994 ab 1. Juni 1993 eine halbe Invalidenrente (Invaliditätsgrad 50 %). Seit 6. Juni 1994 arbeitete er bei der P._ AG (Vollpensum). Im Rahmen einer Rentenrevision verfügte die IV-Stelle Graubünden am 23. September 1997 die Einstellung der Rentenleistungen ab 1. Juni 1994 (Invaliditätsgrad 4,80 %) und stellte den Erlass einer Rückforderungsverfügung in Aussicht.
Am 27. Oktober 1997 verfügte sie sodann die Rückforderung im Betrag von Fr. 21'698. - (Rentenleistungen vom 1. Juni 1994 bis 28. Februar 1997). F._ focht beide Verfügungen mit Beschwerde beim Verwaltungsgericht des Kantons Graubünden an. Die gegen die Verfügung vom 23. September 1997 erhobene Beschwerde wurde mit in Rechtskraft erwachsenem Entscheid vom 30. Januar 1998 abgewiesen.
B.- Die Beschwerde gegen die Rückforderungsverfügung vom 27. Oktober 1997 wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 2. Oktober 1998 ab.
C.- F._ führt Verwaltungsgerichtsbeschwerde mit dem Begehren um Aufhebung des Entscheids vom 2. Oktober 1998 und der Verfügung vom 27. Oktober 1997. Eventualiter wird die Beschränkung der Rückforderung auf die ab September 1996 ausbezahlten Rentenbeträge beantragt. Sodann ersucht F._ um Gewährung der unentgeltlichen Verbeiständung sowie um Erteilung der aufschiebenden Wirkung.
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde und des Gesuchs um Gewährung der aufschiebenden Wirkung. Das Bundesamt für Sozialversicherung hat keine Vernehmlassung eingereicht.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- a) In formellrechtlicher Hinsicht beantragt der Beschwerdeführer, der Verwaltungsgerichtsbeschwerde sei die aufschiebende Wirkung zu erteilen. Weil der angefochtene Entscheid zu einer Geldleistung verpflichtet (<ref-ruling>, 109 V 231) und der Beschwerde gegen solche Verfügungen von Gesetzes wegen aufschiebende Wirkung zukommt (Art. 111 Abs. 1 in Verbindung mit Art. 132 OG), erweist sich das Begehren als gegenstandslos.
b) Soweit die Verwaltung unter Hinweis auf <ref-law> in Verbindung mit <ref-law> daran festhält, dass der Beschwerde die aufschiebende Wirkung zu entziehen sei, kann ihr nicht gefolgt werden. Zwar hat die IV-Stelle einer allfälligen Beschwerde gegen die Verfügung vom 27. Oktober 1997 die aufschiebende Wirkung entzogen. Im kantonalen Beschwerdeverfahren hat sie sich mit der vom Beschwerdeführer beantragten Wiederherstellung der aufschiebenden Wirkung für die Dauer des kantonalen Verfahrens indessen einverstanden erklärt, wovon die Vorinstanz in ihrem Entscheid Vormerk genommen hat. Unter diesen Umständen kann sich lediglich die Frage stellen, ob der Verwaltungsgerichtsbeschwerde die aufschiebende Wirkung entzogen werden kann, was nach dem Gesagten zu verneinen ist. Hieran ändert nichts, dass die IV-Stelle im kantonalen Beschwerdeverfahren beantragt hat, bei Abweisung der Beschwerde sei die aufschiebende Wirkung wieder zu entziehen. Zu einer entsprechenden Anordnung wäre die Vorinstanz gar nicht befugt gewesen.
2.- a) Materiell ist streitig, ob der Beschwerdeführer die unbestrittenermassen zu Unrecht bezogenen Invalidenrenten für die Zeit von Juni 1994 bis Februar 1997 im Gesamtbetrag von Fr. 23'380. -, abzüglich Quellensteuern in Höhe von Fr. 1682. -, somit Fr. 21'698. -, zurückzuerstatten hat.
b) Der Beschwerdeführer bestreitet, die Meldepflicht im Zusammenhang mit der im Juni 1994 aufgenommenen Erwerbstätigkeit schuldhaft verletzt zu haben. Die Rentenverfügung sei am 7. Juli 1994 ergangen, und seither habe keine Änderung in der Berufstätigkeit stattgefunden. Dies trifft zwar zu. Dem Beschwerdeführer musste aufgrund der ihm kurz nach Aufnahme der Erwerbstätigkeit zugestellten Verfügung und des im Beiblatt zur Verfügung enthaltenen Hinweises auf die Meldepflicht jedoch bewusst sein, dass die Tatsache des Stellenantritts am 6. Juni 1994 einen meldepflichtigen Sachverhalt bildete, von welchem die Verwaltung keine Kenntnis hatte. Insbesondere im Hinblick darauf, dass die Invalidenversicherungs-Kommission laut Verfügung vom 7. Juli 1994 den Invaliditätsgrad auf 50 % festgesetzt hatte, wäre er aufgrund der Hinweise im Beiblatt zur Verfügung gehalten gewesen, die Verwaltung unmittelbar nach Erhalt der Verfügung im Juli 1994 über die Aufnahme einer Erwerbstätigkeit ins Bild zu setzen. Hieran ändert - entgegen den Ausführungen in der Verwaltungsgerichtsbeschwerde - nichts, dass die Verfügung vom 7. Juli 1994 keinen Einkommensvergleich enthielt.
c) Umstritten ist des Weiteren, ob der Rückforderungsanspruch von der Verwaltung nach <ref-law> rechtzeitig geltend gemacht wurde. Auszugehen ist davon, dass die IV-Stelle aufgrund des Fragebogens "Rentenrevision" am 5. August 1996 davon Kenntnis erhalten hat, dass der Beschwerdeführer bei der P._ AG einer Erwerbstätigkeit nachging. Im November 1996 nahm die Verwaltung nähere Abklärungen vor, indem sie einen IK-Zusammenruf anordnete und dem Arbeitgeber einen Fragebogen zustellte, welcher am 7. März 1997 beantwortet wurde und aus dem sich ergab, dass der Beschwerdeführer ab Juni 1994 vollzeitlich gearbeitet hatte.
d) Kenntnis vom Rückforderungsanspruch im Sinne von <ref-law> hat die Verwaltung, wenn ihr alle im konkreten Einzelfall erheblichen Umstände zugänglich sind, aus deren Kenntnis sich der Rückforderungsanspruch dem Grundsatz nach und in seinem Ausmass gegenüber einem bestimmten Rückerstattungspflichtigen ergibt. Es genügt praxisgemäss nicht, dass der Kasse bloss Umstände bekannt sind, die möglicherweise zu einem Rückforderungsanspruch führen können, oder dass der Anspruch nur dem Grundsatz nach, nicht aber in masslicher Hinsicht feststeht (<ref-ruling> f.). Der Auffassung des Beschwerdeführers, wonach die IV-Stelle schon aufgrund seines Hinweises auf den Arbeitgeber im Fragebogen "Rentenrevision" vom 5. August 1996 Kenntnis vom Rückforderungsanspruch erhalten habe, kann im Lichte dieser Rechtsprechung nicht gefolgt werden. Denn es stand in diesem Zeitpunkt ein Rückforderungsanspruch weder in grundsätzlicher noch in masslicher Hinsicht fest.
e) Andererseits kann der Auffassung von IV-Stelle und Vorinstanz nicht beigepflichtet werden, wonach die IV-Stelle erst mit dem Erhalt des Arbeitgeberformulars im März 1997 in einer für die Auslösung der einjährigen Verwirkungsfrist von <ref-law> relevanten Weise Kenntnis vom Rückforderungsanspruch erhalten habe. Denn massgebend für die Auslösung der einjährigen Verwirkungsfrist ist der Zeitpunkt, in dem die Verwaltung bei Beachtung der ihr zumutbaren Aufmerksamkeit hätte erkennen müssen, dass die Voraussetzungen für eine Rückforderung gegeben waren (<ref-ruling> Erw. 2b). Allenfalls noch erforderliche Abklärungen hat sie innert angemessener Zeit vorzunehmen. Unterlässt sie dies, ist der Beginn der Verwirkungsfrist auf den Zeitpunkt festzusetzen, in welchem die Verwaltung ihre unvollständige Kenntnis mit dem erforderlichen und zumutbaren Einsatz so zu ergänzen im Stande war, dass der Rückforderungsanspruch verfügungsweise hätte geltend gemacht werden können (<ref-ruling> Erw. 4b).
f) Vorliegend hat die Verwaltung im Anschluss an die Mitteilung des Beschwerdeführers vom 3. August 1996 (bei der IV-Stelle eingegangen am 5. August 1996), wonach er - nach vorausgegangener Arbeitslosigkeit - bei der Firma P._ AG arbeite, im November 1996 ergänzende Abklärungen getroffen, indem sie einerseits einen IK-Zusammenruf veranlasst und andererseits dem Arbeitgeber am 16. November 1996 einen Fragebogen zugestellt hat. Damit ist sie der Pflicht, die noch erforderlichen Abklärungen innert angemessener Frist vorzunehmen, nachgekommen. Praxisgemäss ist - wie unter lit. d in fine hievor dargelegt - der Beginn der einjährigen Verwirkungsfrist auf den Zeitpunkt festzusetzen, bis zu welchem die Verwaltung ihre Kenntnis mit dem erforderlichen und zumutbaren Einsatz so ergänzen kann, dass der Rückforderungsanspruch die nötige Bestimmtheit erlangt und der Erlass einer Verfügung möglich ist (<ref-ruling> Erw. 4b). Indem die IV-Stelle im November 1996, also innerhalb weniger Monate nach Eingang der Mitteilung des Beschwerdeführers vom 3. August 1996, die erforderlichen ergänzenden Abklärungen für die Konkretisierung des Rückforderungsanspruchs an die Hand nahm, hat sie den ihr zuzubilligenden zeitlichen Rahmen nicht überschritten. Die einjährige Verwirkungsfrist von <ref-law> begann somit frühestens im November 1996 zu laufen, sodass sich die Rückforderung vom 27. Oktober 1997 als rechtzeitig erweist.
3.- Der Beschwerdeführer äussert sich in der Verwaltungsgerichtsbeschwerde zur Frage des Erlasses der Rückforderung (<ref-law>). Darauf ist vorliegend nicht einzutreten, da diesbezüglich zuerst die IV-Stelle zu verfügen hat.
4.- Da die Voraussetzungen von Art. 152 OG erfüllt sind, kann dem Gesuch um Gewährung der unentgeltlichen Verbeiständung entsprochen werden. Der Betrag von Fr. 1461. 50 gemäss Honorarnote vom 11. März 1999 ist angemessen. Der Beschwerdeführer wird indessen darauf hingewiesen, dass er gemäss Art. 152 Abs. 3 OG der Gerichtskasse Ersatz zu leisten haben wird, wenn er dazu später im Stande ist.

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Es werden keine Gerichtskosten erhoben.
III. Zufolge Gewährung der unentgeltlichen Verbeiständung wird Rechtsanwältin Karin Caviezel für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Entschädigung (einschliesslich Mehrwertsteuer) von Fr. 1461. 50 ausgerichtet.
IV.Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 19. Oktober 2000
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der I. Kammer:
Der Gerichtsschreiber: