A.- Der 1955 geborene B._ meldete sich am 29. Juli 1992 erstmals zum Bezug von Leistungen der Invalidenversicherung an. Seit dem 16. Juli 1986 als Schaler bei der Firma X._ AG, Hoch- und Tiefbau, tätig, litt er ab Ende Mai 1991 an Status nach Kompressionsfraktur 11. und 12. Brustwirbel mit residuellem therapieresistentem invalidisierendem Schmerzsyndrom (Arztbericht von Dr. med. W._ vom 4. Januar 1993).
Am 25. November 1993 verfügte die Ausgleichskasse des Kantons St. Gallen die Zusprechung einer ab 1. Mai bis 30. September 1992 befristeten ganzen Rente. Der Versicherte hatte am 2. August 1993 erneut eine Anmeldung eingereicht und Leistungen im Sinne von Berufsberatung, Umschulung auf eine neue Tätigkeit, Arbeitsvermittlung und eine Rente beansprucht, was zum Rückzug der Beschwerde gegen die Verfügung vom 25. November 1993 führte. Der Anspruch des Versicherten auf berufliche Abklärung (vom 25. April bis zum 22. Juli 1994), Arbeitstraining als Umschulungsmassnahme im Hinblick auf die Ausbildung zum Metallbearbeiter (vom 22. August 1994 bis zum 10. März 1995) sowie Umschulung zu diesem Beruf (vom 12. Februar 1996 bis zum 10. März 1997) wurde gutgeheissen.
Mit Verfügung vom 22. August 1997 verneinte die IV- Stelle jeglichen Leistungsanspruch, da gemäss einem Einkommensvergleich, welchem ein Arztzeugnis von Dr. med. R._ (vom 27. Juni 1997) zu Grunde lag, der Invaliditätsgrad lediglich 11 % betrug, weshalb die Anspruchsvoraussetzungen für weitere berufliche Massnahmen sowie für Rentenleistungen nicht mehr erfüllt waren.
B.- Die hiegegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 17. September 1999 in dem Sinne teilweise gut, dass die angefochtene Verfügung aufgehoben und die Sache an die IV-Stelle zurückgewiesen wurde, damit diese das Verwaltungsverfahren im Sinne der Erwägungen fortführe. Es wurde hauptsächlich festgehalten, ein schuldhafter Abbruch beruflicher Massnahmen könne in jedem Fall erst dann Platz greifen, wenn die versicherte Person sich nach Durchführung eines Mahn- und Bedenkzeitverfahrens einer zumutbaren Eingliederung widersetze.
C.- Die IV-Stelle führt Verwaltungsgerichtsbeschwerde mit dem Rechtsbegehren, der vorinstanzliche Entscheid sei aufzuheben.
B._ lässt auf Abweisung der Verwaltungsgerichtsbeschwerde schliessen, während sich das Bundesamt für Sozialversicherung nicht vernehmen lässt.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Die Vorinstanz hat die massgebenden Bestimmungen und Grundsätze über den Begriff der Invalidität (<ref-law>) sowie den Anspruch auf Eingliederungsmassnahmen im Allgemeinen (<ref-law>) und auf Umschulung im Besonderen (<ref-law>; <ref-ruling> Erw. 2 mit Hinweisen) zutreffend dargelegt. Darauf kann verwiesen werden.
Zu ergänzen bleibt, dass Massnahmen im Sinne von <ref-law> die objektive und subjektive Eingliederungsfähigkeit des Versicherten voraussetzen (AHI 1997 S. 82 Erw. 2b/aa, ZAK 1991 S. 179 Erw. 3). Gemäss <ref-law> kann die Verweigerung oder der Entzug der Leistung erst verfügt werden, wenn die Verwaltung den Versicherten vorgängig durch eine schriftliche Mahnung und unter Einräumung einer angemessenen Bedenkzeit auf die Folgen seiner Widersetzlichkeit aufmerksam gemacht hat. Die Sanktion muss in gehöriger Form und unter Fristansetzung angekündigt werden. Sinn und Zweck dieser Bestimmung ist es, den Versicherten in jedem Fall auf die möglichen nachteiligen Folgen seines Widerstandes gegen Eingliederungsmassnahmen aufmerksam zu machen und ihn so in die Lage zu versetzen, in Kenntnis aller wesentlichen Faktoren seine Entscheidung zu treffen. Die Durchführung des Mahn- und Bedenkzeitverfahrens erübrigt sich auch nicht, wenn die Verwaltung eine konkrete, Erfolg versprechende, zumutbare Eingliederungsmassnahme bezeichnet und der Versicherte diese unmissverständlich abgelehnt hat (<ref-ruling> Erw. 4b).
2.- a) Im vorliegenden Fall wurden durch die IV-Stelle ab April 1994 wiederholt konkrete, Erfolg versprechende und offenbar zumutbare Eingliederungsmassnahmen zugesprochen, denen sich der Versicherte teilweise auch unterzogen hatte. Nachdem der Berufsberater der IV-Stelle ab 2. Oktober 1996 den Abbruch der Umschulung beantragte und daran auch in seinem Schlussbericht vom 29. Mai 1997 festhielt, wurde beim Leitenden Arzt des Spitals Y._, Dr. med. R._, ein Arztbericht vom 27. Juni 1997 eingeholt. Danach wurde der Versicherte in seinem bisherigen Beruf als Schaler als nicht mehr arbeitsfähig, in leichter rückenadaptierter Tätigkeit hingegen als voll arbeitsfähig betrachtet, wobei bei mittelschwerer Tätigkeit eine Einschränkung zwischen 25 und 40 % gegeben war. Dr. med. R._ attestierte ferner, dem Versicherten sei die Umschulung zum Metallarbeiter bei rückenschonender Tätigkeit in jedem Fall zumutbar. Auf Grund dieser Angaben nahm die Verwaltung an, dass der Versicherte, hätte er die als zumutbar zu betrachtende Umschulung zum Metallarbeiter erfolgreich zu Ende geführt, ein Invalideneinkommen von Fr. 51'820. - pro Jahr verdienen könnte. Aus dem Vergleich mit einem Valideneinkommen von Fr. 58'440. - errechnete sie einen Invaliditätsgrad von 11 %. Weil damit weder die Anspruchsvoraussetzungen für weitere berufliche Massnahmen noch für Rentenleistungen erfüllt waren, lehnte die IV- Stelle weitere Leistungen ab.
b) Die Vorinstanz hat gestützt auf die in Erwägung Ziff. 1 erwähnte Rechtsprechung erwogen, obschon es dem Grundsatz nach nicht zu beanstanden sei, dass bei einem schuldhaften Abbruch beruflicher Massnahmen als Sanktion der nach einer hypothetisch erfolgreichen Umschulung erzielbare Lohn als Invalideneinkommen eingesetzt werde, könne ein solches Vorgehen indessen in jedem Fall erst dann Platz greifen, wenn die versicherte Person sich nach Durchführung eines Mahn- und Bedenkzeitverfahrens einer zumutbaren Eingliederung widersetze.
In der Verwaltungsgerichtsbeschwerde bringt die Beschwerdeführerin vor, die in der Verfügung ausgewiesenen Validen- und Invalideneinkommen seien richtigerweise so zu berücksichtigen, dass der Invaliditätsgrad lediglich 10 % ausmache. Weil der Anspruch auf Umschulung einen Invaliditätsgrad von etwa 20 % voraussetze, sei die IV-Stelle nicht verpflichtet gewesen, den Beschwerdegegner umzuschulen. Wenn die Vorinstanz darauf hinweise, dass der Umschulungsanspruch auch bei einem geringeren Invaliditätsgrad bestehen könne, übersehe sie, dass diese Ausnahmeregelung auf den Beschwerdegegner nicht anwendbar sei, weil von der 20 %-Regel nur dann abgewichen werden könne, wenn die Einkommensmöglichkeiten der beiden zu beurteilenden Ausbildungen mittelfristig erheblich voneinander abweichen würden (<ref-ruling> Erw. 3b). Dem Versicherten fehle es am Willen, seine verbleibende Arbeitsfähigkeit zu verwerten. Somit sei die subjektive Eingliederungsfähigkeit nicht gegeben und es mangle an einer wichtigen Voraussetzung für den Anspruch auf Umschulung. Wenn ein Versicherter keinen Umschulungsanspruch habe, müsse selbstredend auch kein Mahn- und Bedenkzeitverfahren durchgeführt werden.
c) Der Auffassung der Beschwerdeführerin kann nicht beigepflichtet werden. Festzustellen ist vorab, dass gemäss <ref-law> nicht nur die Verweigerung, sondern auch der Entzug der Leistungen erst verfügt werden kann, wenn die Verwaltung den Versicherten vorgängig durch eine schriftliche Mahnung und unter Einräumung einer angemessenen Bedenkzeit auf die Folgen seiner Widersetzlichkeit aufmerksam gemacht hat. Daraus ist abzuleiten, dass diese Bestimmung auch Tatbestände zum Gegenstand haben kann, bei welchen, wie im vorliegenden Fall, Eingliederungsmassnahmen während einer bestimmten Zeit tatsächlich durchgeführt wurden und bei welchen sich die Frage der Eingliederungsfähigkeit und somit des Umschulungsanspruchs erst ab einem bestimmten Zeitpunkt erneut stellt. Dass in solchen Fällen das Ziel, welches nach obgenannter Rechtsprechung angestrebt wird, anders zu bewerten wäre als bei Eingliederungsmassnahmen, bei denen es um die ursprüngliche Verweigerung von Leistungen geht, ist nicht ersichtlich. Unter diesen Umständen kann das Argument, es sei nachträglich festgestellt worden, die Voraussetzung eines für den Anspruch auf Umschulung erforderlichen Invaliditätsgrades von etwa 20 % sei nicht erfüllt, nicht entscheidend sein. Es erübrigt sich daher auch weiter abzuklären, welcher Invaliditätsgrad der Versicherte im Zeitpunkt der ursprünglich zugesprochenen Massnahmen (April 1994) aufwies.
d) Nach dem Gesagten hält der angefochtene Gerichtsentscheid sowohl in der Begründung als auch im Ergebnis stand.

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Es werden keine Gerichtskosten erhoben.
III. Die IV-Stelle des Kantons St. Gallen hat dem Beschwerdegegner für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 1000. - (einschliesslich Mehrwertsteuer) zu bezahlen.
IV.Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 6. April 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Der Gerichtsschreiber: