Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Nach ständiger Rechtsprechung beurteilt das Sozialversicherungsgericht die Gesetzmässigkeit der angefochtenen Verfügungen in der Regel nach dem Sachverhalt, der zur Zeit des Verfügungserlasses gegeben war (<ref-ruling> Erw. 1b mit Hinweisen).
Im vorliegenden Verfahren ist daher nicht zu prüfen, wie es sich hinsichtlich der vom Beschwerdegegner geltend gemachten Verschlechterung des Gesundheitszustandes ab Sommer/Herbst 1999 verhält. Es wird Sache der Verwaltung sein, den Rentenanspruch für die Zeit nach Erlass der Verwaltungsverfügung vom 29. Juni 1998 neu zu prüfen.
2.- Die Vorinstanz hat die für die Beurteilung des Rentenanspruchs massgebenden Gesetzesbestimmungen über den Begriff der Invalidität (<ref-law>), die Voraussetzungen und den Umfang des Rentenanspruchs (Art. 28 Abs. 1 und 1bis IVG) sowie die Ermittlung des Invaliditätsgrades bei Erwerbstätigen nach der allgemeinen Methode des Einkommensvergleichs (<ref-law>) richtig wiedergegeben.
Darauf kann verwiesen werden. Gleiches gilt für die Erwägungen zur Bedeutung ärztlicher Auskünfte für die Invaliditätsschätzung (<ref-ruling> Erw. 4 mit Hinweisen).
3.- Streitig ist der Invaliditätsgrad, welchen die Verwaltung auf 31 % und die Vorinstanz auf 50 % festsetzte.
a) Der Beschwerdegegner erzielte bei der S._ & Co. AG im Jahr 1996 bei einer Wochenarbeitszeit von 41 Stunden einen Verdienst von Fr. 50'050.- (13 x 3'850).
Hiervon ist beim Einkommensvergleich auszugehen. Zu Recht hält der Versicherte an der im vorinstanzlichen Verfahren vertretenen Auffassung nicht fest, wonach auch der bei der P._ Reinigung AG erzielte Nebenerwerb zu berücksichtigen sei. Praxisgemäss sind in die Vergleichsrechnung nur Einkommen einzubeziehen, die im Rahmen eines normalen Arbeitspensums zu erzielen sind, weshalb der geltend gemachte Nebenerwerb unberücksichtigt zu bleiben hat (vgl. Meyer-Blaser, Rechtsprechung des Bundesgerichts zum IVG, Zürich 1997, S. 207 mit Hinweisen).
b) Zur Frage der Arbeitsfähigkeit und der Zumutbarkeit von Erwerbstätigkeiten hat die Verwaltung eine stationäre berufliche Abklärung angeordnet (Bericht vom 7. Mai 1998), auf deren Ergebnisse abgestellt werden kann. Danach ist der Beschwerdegegner vollständig arbeitsunfähig für alle körperlich mittel bis stark anstrengenden, sowie für Tätigkeiten, die mit vermehrten Belastungen im Bereich der oberen Extremitäten verbunden sind oder bei denen häufiges Gehen erforderlich ist. Nicht mehr einsetzbar ist der Versicherte als Lagerist und Gebäudereiniger, sowie für Arbeiten in nicht heizbaren Räumen. Für körperlich leichte Tätigkeiten besteht eine Arbeitsfähigkeit von 70 %, je nach Arbeitssituation bei verkürzter Tagesarbeitszeit oder auch ganztags unter Gewährung allfällig notwendiger kurzer Entlastungspausen.
Laut Abklärungsbericht berücksichtigt die um 30 % reduzierte Arbeitsfähigkeit bei behinderungsgerechter Tätigkeit den bezüglich Beschwerden und Leistungsfähigkeit festgestellten wellenförmigen Verlauf. Eine leidensbedingt angepasste Arbeit sollte vorwiegend sitzend ausgeübt werden können mit gelegentlichen Positionswechseln (Stehen oder ein paar Schritte Gehen), ohne grössere und länger dauernde Kraftaufwendungen im Bereich der oberen Extremitäten. Das gelegentliche Begehen von Treppen und kurzen Leitern sei möglich, ebenso vereinzeltes Heben und kurzzeitiges Tragen von Lasten bis 10 kg. Als Eingliederungsmöglichkeit wird der Verkaufsbereich ohne körperliche Belastung genannt, wie beispielsweise die Arbeit an einem Billett-Schalter, einer Kino- oder Museumskasse oder in einem Tankstellen-Kiosk.
c) Gestützt darauf ist die Vorinstanz bei der Festsetzung des Invalideneinkommens von dem nach Schweizerischer Lohnstrukturerhebung (LSE) des Bundesamtes für Statistik für das Jahr 1996 für Arbeitnehmer im privaten Sektor bei einfachen und repetitiven Tätigkeiten (Anforderungsniveau 4) im Bereich Detailhandel und Reparatur ermittelten monatlichen Bruttolohn (Zentralwert) von Fr. 3779.- ausgegangen.
Die Beschwerdeführerin wendet hiegegen ein, es rechtfertige sich nicht, allein auf den (niedrigen) Tabellenlohn für den Detailhandel abzustellen; vielmehr sei derjenige für den gesamten privaten Sektor (von Fr. 4'294.-) heranzuziehen. Dieser Einwand ist insofern berechtigt, als die Beschränkung des in Betracht zu ziehenden Tätigkeitsbereichs auf den Detailhandel als zu eng erscheint. Im BEFAS-Bericht steht zwar eine Verkaufstätigkeit im Vordergrund, was sich zumindest teilweise mit dem in den Abklärungsgesprächen dahingehend geäusserten Wunsch des Versicherten erklären lässt. Aus dem Bericht geht aber hervor, dass der Beschwerdegegner bei der praktischen Abklärung auch bei Ordnungs- und Kontrollaufgaben sowie einfachen administrativen Aufgaben (Botengänge mit Abklärungsaufträgen ausführen, Bestellungen aufnehmen, Lieferscheine ausfüllen) gute Resultate erbracht hatte. Geringe Leistungen zeigte er im Bereich der industriellen Montage, wobei der Eindruck entstand, dass sein Einsatz ungenügend war. Im Gutachten des Kantonsspitals vom 20. Oktober 1997 führte PD Dr. med.
X._ zur Notwendigkeit einer Umschulung aus, im Sinne einer langfristigen Strategie sei eine Umschulung auf eine körperlich wenig belastende Tätigkeit empfehlenswert, aufgrund des sonst guten Allgemeinzustandes und des intelligenten Eindrucks kämen Büroarbeiten, Aufsichts-, (Qualitäts-)Kontroll- und ähnliche Funktionen in Frage. Für Tätigkeiten mit geringen körperlichen Belastungen sei er aber (auch ohne Umschulung) als voll arbeitsfähig zu betrachten.
In der Stellungnahme des Berufsberaters der IV-Stelle vom 1. Dezember 1997 werden Büroarbeiten und Tätigkeiten in der Qualitätskontrolle aufgrund der fehlenden schulischen und sprachlichen Voraussetzungen als nicht realistisch betrachtet. Dies trifft wohl zu für kaufmännisch-administrative Arbeiten, die ohnehin eine Umschulung voraussetzen würden, nicht aber für Hilfstätigkeiten, wie sie sowohl im Dienstleistungs- als auch im Produktionsbereich angeboten werden. Für solche Stellen bedarf es keiner besondern schulischen oder beruflichen Ausbildung. Gemäss BEFAS-Bericht verfügt der Beschwerdegegner zudem über recht gute mündliche Deutschkenntnisse.
d) Im Lichte dieser Angaben besteht kein Anlass, von der Bemessung des Valideneinkommens durch die Verwaltung abzugehen und statt auf den Tabellenlohn für den gesamten privaten Sektor auf den für den Bereich Detailhandel massgebenden Wert abzustellen. Wie die IV-Stelle zu Recht festhält, stehen Hilfsarbeitern und gelernten Arbeitern, die vor der Behinderung manuell tätig waren, nach Eintritt der Invalidität erfahrungsgemäss zahlreiche Stellen im Produktions- und Dienstleistungssektor offen. In Industrie und Gewerbe werden körperlich anstrengende Arbeiten zunehmend durch Maschinen verrichtet, während den Überwachungsfunktionen grosse und wachsende Bedeutung zukommt (ZAK 1991 S. 320 f.). Solche Überwachungsfunktionen sind dem Versicherten aber weitgehend zumutbar, ebenso zahlreiche andere Tätigkeiten (wie beispielsweise Kontroll-, Sortier- und Verpackungsarbeiten) im Bereich der Produktion. Es ist daher nicht zu beanstanden, dass die Verwaltung das Invalideneinkommen nach dem für den gesamten privaten Sektor geltenden Tabellenlohn festgesetzt hat, welcher für Arbeitnehmer mit einfachen und repetitiven Tätigkeiten (Anforderungsniveau 4) Fr. 4'294.- (LSE 1996 TA1) beträgt, was - umgerechnet auf die betriebsübliche durchschnittliche Wochenarbeitszeit von 41,9 Stunden (<ref-ruling> Erw.
3b/bb) - einem Jahreseinkommen von Fr. 53'976.- entspricht.
Weil der Versicherte indessen bereits vor seiner Invalidität ein deutlich unter dem Durchschnitt liegendes Einkommen von Fr. 50'050.- erzielt hat, rechtfertigt es sich, von diesem Verdienst auszugehen (ZAK 1989 S. 458). Bei einer Arbeitsfähigkeit von 70 % ergibt sich daraus ein Jahreseinkommen von Fr. 35'035.-.
Entgegen den beschwerdegegnerischen Vorbringen besteht kein Anlass zur Annahme einer Arbeitsfähigkeit von lediglich 50 %. Die hierzu eingereichten Arztberichte betreffen die gesundheitlichen Verhältnisse nach Erlass der angefochtenen Verfügung, was nach dem Gesagten nicht Gegenstand des vorliegenden Verfahrens bildet. Für die massgebende Zeit bis Verfügungserlass stimmen die ärztlichen Schätzungen darin überein, dass die Arbeitsfähigkeit in einer geeigneten leichteren Tätigkeit mindestens 70 % beträgt. Laut Gutachten des Kantonsspitals vom 20. Oktober 1997 rechtfertigt sich bei geringen körperlichen Belastungen sogar die Annahme einer vollen Arbeitsfähigkeit.
e) Was den streitigen Abzug vom Invalideneinkommen betrifft, ist nach der Rechtsprechung davon auszugehen, dass der Abzug für sämtliche in Betracht fallenden Umstände (leidensbedingte Einschränkung, Alter, Dienstjahre, Nationalität/Aufenthaltskategorie und Beschäftigungsgrad) gesamthaft zu schätzen und unter Berücksichtigung aller jeweils in Betracht fallender Merkmale auf höchstens 25 % zu beschränken ist (<ref-ruling> ff.). Im vorliegenden Fall sind die Voraussetzungen für einen maximalen Abzug nicht gegeben. Hinsichtlich des Abzugs für Teilzeitbeschäftigung ist zu berücksichtigen, dass nach Auffassung der BEFAS die Ausübung einer leichten behinderungsangepassten Tätigkeit allenfalls auch ganztags möglich ist, sofern allfällig notwendige kurze Entlastungspausen eingeschaltet werden können.
Den von der Vorinstanz erwähnten Schwankungen im Gesundheitszustand und deren lohnmässigen Auswirkungen wird von der BEFAS bereits im Rahmen der Arbeitsfähigkeit Rechnung getragen. Zu einem entsprechenden Abzug besteht umso weniger Anlass, als der medizinische Gutachter für eine geeignete leichtere Tätigkeit sogar eine volle Arbeitsfähigkeit annimmt. Dagegen ist zu berücksichtigen, dass der Beschwerdegegner zufolge der gesundheitlichen Beeinträchtigungen, welche ihn zumindest zeitweise auch im Gebrauch der oberen Extremitäten einschränken, selbst im Rahmen einer angepassten Hilfsarbeit behindert ist und daher mit einer zusätzlichen Lohneinbusse zu rechnen hat. Im Würdigung der gesamten Umstände und im Vergleich zu <ref-ruling> ff., wo das Eidgenössische Versicherungsgericht bei einem als Kranführer tätig gewesenen Versicherten, welcher zufolge einer Knieverletzung und Rückenbeschwerden lediglich noch zu 50 % körperlich leichte, wechselbelastende, vorwiegend sitzend zu verrichtende Tätigkeiten ausüben konnte, einen Abzug von 15 % als angemessen bezeichnet hat, rechtfertigt es sich, den Abzug entsprechend dem beschwerdeführerischen Antrag auf 10 % festzusetzen.
4.- Nach dem Gesagten ist das Invalideneinkommen auf Fr. 31'531.- (35'035 x 0.9) festzusetzen, was im Vergleich zum Valideneinkommen von Fr. 50'050.- einen Invaliditätsgrad von 37 % ergibt. Die Verwaltung hat den Rentenanspruch mit Verfügung vom 29. Juni 1998 im Ergebnis daher zu Recht verneint.

Demnach erkennt das Eidg. Versicherungsgericht:
I.In Gutheissung der Verwaltungsgerichtsbeschwerde wird
der Entscheid des Versicherungsgerichts des Kantons
St. Gallen vom 23. August 2000 aufgehoben.
II.Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, der Ausgleichskasse des Kantons St. Gallen und dem Bundesamt für Sozialversicherung
zugestellt.
Luzern, 8. August 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Die Gerichtsschreiberin: