Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Nach der Rechtsprechung des Eidgenössischen Versicherungsgerichts stellt der Rückweisungsentscheid einer kantonalen Rekursinstanz eine im Sinne von Art. 128 in Verbindung mit Art. 97 Abs. 1 OG und <ref-law> mit Verwaltungsgerichtsbeschwerde an das Eidgenössische Versicherungsgericht anfechtbare Endverfügung dar. Anfechtbar ist grundsätzlich nur das Dispositiv, nicht aber die Begründung eines Entscheides. Verweist indessen das Dispositiv eines Rückweisungsentscheides ausdrücklich auf die Erwägungen, werden diese zu dessen Bestandteil und haben, soweit sie zum Streitgegenstand gehören, an der formellen Rechtskraft teil. Dementsprechend sind die Motive, auf die das Dispositiv verweist, für die Behörde, an die die Sache zurückgewiesen wird, bei Nichtanfechtung verbindlich. Beziehen sich diese Erwägungen auf den Streitgegenstand, ist somit auch deren Anfechtbarkeit zu bejahen (<ref-ruling> Erw. 1a mit Hinweis).
2.- Das kantonale Gericht hat die gesetzlichen Bestimmungen und Grundsätze über den Umfang des Rentenanspruchs (<ref-law>), den Rentenbeginn (<ref-law>) sowie den Anspruch auf Arbeitsvermittlung (<ref-law>) dargelegt. Darauf kann verwiesen werden. Zu ergänzen ist, dass für die Bemessung der Invalidität gemäss <ref-law> das Erwerbseinkommen, das der Versicherte nach Eintritt der Invalidität und nach Durchführung allfälliger Eingliederungsmassnahmen durch eine ihm zumutbare Tätigkeit bei ausgeglichener Arbeitsmarktlage erzielen könnte, in Beziehung gesetzt wird zum Erwerbseinkommen, das er erzielen könnte, wenn er nicht invalid geworden wäre.
3.- Die Vorinstanz hat den Anspruch des Versicherten auf eine Viertelsrente bejaht und die Verwaltung angewiesen, zwecks Abklärung des Rentenbeginns zusätzliche Beweismassnahmen zu treffen. Weiter hielt sie fest, dass der Versicherte Anspruch auf Arbeitsvermittlung habe.
Die beschwerdeführende IV-Stelle wendet zur Hauptsache ein, der Gesundheitszustand des Versicherten sei bisher nur ungenügend abgeklärt worden; es sei zunächst eine multidisziplinäre, gesamtheitliche medizinische Exploration erforderlich, bevor über die Ansprüche auf Arbeitsvermittlung und Rente befunden werden könne.
4.- a) Aus den Akten ergibt sich, dass der Beschwerdegegner zum Verfügungszeitpunkt - worauf nach ständiger Rechtsprechung abzustellen ist (<ref-ruling> Er. 1b mit Hinweisen) - an einem zur Chronifizierung ansetzenden lumbovertebralen Syndrom mit Schmerzausstrahlung ins rechte Bein ohne objektivierbare motorische Ausfälle sowie einer SpinalkanalstenoseL4/5litt. Dr.H._hattebereitsanlässlichder Untersuchung vom 28. Oktober 1996 Anzeichen einer inapropriaten Schmerzverarbeitung (diverse positive Waddelsigns, Lasègue und Sitzlasègue negativ) erkannt, was ihn zum Verdacht einer (teilweisen) psycho-sozialen Überlagerung der Beschwerden führte. Diese Einschätzung wurde durch den Hausarzt Dr. L._ in seiner Stellungnahme vom 1. April 1997 bestätigt, wobei er sich angesichts des subjektiven Leidensdrucks des Versicherten ausser Stande sah, eine Einschätzung der Restarbeitsfähigkeit abzugeben. Nachdem auch eine weitere Exploration am 4. Juni 1997 durch Dr. H._ keine neuen somatischen Befunde zu Tage gebracht hatte, der Beschwerdeführer indessen nach wie vor über namhafte Schmerzen klagte, sprach Dr. H._ in einer Stellungnahme an die IV-Stelle (vom 20. Juni 1997) von erheblichen "krankheitsfremden" (recte: nicht objektivierbaren) Faktoren mit ungünstiger Prognose, welche wohl einer Verbesserung der Leistungsfähigkeit in einer den körperlichen Beschwerden angepassten Tätigkeit (leichte Arbeiten) von aktuell 75 auf 100 % entgegenstehen würden.
b) Insbesondere angesichts der letzten Aussage lässt sich das Vorliegen einer psychischen Störung zum Verfügungszeitpunkt nicht ausschliessen. Eine (fachärztliche) psychiatrische Untersuchung drängt sich auf. Diese wird sinnvollerweise in eine polydisziplinäre Expertise eingebettet, welche das Krankheitsbild gesamthaft beurteilt.
Erst dies wird eine abschliessende Einschätzung der Restarbeitsfähigkeit und die Ermittlung des daraus abzuleitenden
Invaliditätsgrades zulassen. Die Sache ist daher gemäss ihrem Antrag an die IV-Stelle zurückzuweisen, welche entsprechende Abklärungen vornehmen und gestützt darauf über das Leistungsbegehren (berufliche Massnahmen/Invalidenrente) neu befinden wird.
5.- Kommt die IV-Stelle dabei zum Schluss, dass der Versicherte bezüglich beruflicher Eingliederungsmassnahmen einzig Anspruch auf Arbeitsvermittlung hat, so kann sie trotz des in <ref-law> festgehaltenen Grundsatzes Eingliederung vor Rente (<ref-ruling>, 99 V 48) ohne weiteres über den Rentenanspruch befinden, da sich diese Massnahme nicht auf die Arbeitsfähigkeit auswirkt. Weiter wird sie bei derzeitiger Aktenlage in Übereinstimmung mit der Vorinstanz für die Bemessung des mutmasslichen Verdienstes ohne Invalidität auf das zuletzt bei der Firma V._ AG als Lagerist erzielte Einkommen im Jahre 1994 von Fr. 48'100. - abstellen dürfen. Allerdings wird sie diesen Betrag entgegen der Auffassung des kantonalen Gerichts einem auf der Basis von Tabellenlöhnen festgelegten Invalideneinkommen als massgebender Vergleichsgrösse im Sinne von <ref-law> gegenüberstellen dürfen (vgl. ZAK 1989 S. 456). Dies deshalb, weil der bei der im Handel tätigen Firma zuletzt erzielte Verdienst nur unwesentlich unter dem branchenüblichen Einkommen lag (vgl. Schweizerische Lohnstrukturerhebung [LSE] 1994 des Bundesamtes für Statistik, Tabelle TA1, Ziff. 50). Soweit die IV-Stelle bei der Festsetzung des Invalideneinkommens tatsächlich auf in der LSE ausgewiesene Durchschnittseinkommen abstellen wird, hat sie - wie von der Vorinstanz an sich richtig dargelegt - zu beachten, dass die betriebsübliche wöchentliche Arbeitszeit davon abweichen kann (LSE 1994 S. 42), was ein entsprechendes Umrechnen des tabellarisch ausgewiesenen Einkommens zur Folge hat (<ref-ruling> Erw. 3b/bb). Für 1994 betrug die durchschnittliche Betriebsarbeitszeit jedoch 41,9 und nicht 42 Stunden (Die Volkswirtschaft 1997, Heft 7, Anhang, S. 26, Tabelle B9.2), wovon indessen die Vorinstanz ausgegangen ist.
6.- Dem im Verfahren vor dem Eidgenössischen Versicherungsgericht unterliegenden Beschwerdegegner steht für diesen Prozess keine Parteientschädigung zu (Art. 135 in Verbindung mit Art. 159 OG).
Für das vorinstanzliche Verfahren hat das kantonale Gericht dem heutigen Beschwerdegegner eine Parteientschädigung zugesprochen. Diese Parteikostenzusprechung ist trotz des letztinstanzlichen Prozessausgangs zu bestätigen. Denn unter dem Gesichtspunkt des bundesrechtlichen Anspruchs auf eine Parteientschädigung gilt es im Streit um eine Sozialversicherungsleistung praxisgemäss bereits als Obsiegen, wenn die versicherte Person ihre Rechtsstellung im Vergleich zu derjenigen nach Abschluss des Administrativverfahrens insoweit verbessert, als sie die Aufhebung einer ablehnenden Verfügung und die Rückweisung der Sache an die Verwaltung zur ergänzenden Abklärung und neuen Beurteilung erreicht (SVR 1999 IV Nr. 10 S. 28 Erw. 3).

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne gutgeheissen, dass die Dispositiv-Ziffern 1 und 2 des Entscheids des Versicherungsgerichts des Kantons St. Gallen vom 17. September 1999 sowie die Verfügung der IV-Stelle des Kantons St. Gallen vom 4. August 1997 aufgehoben werden und die Sache an die IV-Stelle zurückgewiesen wird, damit sie, nach erfolgten Abklärungen im Sinne der Erwägungen, über das Leistungsbegehren neu verfüge.
II. Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 7. Juni 2000
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer:
Der Gerichtsschreiber: