Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Das kantonale Gericht hat die massgebenden gesetzlichen Bestimmungen und Grundsätze über den Begriff der Invalidität (vgl. <ref-ruling>) sowie über die Voraussetzungen und den Umfang des Rentenanspruchs (<ref-law>) zutreffend dargelegt. Zu ergänzen ist, dass die Invaliditätsbemessung, lassen sich die beiden hypothetischen Vergleichseinkommen nicht zuverlässig ermitteln oder schätzen, nach einem erwerblich gewichteten Betätigungsvergleich (ausserordentliches Bemessungsverfahren) durchzuführen und der Invaliditätsgrad nach Massgabe der erwerblichen Auswirkungen der verminderten Leistungsfähigkeit in der konkreten erwerblichen Situation zu bestimmen ist (<ref-law>; <ref-ruling> Erw. 2c).
2.- a) Vorinstanz und Beschwerdeführerin sind sich darüber einig, dass der Versicherte mit überwiegender Wahrscheinlichkeit auch als Gesunder in der zuletzt bereits seit elf Jahren ausgeübten Tätigkeit im Handel mit Flohmarkt- und Occasionsartikeln tätig wäre. Zutreffenderweise hat das kantonale Gericht, nachdem es zum Schluss gelangte, ein Berufswechsel sei für den Versicherten nicht angezeigt und nicht zumutbar, die Arbeitsfähigkeit des Beschwerdegegners somit in Bezug auf selbstständige Erwerbstätigkeit als Flohmarkthändler ermittelt. Diese ist gemäss Dr. S._ seit mindestens dem 12. April 1996 zu 75 % eingeschränkt, während nach Angaben der MEDAS vom 20. Oktober 1997 unter Berücksichtigung der orthopädischen und psychiatrischen Aspekte eine Arbeitsunfähigkeit von 60 % vorliegt.
Dem Ergänzungsgutachten vom 29. Januar 1999 ist sodann zu entnehmen, gemäss der im Januar 1998 durchgeführten Untersuchung sei im Sinne einer Verschlechterung des relevanten Gesundheitszustandes eine Stand- und Gangataxie aufgetreten, welche eine insgesamt um 10 % höhere Arbeitsunfähigkeit (von 70 %) bewirke. Obwohl der Beginn der neurologischen Beeinträchtigung auf Januar 1998 festgesetzt wurde, müsse sich dieses Leiden allmählich entwickelt haben. Gestützt auf diese zusätzlichen Untersuchungen befand die Vorinstanz, allein auf den Zeitpunkt der entsprechenden Konsultation abzustellen, erscheine unter diesen Umständen als nicht gerechtfertigt. Vielmehr sei unerlässlich, nach medizinischen Gesichtspunkten abzuklären, wann die Erhöhung der Arbeitsunfähigkeit von 60 auf 70 % eingetreten war. Ferner sei von Bedeutung, in welchen Tätigkeiten eines
Händlers im Detail welche Beeinträchtigungen bestehen.
Dagegen wendet die IV-Stelle in ihrer Verwaltungsgerichtsbeschwerde im Wesentlichen ein, die Einschätzung der MEDAS, wonach der Beginn der Gang- und Standataxie auf einen Zeitpunkt vor Januar 1998 festzulegen sei, erweise sich für den Beschwerdegegner allzu sehr wohlwollend. Da der neue Befund erst nach dem Erlass der angefochtenen Verfügung nachweisbar sei, wäre dieser allenfalls im Rahmen einer Rentenrevision zu berücksichtigen.
b) Der Betrachtungsweise der Beschwerdeführerin kann nicht gefolgt werden. Denn grundsätzlich ist vorliegend zu berücksichtigen, dass sich die noch abzuklärende Frage der verbleibenden Arbeitsfähigkeit des Versicherten nicht lediglich auf den beanstandeten Zeitpunkt einer Verschlechterung des relevanten Gesundheitszustandes beschränkt, sondern dass allgemein zu ermitteln bleibt, wie sich die geklagten Beeinträchtigungen des Versicherten auf die zumutbare Tätigkeit als Flohmarkthändler auswirken. In diesem Punkt ist die Beschwerde somit unbegründet.
3.- a) Die IV-Stelle macht in der Verwaltungsgerichtsbeschwerde sodann geltend, die Erwerbsfähigkeit des Versicherten sei wohl auf Grund eines als Flohmarkthändler erzielbaren Valideneinkommens zu ermitteln, wobei nach der steuerrechtlichen Aktenlage von einem jährlichen Betrag von Fr. 20'000. - auszugehen sei. Mit der Begründung, der Versicherte sei in seinem Betrieb offensichtlich nicht bestmöglichst eingegliedert, weshalb ihm die Aufnahme einer Erwerbstätigkeit im Angestelltenverhältnis obliege, gelangt die Beschwerdeführerin bei Annahme einer leichten und mittleren Hilfstätigkeit im Produktions- oder im Dienstleistungssektor jedoch zu einem jährlichen Invalideneinkommen von Fr. 30'917. -, was nach dem allgemeinen Einkommensvergleich zu keinem Invaliditätsgrad führt. Die Vorinstanz ging ihrerseits davon aus, mangels aussagekräftiger Steuerakten lasse sich ein zuverlässiger Einkommensvergleich vorliegend nicht anstellen, weil eine Gegenüberstellung von Einkommen vor und nach Eintritt des Gesundheitsschadens nicht möglich sei.
b) Wie bereits dargelegt (s. Erw. 2a), ging die Vorinstanz zutreffenderweise davon aus, ein Berufswechsel sei für den Versicherten weder angezeigt noch zumutbar. Demgegenüber sind die Einwendungen der Beschwerdeführerin nicht stichhaltig, soweit sie das Invalideneinkommen anhand abstrakter Lohnstrukturerhebungen (Tabellenlöhne) ermittelt haben will, noch bringt sie diesbezüglich schlüssige Argumente vor, welche das vorgeschlagene Bemessungsverfahren zu rechtfertigen vermöchten. Vielmehr ist im vorliegenden Fall zu berücksichtigen, dass das ausserordentliche Invaliditätsbemessungsverfahren nicht nur dann durchzuführen ist, wenn beide, sondern auch dann, wenn nur eines der beiden Vergleichseinkommen im Sinne von <ref-law> nicht ermittelt werden können; denn es ist auch diesfalls dem Einkommensvergleich die notwendige Grundlage entzogen (Meyer-Blaser, Rechtsprechung des Bundesgerichts zum IVG, Zürich 1997, S. 205).
Demzufolge hat das kantonale Gericht zu Recht die angefochtene Verfügung aufgehoben und die Rückweisung der Sache an die IV-Stelle angeordnet, damit sie anhand einer Abklärung an Ort und Stelle einen Betätigungsvergleich vorzunehmen habe, der darüber Auskunft geben soll, bei welchen Tätigkeiten der Beschwerdegegner in welchem Ausmass eingeschränkt ist. Dieser Betätigungsvergleich wird in der Folge erwerblich zu gewichten sein und zu berücksichtigen haben, dass der Versicherte die Tätigkeit als Flohmarkthändler mit Rücksicht auf seine Schadenminderungspflicht bestmöglichst seinem Leiden anzupassen hat.

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II. Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 4. Juli 2000
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer:
Der Gerichtsschreiber: