A.- Der 1947 geborene L._ beanspruchte seit Juni 1997 Taggelder der Arbeitslosenversicherung. Die Kantonale Arbeitslosenkasse St. Gallen überwies die Akten am 4. Mai 1998 dem Kantonalen Amt für Industrie, Gewerbe und Arbeit St. Gallen (KIGA, seit 1. Juli 1999 und nachstehend Amt für Arbeit) zum Entscheid über die Vermittlungsfähigkeit.
Dieses ersuchte den Versicherten am 6. Mai 1998 um Stellungnahme. Auf Grund seiner Angaben vom 28. Mai 1998 stellte das Amt für Arbeit mit unangefochten in Rechtskraft erwachsener Verfügung vom 16. Juni 1998 die Vermittlungsunfähigkeit ab 1. Januar 1998 fest. Gestützt darauf forderte die Arbeitslosenkasse mit Verfügung vom 30. Juni 1998 in den Monaten Januar bis März 1998 zu viel bezogene Taggeldleistungen im Betrag von Fr. 4096. 30 zurück.
B.- Beschwerdeweise ersuchte L._ um Aufhebung der Verfügung vom 30. Juni 1998. Die Arbeitslosenkasse machte vernehmlassungsweise die Heraufsetzung des Rückforderungsbetrages auf Fr. 4592. 40 geltend. Nachdem das Versicherungsgericht des Kantons St. Gallen den Versicherten auf eine drohende Schlechterstellung (reformatio in peius) hinsichtlich der Höhe des Rückforderungsbetrages aufmerksam gemacht hatte, wies es die Beschwerde mit Entscheid vom 16. August 2000 ab und hob die Verfügung vom 30. Juni 1998 insoweit auf, als es den Rückforderungsbetrag auf Fr. 4592. 40 festsetzte.
C.- L._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag, die Rückforderungsverfügung sei aufzuheben.
Die Arbeitslosenkasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde.
Das Staatssekretariat für Wirtschaft verzichtet auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- a) Wie die Vorinstanz zutreffend dargelegt hat, muss die Arbeitslosenkasse nach Art. 95 Abs. 1 AVIG Leistungen der Versicherung, auf die der Empfänger keinen Anspruch hatte, zurückfordern. Gemäss einem allgemeinen Grundsatz des Sozialversicherungsrechts kann die Verwaltung eine formell rechtskräftige Verfügung, welche nicht Gegenstand materieller richterlicher Beurteilung gebildet hat, in Wiedererwägung ziehen, wenn sie zweifellos unrichtig und ihre Berichtigung von erheblicher Bedeutung ist. Die für die Wiedererwägung formell rechtskräftiger Verfügungen massgebenden Voraussetzungen gelten auch mit Bezug auf die Rückerstattung zu Unrecht bezogener Geldleistungen der Arbeitslosenversicherung gemäss Art. 95 AVIG und zwar unbesehen darum, ob sie förmlich oder formlos zugesprochen worden sind (<ref-ruling> Erw. 2b/aa, 122 V 368 Erw. 3, je mit Hinweisen). Eine zweifellose Unrichtigkeit liegt nicht nur vor, wenn die in Wiedererwägung zu ziehende Verfügung auf Grund falscher oder unzutreffender Rechtsregeln erlassen wurde, sondern auch, wenn massgebliche Bestimmungen nicht oder unrichtig angewandt wurden (<ref-ruling> Erw. 2b/bb; ARV 1996/97 Nr. 28 S. 158 Erw. 3c). Eine gesetzwidrige Leistungszusprechung gilt regelmässig als zweifellos unrichtig (<ref-ruling> Erw. 2b/bb, 103 V 128).
b) Der Anspruch auf Arbeitslosenentschädigung setzt u.a. die Vermittlungsfähigkeit der versicherten Person voraus (Art. 8 Abs. 1 lit. f in Verbindung mit Art. 15 AVIG). Für die Frage der zweifellosen Unrichtigkeit ist entscheidend, ob sich die gesetzliche Anspruchsvoraussetzung der Vermittlungsfähigkeit klar verneinen lässt (<ref-ruling> Erw. 2b/bb; ARV 1996/97 Nr. 28 S. 158 Erw. 3c/aa).
2.- a) Durch die unangefochten gebliebene Verfügung des Amtes für Arbeit vom 16. Juni 1998 ist die Vermittlungsfähigkeit des Beschwerdeführers ab 1. Januar 1998 rechtskräftig verneint worden. Dadurch erweist sich die früher vorgenommene Taggeldauszahlung im Nachhinein als materiell unrechtmässig, weshalb die erste Rückforderungsvoraussetzung nach Art. 95 Abs. 1 AVIG erfüllt ist.
b) Die Kasse, die für die Rückforderung zuständig ist, ist an den Feststellungsentscheid der kantonalen Amtsstelle über die Vermittlungsfähigkeit zwar gebunden. Trotzdem darf sie bereits ausbezahlte Taggelder, für welche zufolge des negativen rechtskräftigen Entscheides des Amtes für Arbeit im Zweifelsfallverfahren die Anspruchsvoraussetzungen nachträglich nicht mehr gegeben sind, nur zurückfordern, wenn die Wiedererwägung- oder Revisionsvoraussetzungen erfüllt sind. Der Kasse obliegt es daher, bei im Zweifelsfallverfahren festgestellter Rechtswidrigkeit einer bestimmten Leistungsausrichtung im Rückforderungsverfahren zu prüfen, ob die zweifellose Unrichtigkeit und die erhebliche Bedeutung ihrer Berichtigung als Voraussetzung der Wiedererwägung der verfügten Taggeldzusprechung erfüllt sind (<ref-ruling> Erw. 2b/cc).
3.- a) Das kantonale Gericht hat erwogen, ob wegen Ablaufs der angemessenen Überlegungs- und Prüfungsfrist (vgl.
<ref-ruling> Erw. 3 mit Hinweisen) ein Zurückkommen auf die entsprechenden Taggeldabrechnungen einen Rückkommenstitel erfordert, brauche nicht abschliessend beurteilt zu werden. Nachdem mit rechtskräftiger Verfügung des Amtes für Arbeit vom 16. Juni 1998 die Vermittlungsfähigkeit ab
1. Januar 1998 verneint worden sei, stehe fest, dass die Taggeldabrechnungen für Februar 1998 vom 5. März 1998 und März 1998 vom 31. März 1998 zweifellos unrichtig und ihre Berichtigung von erheblicher Bedeutung seien. Mit der rechtskräftigen Verneinung der Vermittlungsfähigkeit ist über die Zulässigkeit der Rückforderung indessen noch nicht abschliessend entschieden (<ref-ruling> Erw. 2b/bb). Im Folgenden ist daher zu prüfen, ob die Voraussetzungen für ein Zurückkommen auf die mit den Bezügerabrechnungen der Monate Februar und März ausgerichteten Taggeldzahlungen vorliegen.
b) Von vornherein ausser Betracht fällt die prozessuale Revision wegen unverschuldet unbewiesen gebliebener vorbestandener neuer Tatsachen. Da der Beschwerdeführer der Arbeitslosenkasse den aus selbstständiger Erwerbstätigkeit erzielten Verdienst regelmässig gemeldet hat, kann nicht von neu entdeckten Tatsachen gesprochen werden. In seiner Stellungnahme zur Vermittlungsfähigkeit vom 28. Mai 1998 gab der Beschwerdeführer an, auf dem Stellenmarkt bestünden derzeit keine guten Aussichten für den Wiedereinstieg in eine unselbstständige Teilzeitstelle, weshalb er sich vorwiegend dafür eingesetzt habe, als selbstständiger Dienstleister für Werbeagenturen und Redaktionen im Markt Fuss zu fassen und sich durch gute Arbeit eine sichere Position mit einem lebenserhaltenden Auftragsvolumen zu erarbeiten. Dies drückte sich denn auch in zunehmenden Einkommenszahlen aus.
Allerdings schwankten diese von Monat zu Monat noch beträchtlich (Januar 1998 Fr. 13'929. 40, Februar Fr. 2455.- März Fr. 3100.-, April Fr. 19'908.-, Mai Fr. 3245.-, Juni Fr. 11'045.-; jeweils brutto). Erklärtes Ziel war es jedoch, mittels regelmässiger Stammkundschaft ein fixes Einkommen zu erreichen. Dabei rechnete der Beschwerdeführer mit Pensen von 10 bis 12 Stunden pro Tag sowie Arbeitseinsätzen an Samstagen und Sonntagen. Dies hindere ihn indessen nicht daran, daneben noch eine Stelle mit einem 60 %-Pensum zu versehen. Bei einem versicherten Verdienst von Fr. 3600.- - entsprechend einer Anstellung von 60 % - erzielte der Versicherte in der Zeit von Januar bis Mai 1997 Einkommen aus selbstständiger Tätigkeit (40 % Pensum) von durchschnittlich Fr. 2698. 30 im Monat. Von Januar bis und mit Juni 1998 vermeldete er ein Bruttoeinkommen von Fr. 53'682. 40 und ein Nettoeinkommen von Fr. 38'331. 15, entsprechend einem durchschnittlichen Monatslohn von Fr. 6388. 50 (netto). Somit hat er die 40 %ige Tätigkeit als Selbstständigerwerbender erheblich ausgebaut. Damit vermag er, wie er in seiner Stellungnahme zugibt, zudem ein wesentlich höheres Einkommen zu erzielen, als dies mit einer festen Anstellung als Unselbstständigerwerbender der Fall wäre. Seine Bemühungen waren daher schwergewichtig auf den Ausbau der selbstständigen Erwerbstätigkeit ausgerichtet, welche nicht nur als vorübergehend geplant war. Dass daneben noch Kapazität für die Ausübung einer normalen Arbeitnehmertätigkeit zu den üblichen Zeiten verbleibt, muss entgegen den Beteuerungen des Beschwerdeführers ausgeschlossen werden. In Würdigung der gesamten Aktenlage ist daher die anfängliche Annahme der Vermittlungsfähigkeit durch die Kasse nicht nur zweifellos unrichtig, sondern auch bei freier Prüfung zu verneinen.
Die für den Tatbestand der Wiedererwägung kumulativ erforderliche erhebliche Bedeutung der Berichtigung (vgl.
BGE 126 V 23 Erw. 4b, 46 Erw. 2b, 400 Erw. 2b/aa, je mit Hinweisen) ist bei dem in Frage stehenden Rückforderungsbetrag von Fr. 4592. 40 - welcher masslich nicht bestritten wird - ebenfalls zu bejahen. Mit Blick darauf, dass die Rückforderung in diesem Umfang sowohl bei freier Prüfung wie auch unter Anwendung des qualifizierten Erfordernisses eines Rückkommenstitels zu bejahen ist, kann offen bleiben, wie lange die angemessene Überlegungs- und Prüfungsfrist (vgl. <ref-ruling> Erw. 3 mit Hinweisen) hinsichtlich der Taggeldabrechnungen von Februar und März 1998 dauerte.
c) Was in der Verwaltungsgerichtsbeschwerde vorgebracht wird, vermag zu keinem anderen Ergebnis zu führen.
Soweit der Beschwerdeführer sinngemäss den Grundsatz von Treu und Glauben (<ref-ruling> Erw. 2a mit Hinweisen) anruft mit dem Hinweis, die Arbeitslosenkasse hätte früher intervenieren müssen und ihn nicht im Glauben lassen dürfen, die Zahlungen erfolgten rechtmässig, sind die Einwände unbegründet. Zwar erweckt das Verhalten der Verwaltung Bedenken, trotz des enorm gestiegenen Einkommens im Januar 1998 in den Folgemonaten Arbeitslosenentschädigung auszurichten.
Indessen war eine Prognose angesichts der schwankenden Einkommenszahlen zum damaligen Zeitpunkt kaum möglich und auch der Beschwerdeführer rechnete mit sehr grossen Einkommensunterschieden. Allerdings ist nicht ersichtlich, inwiefern dieser Dispositionen getroffen hat, die nicht mehr ohne Nachteil rückgängig gemacht werden können.
Damit gebricht es an einer der rechtsprechungsgemäss erforderlichen Voraussetzungen für eine erfolgreiche Berufung auf den öffentlich-rechtlichen Vertrauensschutz, wie bereits die Vorinstanz zutreffend festgestellt hat.

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, dem Amt für Arbeit, St. Gallen, und dem Staatssekretariat für Wirtschaft
zugestellt.
Luzern, 17. Januar 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Die Gerichtsschreiberin: