Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Gemäss <ref-law> muss die Arbeitslosenkasse Leistungen der Versicherung, auf die der Empfänger keinen Anspruch hatte, zurückfordern. Die Rückforderung nach Massgabe dieser Bestimmung ist nur unter den Voraussetzungen der Wiedererwägung oder prozessualen Revision der formell rechtskräftigen Verfügung, mit welcher die betreffende Leistung zugesprochen worden ist, zulässig. Diese Grundsätze finden auch dann Anwendung, wenn die zur Rückforderung Anlass gebenden Leistungen formlos verfügt worden sind (ARV 1995 Nr. 12 S. 64 Erw. 2b mit Hinweis). Gemäss einem allgemeinen Grundsatz des Sozialversicherungsrechts kann die Verwaltung eine formell rechtskräftige Verfügung, welche nicht Gegenstand materieller richterlicher Beurteilung gebildet hat, in Wiedererwägung ziehen, wenn sie zweifellos unrichtig und ihre Berichtigung von erheblicher Bedeutung ist (<ref-ruling> Erw. 3a, 119 V 183 Erw. 3a, 477 Erw. 1). Im Rahmen der prozessualen Revision, die von der Wiedererwägung unterschieden werden muss, ist die Verwaltung verpflichtet, auf eine formell rechtskräftige Verfügung zurückzukommen, wenn neue Tatsachen oder Beweismittel entdeckt werden, die geeignet sind, zu einer andern rechtlichen Beurteilung zu führen (<ref-ruling> Erw. 3a, 119 V 184 Erw. 3a, 477 Erw. 1a).
2.- Die Vorinstanz hat in Übereinstimmung mit den Akten detailliert dargelegt, weshalb der Beschwerdeführer keinen Anspruch auf die zurückgeforderten Leistungen hatte.
In der Verwaltungsgerichtsbeschwerde erschöpft sich der Versicherte in Ausführungen allgemeiner Art, ohne sich darüber zu äussern, weshalb die Rückforderung oder einzelne Teile davon nicht berechtigt wären oder in welchen Punkten die Vorinstanz fehlerhaft entschieden hätte. Es sind denn auch keine konkreten Gründe für eine Beanstandung ersichtlich.
Die streitigen Leistungen wurden demnach zweifellos zu Unrecht zugesprochen, und die Berichtigung dieser Zahlungen ist angesichts der im Streite liegenden Summe von erheblicher Bedeutung, weshalb die Voraussetzungen für eine wiedererwägungsweise Rückforderung gegeben sind.
Soweit der Beschwerdeführer geltend macht, er sei nicht in der Lage, den einverlangten Betrag zurückzuzahlen, steht es ihm frei, ein Erlassgesuch an die Verwaltung zu richten.
3.- Da die Verwaltungsgerichtsbeschwerde offensichtlich unbegründet ist, wird sie im Verfahren nach Art. 36a OG erledigt.

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, dem Amt für Arbeit, St. Gallen, und dem Staatssekretariat für Wirtschaft
zugestellt.
Luzern, 7. Mai 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Der Gerichtsschreiber: