A.- Mit Verfügung vom 17. Mai 2000 forderte die Kantonale Arbeitslosenkasse Schaffhausen von S._, geboren 1947, zu Unrecht bezogene Arbeitslosenentschädigungen in Höhe von Fr. 10'849. 95 zurück, da er nach erfolgter Entlassung seine Stellung als Gesellschafter und Geschäftsführer der ehemals arbeitgebenden GmbH beibehalten habe. Auf Schreiben des S._ vom 18. Mai 2000 hin lehnte das Arbeitsamt des Kantons Schaffhausen mit Verfügung vom 12. September 2000 den Erlass der Rückzahlung mangels guten Glaubens ab. B.- Die dagegen erhobene Beschwerde des S._ wies die Kantonale Rekurskommission für die Arbeitslosenversicherung Schaffhausen mit Entscheid vom 24. Januar 2001 ab. C.- S._ führt Verwaltungsgerichtsbeschwerde mit dem sinngemässen Antrag, unter Aufhebung des vorinstanzlichen Entscheides und der Verwaltungsverfügung sei ihm die Rückerstattung vollumfänglich zu erlassen. Das Arbeitsamt schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Staatssekretariat für Wirtschaft auf eine Vernehmlassung verzichtet.