Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Verwaltung und Vorinstanz haben unter Hinweis auf Gesetz (<ref-law>; <ref-law>) und Rechtsprechung (ARV 1998 Nr. 14 S. 73 Erw. 4a und 1992 Nr. 7 S. 103 Erw. 2b mit Hinweisen) zutreffend dargelegt, weshalb sich der Beschwerdeführer nicht auf den guten Glauben zu berufen vermag, sodass dem Begehren um Erlass der Rückerstattung nicht entsprochen werden konnte. Dagegen sind in der Verwaltungsgerichtsbeschwerde keine neuen Tatsachen vorgebracht worden, welche die Feststellungen des vorinstanzlichen Gerichts entkräften könnten. Es muss demnach beim Entscheid des kantonalen Sozialversicherungsgerichts sein Bewenden haben.
2.- Soweit der Beschwerdeführer sinngemäss das Massliche der seinem Erlassbegehren zugrundeliegenden Rückforderung beanstandet, kann auf die Verwaltungsgerichtsbeschwerde nicht eingetreten werden, weil die Frage der Rückerstattung bereits rechtskräftig entschieden ist (Verfügung vom 20. Dezember 1995; vgl. dazu auch <ref-ruling> Erw. 2 mit Hinweis).
3.- Da die Verwaltungsgerichtsbeschwerde, soweit zulässig, offensichtlich unbegründet ist, wird sie im Verfahren nach Art. 36a OG erledigt.

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen,
soweit darauf einzutreten ist.
II. Die Gerichtskosten von total Fr. 700.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
III. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Arbeitslosenkasse GBI, Winterthur, und dem Staatssekretariat für Wirtschaft
zugestellt.
Luzern, 9. August 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Der Gerichtsschreiber: