A.- L._ (geboren 1949) meldete sich nach Ablauf einer Rahmenfrist am 30. Dezember 1996 wiederum zum Bezug von Arbeitslosenentschädigung an. In der Folge verneinte er jeweils auf den Kontrollausweisen die Frage nach der Ausübung einer unselbstständigen oder selbstständigen Erwerbstätigkeit. Vom 22. Oktober 1997 bis 15. Mai 1998 besuchte er den Grund- und Hauptkurs "Der Schritt in die erfolgreiche Selbständigkeit" des Institutes X._ für Jung-Unternehmer/Innen. Dabei blieb er an 15 1⁄2 von 30 Tagen dem Hauptkurs fern. In den Monaten Februar und Mai 1998 nahm er an keinem einzigen Kurstag teil und gab als Abwesenheitsgrund geschäftliche Gründe und den Aufbau einer selbstständigen Erwerbstätigkeit an. Nachdem er auf Anfrage hin eine Zwischenverdiensttätigkeit verneint hatte, überwies die Arbeitslosenkasse des Kantons Zürich die Sache zum Entscheid an das Kantonale Amt für Wirtschaft und Arbeit (AWA) zum Entscheid über die Vermittlungsfähigkeit. Mit Verfügung vom 28. September 1998 bejahte das AWA die Vermittlungsfähigkeit des L._ ab 1. Mai 1998 im Ausmass einer Vollzeitstelle. Gleichzeitig stellte es fest, dass L._ seit Aufnahme der Kontrollpflicht eine selbstständige Erwerbstätigkeit ausübt. Es forderte ihn auf, seine Brutto-Einkünfte sowie den zeitlichen Aufwand für die geleistete Arbeit unaufgefordert jeden Monat der Arbeitslosenkasse zu melden. Soweit der Zwischenverdienst nicht klar ausgewiesen werden könne, sei seine geleistete Arbeit gemäss dem berufs- und ortsüblichen Ansatz für die entsprechende Tätigkeit festzulegen. Am 3. November 1998 forderte die Arbeitslosenkassse L._ auf, bis zum 30. November 1998 die Bescheinigung über Zwischenverdienst für den Zeitraum Januar 1997 bis Oktober 1998 auszufüllen mit dem Hinweis, dass andernfalls die Ansprüche gegenüber der Arbeitslosenversicherung ganz oder teilweise erlöschten. Mit Schreiben vom 19. November 1998 teilte L._ der Arbeitslosenkasse mit, er habe seit 1. Januar 1997 keinen Zwischenverdienst erwirtschaftet. Seine sämtlichen Bemühungen und Vorbereitungen bezögen sich auf die Zeit von 18.00 Uhr bis 24.00 Uhr und erfolgten in seiner Freizeit. Am 21. Dezember 1998 setzte ihm die Arbeitslosenkasse zur Einreichung der verlangten Formulare eine Frist bis zum 15. Januar 1999 mit der Androhung, dass im Unterlassungsfalle die bereits geleisteten Zahlungen zurückgefordert werden müssten. In der Folge reichte er die Bescheinigungen über Zwischenverdienst unterschrieben, jedoch nicht ausgefüllt zurück, indem er die Felder der entsprechenden Kalendertage, in welche die gearbeiteten Stunden einzutragen waren, mit einem Strich versah. Daraufhin forderte die Arbeitslosenkasse mit Verfügung vom 3. Februar 1999 von L._ für die Zeit von Januar 1997 bis Ende September 1998 die bereits ausbezahlten Taggelder im Gesamtbetrag von Fr. 46'664. 50 zurück. B.- Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 22. November 2000 ab. C.- L._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag, es seien der vorinstanzliche Entscheid und die Kassenverfügung aufzuheben. Arbeitslosenkasse und Staatssekretariat für Wirtschaft verzichten auf eine Vernehmlassung.