Sachverhalt: Mit Verfügung vom 9. Januar 2004 forderte die Arbeitslosenkasse Syna von B._ einen Betrag von Fr. 54'265.40 zurück. Diese Verfügung bestätigte die Kasse mit Einspracheentscheid vom 20. Februar 2004. Die dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 15. September 2004 insofern teilweise gut, als es die Rückforderung wegen Verwirkung auf Fr. 22'538.30 reduzierte. B._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag, die Rückforderung sei vollumfänglich aufzuheben. Die Arbeitslosenkasse und das Staatssekretariat für Wirtschaft (seco) verzichten auf eine Vernehmlassung.