Sachverhalt: Mit Verfügung vom 8. Dezember 1998 verneinte das Amt für Wirtschaft und Arbeit (AWA) Zürich den Anspruch von L._ (geb. 1953) auf Arbeitslosenentschädigung ab 10. Juli 1996. Das Sozialversicherungsgericht des Kantons Zürich (Entscheid vom 16. August 2000) und das Eidgenössische Versicherungsgericht (Urteil vom 9. Mai 2001) bestätigten diese Verfügung. Mittlerweile hatte die Arbeitslosenkasse SMUV von L._ mit Verfügung vom 15. Juli 1999 zu Unrecht ausgerichtete Taggelder im Betrag von Fr. 95'964.25 zurückgefordert. Auf Beschwerde von L._ hin sistierte das Sozialversicherungsgericht des Kantons Zürich das Verfahren bis zum Vorliegen des letztinstanzlichen Urteils im eingangs erwähnten Prozess und wies die Beschwerde sodann mit Entscheid vom 12. Juli 2001 ab. Die dagegen erhobene Verwaltungsgerichtsbeschwerde hiess das Eidgenössische Versicherungsgericht mit Urteil vom 17. Juli 2002 insofern gut, als es die Sache zu näheren Abklärungen im Sinne der Erwägungen an die Arbeitslosenkasse zurückwies. In der Folge forderte die Arbeitslosenkasse SMUV mit Verfügung vom 11. März 2003 von L._ erneut Fr. 95'964.25 zurück. Diese Verfügung bestätigte die Kasse im Einspracheentscheid vom 26. Mai 2003. Die dagegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 30. September 2003 ab. L._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, die Rückforderung der Kasse sei aufzuheben. Die Arbeitslosenkasse äussert sich zur Sache, ohne einen konkreten Antrag zu stellen, während das Staatssekretariat für Wirtschaft (seco) auf eine Vernehmlassung verzichtet.