Sachverhalt: Mit Verfügung vom 5. Juli 2004 verneinte die Arbeitslosenversicherungskasse der Industrien des Zürcher Oberlandes die Anspruchsberechtigung des K._ (geb. 1943) auf Arbeitslosenentschädigung ab 1. Juli 2002 und forderte bereits ausgerichtete Leistungen im Betrag von Fr. 142'401.60 zurück. Mit Einspracheentscheid vom 2. November 2004 reduzierte die Kasse die Rückforderung wegen Eintritts der Verjährung auf Fr. 68'670.60. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 27. Oktober 2005 ab. K._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, die Rückforderung sei aufzuheben. Eventuell sei die Sache zu näheren Abklärungen an die Kasse zurückzuweisen. Die Arbeitslosenversicherungskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Staatssekretariat für Wirtschaft (seco) auf eine Vernehmlassung verzichtet.