Sachverhalt:
Sachverhalt:
A. M._ war einziger Verwaltungsrat der Firma X._, welche laut Eintragung im Handelsregister den Betrieb von Geschäften auf dem Gebiet der Spiel- und Unterhaltungselektronik bezweckt. Am 24. Juli 1995 meldete er sich zum Bezug von Arbeitslosenentschädigung an, wobei er geltend machte, die Stelle bei der Firma X._ sei ihm zufolge Arbeitsmangels auf Ende Juni 1994 gekündigt worden. In der Folge bezog er Taggelder der Arbeitslosenversicherung. Mit Verfügung vom 29. Mai 1998 verneinte das Amt für Wirtschaft und Arbeit (AWA) des Kantons Zürich die Vermittlungsfähigkeit und damit den Anspruch auf Arbeitslosenentschädigung ab dem 24. Juli 1995. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 31. Oktober 2001 ab. Mit Urteil vom 28. Februar 2003 bestätigte das Eidgenössische Versicherungsgericht diesen Entscheid.
Mit Verfügung vom 26. Juni 1998 forderte die Arbeitslosenkasse des Christlichen Holz- und Bauarbeiterverbandes (heute: Arbeitslosenkasse SYNA) ausbezahlte Leistungen im Betrag von Fr. 131'555.55 zurück. Dagegen liess M._ Beschwerde erheben und um Sistierung des Verfahrens bis zum rechtskräftigen Entscheid um die Vermittlungsfähigkeit ersuchen. Am 15. Juli 1998 erliess die Arbeitslosenkasse eine neue Verfügung, mit welcher sie die Verfügung vom 26. Juni 1998 aufhob und die Rückforderung neu auf Fr. 139'185.- festsetzte. M._ liess auch hiegegen Beschwerde erheben und beantragen, die Verfügung sei ersatzlos aufzuheben. Das Sozialversicherungsgericht des Kantons Zürich sistierte das Verfahren bis zum rechtskräftigen Entscheid betreffend die Vermittlungsfähigkeit und hiess die Beschwerde mit Entscheid vom 15. Januar 2004 insoweit teilweise gut, als es die Rückforderung auf Fr. 26'033.85 (Taggelder für Juli bis Dezember 1997) festsetzte.
Mit Verfügung vom 26. Juni 1998 forderte die Arbeitslosenkasse des Christlichen Holz- und Bauarbeiterverbandes (heute: Arbeitslosenkasse SYNA) ausbezahlte Leistungen im Betrag von Fr. 131'555.55 zurück. Dagegen liess M._ Beschwerde erheben und um Sistierung des Verfahrens bis zum rechtskräftigen Entscheid um die Vermittlungsfähigkeit ersuchen. Am 15. Juli 1998 erliess die Arbeitslosenkasse eine neue Verfügung, mit welcher sie die Verfügung vom 26. Juni 1998 aufhob und die Rückforderung neu auf Fr. 139'185.- festsetzte. M._ liess auch hiegegen Beschwerde erheben und beantragen, die Verfügung sei ersatzlos aufzuheben. Das Sozialversicherungsgericht des Kantons Zürich sistierte das Verfahren bis zum rechtskräftigen Entscheid betreffend die Vermittlungsfähigkeit und hiess die Beschwerde mit Entscheid vom 15. Januar 2004 insoweit teilweise gut, als es die Rückforderung auf Fr. 26'033.85 (Taggelder für Juli bis Dezember 1997) festsetzte.
B. M._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, in Aufhebung von Ziff. 1 des angefochtenen Entscheids sei "die Klage der Arbeitslosenkasse SYNA auf Rückforderung eines Betrages von Fr. 26'033.85 abzuweisen"; eventuell sei die Sache zur Vornahme weiterer Abklärungen an die Vorinstanz zurückzuweisen.
Die Arbeitslosenkasse SYNA und das Staatssekretariat für Wirtschaft (seco) verzichten auf Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Am 1. Januar 2003 ist das Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 in Kraft getreten. Mit ihm sind zahlreiche Bestimmungen im Bereich der Arbeitslosenversicherung geändert worden. Weil in zeitlicher Hinsicht grundsätzlich diejenigen Rechtssätze massgebend sind, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben (<ref-ruling> Erw. 2), und weil ferner das Sozialversicherungsgericht bei der Beurteilung eines Falles grundsätzlich auf den bis zum Zeitpunkt des Erlasses der streitigen Verfügung eingetretenen Sachverhalt abstellt (<ref-ruling> Erw. 1b), sind im vorliegenden Fall die bis zum 31. Dezember 2002 geltenden Bestimmungen anwendbar (<ref-ruling> Erw. 1.2).
1. Am 1. Januar 2003 ist das Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 in Kraft getreten. Mit ihm sind zahlreiche Bestimmungen im Bereich der Arbeitslosenversicherung geändert worden. Weil in zeitlicher Hinsicht grundsätzlich diejenigen Rechtssätze massgebend sind, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben (<ref-ruling> Erw. 2), und weil ferner das Sozialversicherungsgericht bei der Beurteilung eines Falles grundsätzlich auf den bis zum Zeitpunkt des Erlasses der streitigen Verfügung eingetretenen Sachverhalt abstellt (<ref-ruling> Erw. 1b), sind im vorliegenden Fall die bis zum 31. Dezember 2002 geltenden Bestimmungen anwendbar (<ref-ruling> Erw. 1.2).
2. 2.1 Nach Art. 95 Abs. 1 AVIG in der bis Ende 2002 gültig gewesenen Fassung muss die Kasse Leistungen der Versicherung zurückfordern, auf welche der Empfänger keinen Anspruch hatte. Eine auf Grund einer formell rechtskräftigen Verfügung ausgerichtete Leistung ist nur zurückzuerstatten, wenn entweder die für die Wiedererwägung oder die prozessuale Revision erforderlichen Voraussetzungen erfüllt sind (<ref-ruling> Erw. 1, 126 V 399 Erw. 1, je mit Hinweisen). Dies gilt unabhängig davon, ob die zur Rückforderung Anlass gebenden Leistungen förmlich oder formlos verfügt worden sind (<ref-ruling> Erw. 1.1). Die für die Wiedererwägung rechtskräftiger Verfügungen vorausgesetzte zweifellose Unrichtigkeit liegt praxisgemäss vor, wenn kein vernünftiger Zweifel daran möglich ist, dass die Verfügung unrichtig war. Es ist nur ein einziger Schluss - derjenige auf die Unrichtigkeit der Verfügung - möglich (<ref-ruling> oben; vgl. auch Thomas Locher, Grundriss des Sozialversicherungsrechts, 3. Aufl. Bern 2003, S. 470 Rz. 16; Ueli Kieser, ATSG-Kommentar, Zürich 2003, Art. 53 Rz. 20).
2.2 Gemäss Art. 95 Abs. 4 AVIG, gültig gewesen bis 31. Dezember 2002, verjährt der Rückforderungsanspruch innert einem Jahr nachdem die auszahlende Stelle davon Kenntnis erhalten hat, spätestens aber fünf Jahre nach der Auszahlung der Leistung. Besteht der Rückforderungsanspruch wegen einer strafbaren Handlung, für die das Strafrecht eine längere Verjährungsfrist vorsieht, so ist diese massgebend. Entgegen dem Wortlaut handelt es sich dabei um Verwirkungsfristen (vgl. <ref-ruling> Erw. 1 mit Hinweis). Die einjährige (relative) Verwirkungsfrist beginnt in jenem Zeitpunkt zu laufen, in welchem die Verwaltung bei Beachtung der ihr zumutbaren Aufmerksamkeit hätte erkennen müssen, dass die Voraussetzungen für eine Rückerstattung bestehen (<ref-ruling> Erw. 1, 122 V 274 Erw. 5a, je mit Hinweisen; ARV 2001 Nr. 10 S. 92 f. Erw. 2). Die vorausgesetzte Kenntnis des Rückforderungsanspruchs ist nicht schon gegeben, wenn die Verwaltung nach den gesamten Umständen damit rechnen muss, dass möglicherweise ein Rückforderungstatbestand besteht. Vielmehr müssen ihr bei Beachtung der ihr zumutbaren Aufmerksamkeit nicht nur der Rückforderungstatbestand, sondern insbesondere auch der Rückforderungsbetrag bekannt sein (<ref-ruling> Erw. 4a mit Hinweisen). Nötigenfalls hat die Verwaltung zusätzliche Abklärungen vorzunehmen. Lässt sie es hieran fehlen, ist der Beginn der Verwirkungsfrist auf den Zeitpunkt festzusetzen, in welchem sie mit dem erforderlichen und zumutbaren Einsatz diese Kenntnis hätte erlangen können (<ref-ruling> Erw. 4b; vgl. auch SVR 2001 IV Nr. 30 S. 93 Erw. 2e).
2.2 Gemäss Art. 95 Abs. 4 AVIG, gültig gewesen bis 31. Dezember 2002, verjährt der Rückforderungsanspruch innert einem Jahr nachdem die auszahlende Stelle davon Kenntnis erhalten hat, spätestens aber fünf Jahre nach der Auszahlung der Leistung. Besteht der Rückforderungsanspruch wegen einer strafbaren Handlung, für die das Strafrecht eine längere Verjährungsfrist vorsieht, so ist diese massgebend. Entgegen dem Wortlaut handelt es sich dabei um Verwirkungsfristen (vgl. <ref-ruling> Erw. 1 mit Hinweis). Die einjährige (relative) Verwirkungsfrist beginnt in jenem Zeitpunkt zu laufen, in welchem die Verwaltung bei Beachtung der ihr zumutbaren Aufmerksamkeit hätte erkennen müssen, dass die Voraussetzungen für eine Rückerstattung bestehen (<ref-ruling> Erw. 1, 122 V 274 Erw. 5a, je mit Hinweisen; ARV 2001 Nr. 10 S. 92 f. Erw. 2). Die vorausgesetzte Kenntnis des Rückforderungsanspruchs ist nicht schon gegeben, wenn die Verwaltung nach den gesamten Umständen damit rechnen muss, dass möglicherweise ein Rückforderungstatbestand besteht. Vielmehr müssen ihr bei Beachtung der ihr zumutbaren Aufmerksamkeit nicht nur der Rückforderungstatbestand, sondern insbesondere auch der Rückforderungsbetrag bekannt sein (<ref-ruling> Erw. 4a mit Hinweisen). Nötigenfalls hat die Verwaltung zusätzliche Abklärungen vorzunehmen. Lässt sie es hieran fehlen, ist der Beginn der Verwirkungsfrist auf den Zeitpunkt festzusetzen, in welchem sie mit dem erforderlichen und zumutbaren Einsatz diese Kenntnis hätte erlangen können (<ref-ruling> Erw. 4b; vgl. auch SVR 2001 IV Nr. 30 S. 93 Erw. 2e).
3. 3.1 Die streitige Rückforderung hat ihren Rechtsgrund darin, dass der Beschwerdeführer zufolge Vermittlungsunfähigkeit keinen Anspruch auf Arbeitslosenentschädigung hatte. Davon hat die Arbeitslosenkasse auf Grund der Verfügung der kantonalen Amtsstelle vom 29. Mai 1998 Kenntnis erhalten, mit welcher die Vermittlungsfähigkeit des Beschwerdeführers verneint wurde. Wie das Eidgenössische Versicherungsgericht im Urteil vom 28. Februar 2003 in dieser Sache festgestellt hat (C 353/01 Erw. 3.2), hätte zwar schon im Zeitpunkt der Leistungszusprechung im Jahr 1995 Anlass zu Zweifeln an der Anspruchsberechtigung bestanden. Ausgehend vom damaligen Stand der Rechtspraxis genügten diese jedoch nicht, um die Auszahlung der Arbeitslosenentschädigung im Nachhinein als zweifellos unrichtig erscheinen zu lassen (Erw. 2.1 hievor). Es bestand nach der damaligen Rechtslage auch kein zwingender Anlass zur Vornahme ergänzender Abklärungen (Erw. 2.2 hievor). Als zweifellos unrichtig waren die Taggeldzahlungen erst im Lichte der Rechtsprechung von <ref-ruling> ff. zum Anspruch auf Arbeitslosenentschädigung von Arbeitnehmern mit arbeitgeberähnlicher Stellung im Betrieb zu qualifizieren. Im Hinblick darauf, dass dieses Urteil am 4. September 1997 erging, hat die Vorinstanz den Rückforderungsanspruch zu Recht auf die Taggeldzahlungen für Juli bis Dezember 1997 (Abrechnungen vom 23. September, 4. November, 11. November, 9. Dezember und 19. Dezember 1997) beschränkt. Bezüglich dieser Leistungen war die einjährige (relative) Verwirkungsfrist von Art. 95 Abs. 4 AVIG bei Erlass der Rückforderungsverfügung vom 26. Juni bzw. 15. Juli 1998 nicht abgelaufen. Gewahrt bleibt auch die fünfjährige (absolute) Verwirkungsfrist, woran die Einwendungen in der Verwaltungsgerichtsbeschwerde nichts zu ändern vermögen. Zwar trifft zu, dass die Verwirkungsfristen von Art. 95 Abs. 4 AVIG nicht unterbrochen werden können. Entgegen dem was der Beschwerdeführer anzunehmen scheint, wird mit der fristgerechten Geltendmachung der Rückforderung die Verwirkung jedoch ein für allemal ausgeschlossen. Insofern ist der Vorinstanz darin beizupflichten, dass sich die Frage der Verwirkung erst wieder bei der Vollstreckung stellt, nachdem die Rückerstattungsverfügung rechtskräftig geworden ist (vgl. hiezu SVR 1997 AlV Nr. 84 S. 256). Es muss daher bei der Feststellung bleiben, dass die Rückforderung in dem vom kantonalen Gericht festgestellten Betrag von Fr. 26'033.85 nicht verwirkt ist.
3.2 Der Vorinstanz ist auch insoweit beizupflichten, als der vom Beschwerdeführer angerufene Grundsatz von Treu und Glauben zu keinem andern Ergebnis zu führen vermag. Der Einwand, die Arbeitslosenkasse habe gewusst oder hätte bei hinreichender Aufmerksamkeit wissen müssen, dass er (einziger) Verwaltungsrat der Firma X._ war, weshalb sie den Fehler selber zu vertreten habe, kann nicht gehört werden, weil es nach dem Gesagten nicht zweifellos unrichtig war, wenn die Arbeitslosenkasse vor der mit <ref-ruling> ff. ergangenen Rechtsprechung den Leistungsanspruch bejaht hat. Dass sie im Anschluss an diese Rechtsprechung und den Entscheid der kantonalen Amtsstelle vom 29. Mai 1998 darauf zurückgekommen ist, kann ihr nicht als ein gegen den Grundsatz von Treu und Glauben und das Willkürverbot (Art. 9 BV) verstossendes widersprüchliches Verhalten zur Last gelegt werden.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, dem Amt für Wirtschaft und Arbeit des Kantons Zürich und dem Staatssekretariat für Wirtschaft zugestellt.
Luzern, 24. Januar 2005
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Der Gerichtsschreiber: