Faits: Faits: A. A.a Le 9 mai 2001, M._ a présenté une demande d'indemnités de chômage à la Caisse d'assurance-chômage SIB. Il indiquait avoir travaillé du 1er février au 30 septembre 2000 pour la société X._, pour un salaire brut de 6'500 fr. par mois, puis du 1er octobre 2000 au 28 février 2001 pour la société Y._, pour un salaire net de 2'000 fr. par semaine, payé de la main à la main. Son travail consistait à préparer la création et l'implantation d'une entreprise (Z._ SA) dans le canton de Neuchâtel. La Caisse de chômage SIB a alloué à M._ une indemnité journalière de chômage du 14 mai 2001 au 4 février 2002. Entre-temps, le 8 juin 2001, celui-ci a présenté à la Caisse cantonale neuchâteloise de compensation une demande d'affiliation en qualité de personne salariée, pour la période du 1er octobre 2000 au 31 mars 2001. La caisse de compensation lui a facturé des cotisations aux assurances sociales fédérales pour un montant correspondant à un salaire de 52'000 fr. au total. A.b Le 17 juin 2002, à la suite d'un contrôle effectué par le Secrétariat d'Etat à l'économie, la Caisse de chômage SIB a exigé la restitution des prestations versées à M._ de mai 2001 à février 2002, pour un montant de 49'677 fr. 57. Elle considérait qu'elle avait ouvert à tort un délai-cadre d'indemnisation en sa faveur, alors qu'il ne pouvait pas justifier d'une période de cotisation suffisante, l'exercice d'une activité salariée pour le compte de la société Y._n'étant pas établie. Le 11 novembre 2002, le Département de l'économie publique du canton de Neuchâtel a rejeté le recours interjeté contre cette décision. Le 11 novembre 2002, le Département de l'économie publique du canton de Neuchâtel a rejeté le recours interjeté contre cette décision. B. M._ a déféré la cause au Tribunal administratif du canton de Neuchâtel, qui a rejeté son recours, par jugement du 5 mai 2004. B. M._ a déféré la cause au Tribunal administratif du canton de Neuchâtel, qui a rejeté son recours, par jugement du 5 mai 2004. C. M._ interjette un recours de droit administratif contre ce jugement. Il en demande l'annulation, ainsi que celle des décisions du 11 novembre 2002 du Département de l'économie publique du canton de Neuchâtel et du 17 juin 2002 de la Caisse d'assurance-chômage SIB, sous suite de dépens. La Caisse d'assurance-chômage SIB conclut au rejet du recours. Le Département de l'économie publique du canton de Neuchâtel se réfère à sa décision du 11 novembre 2002 et au jugement entrepris, alors que le Secrétariat d'Etat à l'économie a renoncé à se déterminer. La Caisse d'assurance-chômage SIB conclut au rejet du recours. Le Département de l'économie publique du canton de Neuchâtel se réfère à sa décision du 11 novembre 2002 et au jugement entrepris, alors que le Secrétariat d'Etat à l'économie a renoncé à se déterminer. D. La IIème Chambre du Tribunal fédéral des assurances a tenu une audience ouverte aux parties le 15 février 2006.