Faits: Faits: A. F._ a requis une indemnité de chômage à partir du 1er septembre 2000. Le 6 juillet 2001, l'Office régional de placement du Littoral neuchâtelois (ci-après: l'office de placement) a invité l'Office du chômage du canton de Neuchâtel (ci-après: l'office du chômage) à se prononcer sur la disponibilité au placement de l'assuré pendant la période du 22 juin au 4 juillet 2001, ainsi que sur ses manquements à l'obligation de fournir des renseignements. Statuant le 28 mai 2002, l'office du chômage a nié le droit de l'intéressé à l'indemnité de chômage dès le 1er septembre 2000 au motif, notamment, qu'il n'avait pas subi de perte de travail à prendre en considération. Cette décision n'a pas été attaquée. Par décision du 23 juillet 2002, la Caisse paritaire interprofessionnelle de chômage (ci-après: la caisse) a réclamé à l'intéressé le montant de 69'580 fr. 45, somme représentant les indemnités de chômage indûment perçues durant la période du 1er septembre 2000 au mois de décembre 2001. Saisi d'une demande de remise de l'obligation de restituer, l'office du chômage l'a rejetée par décision du 17 octobre 2002, motif pris que l'assuré ne pouvait pas se prévaloir de sa bonne foi. L'intéressé a recouru contre cette décision devant le Département de l'économie publique du canton de Neuchâtel (aujourd'hui: le Département de l'économie), lequel a admis partiellement le recours par décision du 3 mars 2004. Considérant que l'assuré était de bonne foi lorsqu'il avait perçu le montant de 4'760 fr. 35 correspondant aux prestations allouées durant le mois d'octobre 2000, le département a renvoyé la cause à l'office du chômage pour qu'il examine si la restitution du montant précité était de nature à entraîner des rigueurs particulières pour l'intéressé. Saisi d'une demande de remise de l'obligation de restituer, l'office du chômage l'a rejetée par décision du 17 octobre 2002, motif pris que l'assuré ne pouvait pas se prévaloir de sa bonne foi. L'intéressé a recouru contre cette décision devant le Département de l'économie publique du canton de Neuchâtel (aujourd'hui: le Département de l'économie), lequel a admis partiellement le recours par décision du 3 mars 2004. Considérant que l'assuré était de bonne foi lorsqu'il avait perçu le montant de 4'760 fr. 35 correspondant aux prestations allouées durant le mois d'octobre 2000, le département a renvoyé la cause à l'office du chômage pour qu'il examine si la restitution du montant précité était de nature à entraîner des rigueurs particulières pour l'intéressé. B. Saisi d'un recours de l'assuré qui concluait à la remise de l'obligation de restituer le solde du montant des prestations indûment perçues (64'820 fr. 10), le Tribunal administratif du canton de Neuchâtel l'a rejeté par jugement du 19 mai 2006. B. Saisi d'un recours de l'assuré qui concluait à la remise de l'obligation de restituer le solde du montant des prestations indûment perçues (64'820 fr. 10), le Tribunal administratif du canton de Neuchâtel l'a rejeté par jugement du 19 mai 2006. C. F._ interjette recours de droit administratif contre ce jugement, dont il requiert l'annulation, en reprenant, sous suite de frais et dépens, ses conclusions prises en première instance. L'office du chômage conclut au rejet du recours, ce que propose aussi implicitement le département de l'économie. La caisse de chômage et le Secrétariat d'Etat à l'économie (seco) ont renoncé à présenter des déterminations.