Faits: Faits: A. A.a B._, né en 1954, a présenté le 9 mai 2000 une demande d'indemnité de chômage. Dans le délai-cadre d'indemnisation qui a commencé à courir le 8 mai 2000, la Caisse publique cantonale vaudoise de chômage - aujourd'hui la Caisse cantonale de chômage - lui a versé des indemnités journalières. A.b Le 2 juillet 2001, B._ a présenté une demande de prestations de l'assurance-invalidité. Par décision du 7 octobre 2003, l'Office de l'assurance-invalidité pour le canton de Vaud a alloué à B._ une demi-rente d'invalidité à partir du 1er juillet 2001 jusqu'au 31 janvier 2003, assortie d'une demi-rente complémentaire pour son épouse et d'une demi-rente pour enfant. Par une autre décision rendue le même jour, il lui a alloué une rente entière dès le 1er février 2003, assortie d'une rente complémentaire pour son épouse et d'une rente pour enfant. A.c Dans un formulaire de compensation avec des paiements rétroactifs de l'AVS/AI, du 1er octobre 2003, la Caisse Interprofessionnelle AVS de la Fédération des Entreprises Romandes (FER CIAM 106.1) a informé la Caisse cantonale de chômage que les rentes arriérées se montaient à 38'706 fr. au total pour la période du 1er juillet 2001 au 30 septembre 2003 et qu'elle était en concurrence avec le Service social et du travail (RMR) et le Service de protection de la jeunesse (SPJ). La Caisse cantonale de chômage a requis auprès de la Caisse FER CIAM la compensation avec les arrérages de rentes pour les prestations de l'assurance-chômage versées pendant la période du 1er juillet 2001 au 8 mai 2002, jusqu'à concurrence d'un montant de 12'874 fr. 15. Par décision du 2 décembre 2003, annulée et remplacée par une nouvelle décision du 24 juin 2004, la Caisse cantonale de chômage a avisé B._ qu'elle lui avait alloué pendant la période du 1er juillet 2001 au 8 mai 2002 des prestations pour un montant de 20'348 fr. 90 et qu'elle avait requis de l'assurance-invalidité la compensation avec les arrérages de rentes jusqu'à concurrence d'un montant de 12'874 fr. 15. Dans une lettre datée du 12 décembre 2003, B._ a contesté la compensation. Il requérait la remise de l'obligation de restituer des prestations de l'assurance-chômage. Par décision du 14 juillet 2004, le Service de l'emploi de l'Etat de Vaud a réformé la décision de la Caisse cantonale de chômage du 24 juin 2004 en ce sens que le montant par lequel celle-ci était autorisée à compenser les indemnités indûment payées par les prestations rétroactives de l'assurance-invalidité s'élevait à 7'045 fr. 80. Le Secrétariat d'Etat à l'économie (seco), après avoir formé recours contre cette décision devant le Tribunal administratif du canton de Vaud, l'a finalement retiré (décision de radiation du rôle du 15 octobre 2004). A.d Par décision du 6 décembre 2004, le Service de l'emploi de l'Etat de Vaud a rejeté la demande de B._ du 12 décembre 2003 de remise de l'obligation de restituer des prestations de l'assurance-chômage. A.d Par décision du 6 décembre 2004, le Service de l'emploi de l'Etat de Vaud a rejeté la demande de B._ du 12 décembre 2003 de remise de l'obligation de restituer des prestations de l'assurance-chômage. B. B._ a formé recours contre la décision du 6 décembre 2004 devant le Tribunal administratif du canton de Vaud, en demandant à bénéficier de la remise de son obligation de restituer. Par jugement du 24 février 2005, le Tribunal administratif a rejeté le recours. Constatant que la décision attaquée comportait une erreur de transcription en ce qui concerne la somme à restituer, il a confirmé le rejet par le Service de l'emploi de la demande de remise de l'obligation de restituer la somme de 7'045 fr. 80. Par jugement du 24 février 2005, le Tribunal administratif a rejeté le recours. Constatant que la décision attaquée comportait une erreur de transcription en ce qui concerne la somme à restituer, il a confirmé le rejet par le Service de l'emploi de la demande de remise de l'obligation de restituer la somme de 7'045 fr. 80. C. B._ interjette un recours de droit administratif contre ce jugement, en concluant à la remise de l'obligation de restituer la somme de 7'045 fr. 80. Le Service de l'emploi de l'Etat de Vaud conclut au rejet du recours. La Caisse cantonale de chômage a déposé ses observations. Le Secrétariat d'Etat à l'économie a renoncé à se déterminer.