Faits:
Faits:
A. A.a B._, né en 1954, a présenté le 9 mai 2000 une demande d'indemnité de chômage. Dans le délai-cadre d'indemnisation qui a commencé à courir le 8 mai 2000, la Caisse publique cantonale vaudoise de chômage - aujourd'hui la Caisse cantonale de chômage - lui a versé des indemnités journalières.
A.b Le 2 juillet 2001, B._ a présenté une demande de prestations de l'assurance-invalidité.
Par décision du 7 octobre 2003, l'Office de l'assurance-invalidité pour le canton de Vaud a alloué à B._ une demi-rente d'invalidité à partir du 1er juillet 2001 jusqu'au 31 janvier 2003, assortie d'une demi-rente complémentaire pour son épouse et d'une demi-rente pour enfant. Par une autre décision rendue le même jour, il lui a alloué une rente entière dès le 1er février 2003, assortie d'une rente complémentaire pour son épouse et d'une rente pour enfant.
A.c Dans un formulaire de compensation avec des paiements rétroactifs de l'AVS/AI, du 1er octobre 2003, la Caisse Interprofessionnelle AVS de la Fédération des Entreprises Romandes (FER CIAM 106.1) a informé la Caisse cantonale de chômage que les rentes arriérées se montaient à 38'706 fr. au total pour la période du 1er juillet 2001 au 30 septembre 2003 et qu'elle était en concurrence avec le Service social et du travail (RMR) et le Service de protection de la jeunesse (SPJ).
La Caisse cantonale de chômage a requis auprès de la Caisse FER CIAM la compensation avec les arrérages de rentes pour les prestations de l'assurance-chômage versées pendant la période du 1er juillet 2001 au 8 mai 2002, jusqu'à concurrence d'un montant de 12'874 fr. 15.
Par décision du 2 décembre 2003, annulée et remplacée par une nouvelle décision du 24 juin 2004, la Caisse cantonale de chômage a avisé B._ qu'elle lui avait alloué pendant la période du 1er juillet 2001 au 8 mai 2002 des prestations pour un montant de 20'348 fr. 90 et qu'elle avait requis de l'assurance-invalidité la compensation avec les arrérages de rentes jusqu'à concurrence d'un montant de 12'874 fr. 15.
Dans une lettre datée du 12 décembre 2003, B._ a contesté la compensation. Il requérait la remise de l'obligation de restituer des prestations de l'assurance-chômage.
Par décision du 14 juillet 2004, le Service de l'emploi de l'Etat de Vaud a réformé la décision de la Caisse cantonale de chômage du 24 juin 2004 en ce sens que le montant par lequel celle-ci était autorisée à compenser les indemnités indûment payées par les prestations rétroactives de l'assurance-invalidité s'élevait à 7'045 fr. 80. Le Secrétariat d'Etat à l'économie (seco), après avoir formé recours contre cette décision devant le Tribunal administratif du canton de Vaud, l'a finalement retiré (décision de radiation du rôle du 15 octobre 2004).
A.d Par décision du 6 décembre 2004, le Service de l'emploi de l'Etat de Vaud a rejeté la demande de B._ du 12 décembre 2003 de remise de l'obligation de restituer des prestations de l'assurance-chômage.
A.d Par décision du 6 décembre 2004, le Service de l'emploi de l'Etat de Vaud a rejeté la demande de B._ du 12 décembre 2003 de remise de l'obligation de restituer des prestations de l'assurance-chômage.
B. B._ a formé recours contre la décision du 6 décembre 2004 devant le Tribunal administratif du canton de Vaud, en demandant à bénéficier de la remise de son obligation de restituer.
Par jugement du 24 février 2005, le Tribunal administratif a rejeté le recours. Constatant que la décision attaquée comportait une erreur de transcription en ce qui concerne la somme à restituer, il a confirmé le rejet par le Service de l'emploi de la demande de remise de l'obligation de restituer la somme de 7'045 fr. 80.
Par jugement du 24 février 2005, le Tribunal administratif a rejeté le recours. Constatant que la décision attaquée comportait une erreur de transcription en ce qui concerne la somme à restituer, il a confirmé le rejet par le Service de l'emploi de la demande de remise de l'obligation de restituer la somme de 7'045 fr. 80.
C. B._ interjette un recours de droit administratif contre ce jugement, en concluant à la remise de l'obligation de restituer la somme de 7'045 fr. 80.
Le Service de l'emploi de l'Etat de Vaud conclut au rejet du recours. La Caisse cantonale de chômage a déposé ses observations. Le Secrétariat d'Etat à l'économie a renoncé à se déterminer.

Considérant en droit:
Considérant en droit:
1. Le litige concerne la remise de l'obligation de restituer des prestations de l'assurance-chômage et n'a donc pas pour objet l'octroi ou le refus de prestations d'assurance (<ref-ruling> consid. 1 et 223 consid. 2, 112 V 100 consid. 1b et les références; DTA 2002 n° 31 p. 195 consid. 1). Le Tribunal fédéral des assurances doit dès lors se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
1. Le litige concerne la remise de l'obligation de restituer des prestations de l'assurance-chômage et n'a donc pas pour objet l'octroi ou le refus de prestations d'assurance (<ref-ruling> consid. 1 et 223 consid. 2, 112 V 100 consid. 1b et les références; DTA 2002 n° 31 p. 195 consid. 1). Le Tribunal fédéral des assurances doit dès lors se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
2. Le litige a trait à la remise de l'obligation de restituer la somme de 7'045 fr. 80 sur laquelle porte la compensation de la caisse de chômage avec les arrérages de rentes de l'assurance-invalidité.
2.1 La restitution ne peut être exigée lorsque l'intéressé était de bonne foi et qu'elle le mettrait dans une situation difficile (art. 25 al. 1 deuxième phrase LPGA). Dans la mesure où la demande ne peut être traitée sur le fond que si la décision de restitution est entrée en force, la remise et son étendue font l'objet d'une procédure distincte (<ref-law>; arrêts P. du 13 avril 2006 [C 169/05], B. du 25 janvier 2006 [C 264/05] et R. du 27 avril. 2005 [C 174/04]).
2.2 Là où la possibilité d'une compensation existe, le domaine d'application de la remise est limité. En effet, une remise n'entre en considération que si la compensation intervient avec des prestations courantes ou futures devenues exigibles. En revanche, l'obligation de restituer des prestations d'assurance sociale ne peut être remise dans la mesure où cette obligation peut être éteinte par compensation avec d'autres prestations d'assurance sociale, soit lorsque des prestations déjà versées sont remplacées par d'autres prestations de même valeur, dues à un autre titre, et que la compensation intervient entre ces prestations conformément au principe de la concordance temporelle. Dans ce dernier cas, les prestations dues le sont uniquement à un autre titre juridique; la fortune de l'intéressé astreint à l'obligation de restituer ne subit aucun changement qui le mettrait dans une situation difficile au sens de l'art. 25 al. 1 deuxième phrase LPGA, de sorte que la question de la remise n'a pas à être examinée. Il s'agit là d'un principe général du droit des assurances sociales, applicable dans le cas particulier où seule la partie de la dette pouvant être éteinte par compensation est en cause (<ref-ruling> consid. 5c, 116 V 297 consid. 5b; DTA 2000 n° 38 p. 204 s. consid. 3 [C 223/99], 1987 n° 13 p. 120 s. consid. 3b et c [C 91/86]).
2.3 En l'espèce, la décision du 14 juillet 2004 est entrée en force. Ainsi, la Caisse cantonale de chômage est autorisée à compenser à hauteur de 7'045 fr. 80 les indemnités indûment payées par les prestations rétroactives de l'assurance-invalidité.
Dès lors, conformément à la jurisprudence constante, la possibilité d'une remise n'entre pas en considération en ce qui concerne la somme de 7'045 fr. 80 (DTA 2000 n° 38 p. 205 consid. 3 déjà cité).
Dès lors, conformément à la jurisprudence constante, la possibilité d'une remise n'entre pas en considération en ce qui concerne la somme de 7'045 fr. 80 (DTA 2000 n° 38 p. 205 consid. 3 déjà cité).
3. Le litige n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, la procédure est onéreuse (art. 134 OJ a contrario). Le recourant, qui succombe, supportera les frais judiciaires (art. 156 al. 1 en corrélation avec l'art. 135 OJ).

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Les frais de justice, d'un montant de 900 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais qu'il a versée.
2. Les frais de justice, d'un montant de 900 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais qu'il a versée.
3. Le présent arrêt sera communiqué aux parties, au Tribunal administratif du canton de Vaud, à la Caisse cantonale de chômage, à l'Office régional de placement et au Secrétariat d'Etat à l'économie.
Lucerne, le 26 juin 2006
Au nom du Tribunal fédéral des assurances
La Présidente de la IIe Chambre: Le Greffier: