Faits:
Faits:
A. A.a W._ travaillait comme organiste professionnel au service des communes de C._ et de R._ à un taux d'activité de 30% pour chacune d'elles. Son contrat de travail prévoyait un traitement fixe, respectivement de 1'735 fr. 95 et de 1'541 fr. 70, ainsi que la possibilité d'effectuer des services spéciaux (mariages et autres cérémonies) rétribués à part selon un tarif forfaitaire. W._ complétait encore ses revenus en participant à des concerts. En août 2000, les paroisses des deux communes ont été regroupées et W._ a été licencié. Son activité auprès de la commune de C._ a toutefois été reconduite avec un salaire fixe de 1'902 fr. 50 pour un temps partiel de 30%. Inscrit au chômage depuis le 20 septembre 2000, il a été indemnisé en tenant compte de cette activité à titre de gain intermédiaire. Un deuxième délai-cadre d'indemnisation lui a été ouvert à partir du 1er septembre 2002.
A.b A la suite d'un contrôle du Secrétariat d'Etat à l'économie (seco), la Caisse de chômage X._ (ci-après : la caisse) a réclamé à W._ la restitution d'un montant de 25'318 fr. 30, représentant les montants que celui-ci avait perçus pour les services spéciaux et qui n'avaient pas été déclarés dans ses attestations de gain intermédiaire (décision du 9 septembre 2003). Par lettre du 8 octobre 2003, le prénommé a contesté cette décision : il n'avait commis aucune faute en omettant de déclarer ces revenus qu'il considérait comme des gains accessoires non assurés; il était de bonne foi et demandait à la caisse de renoncer à la restitution des prestations "même si elles étaient vraiment indues". La caisse a transmis cette lettre au Service public de l'emploi du canton de Fribourg (ci-après : le service de l'emploi) qui a rendu le 30 janvier 2004 une décision, dont le dispositif a la teneur suivante : "La demande de remise du 8 octobre 2003 est rejetée. L'assuré est tenu de restituer la somme de 25'318 fr. 30". Saisi d'une opposition, le service de l'emploi l'a écartée (décision sur opposition du 5 avril 2004).
A.b A la suite d'un contrôle du Secrétariat d'Etat à l'économie (seco), la Caisse de chômage X._ (ci-après : la caisse) a réclamé à W._ la restitution d'un montant de 25'318 fr. 30, représentant les montants que celui-ci avait perçus pour les services spéciaux et qui n'avaient pas été déclarés dans ses attestations de gain intermédiaire (décision du 9 septembre 2003). Par lettre du 8 octobre 2003, le prénommé a contesté cette décision : il n'avait commis aucune faute en omettant de déclarer ces revenus qu'il considérait comme des gains accessoires non assurés; il était de bonne foi et demandait à la caisse de renoncer à la restitution des prestations "même si elles étaient vraiment indues". La caisse a transmis cette lettre au Service public de l'emploi du canton de Fribourg (ci-après : le service de l'emploi) qui a rendu le 30 janvier 2004 une décision, dont le dispositif a la teneur suivante : "La demande de remise du 8 octobre 2003 est rejetée. L'assuré est tenu de restituer la somme de 25'318 fr. 30". Saisi d'une opposition, le service de l'emploi l'a écartée (décision sur opposition du 5 avril 2004).
B. Par jugement du 22 décembre 2005, le Tribunal administratif du canton de Fribourg a rejeté, dans la mesure où il était recevable, le recours formé par W._ contre la décision sur opposition du 5 avril 2004.
B. Par jugement du 22 décembre 2005, le Tribunal administratif du canton de Fribourg a rejeté, dans la mesure où il était recevable, le recours formé par W._ contre la décision sur opposition du 5 avril 2004.
C. W._ interjette recours de droit administratif. Il demande au Tribunal fédéral d'annuler le jugement cantonal, de constater qu'il remplit les conditions d'une remise de l'obligation de restituer, d'ordonner à la caisse de recalculer son gain assuré ainsi que les prestations dont il a bénéficié au cours des deux délais-cadre et, enfin, de lui reconnaître un droit aux prestations plus élevé depuis le début de sa demande d'indemnité de chômage, de même qu'un nouveau droit aux prestations dès le 22 janvier 2004. Il sollicite également d'être dispensé des frais de justice.
Le service de l'emploi conclut au rejet du recours, tandis que la caisse et le Secrétariat d'Etat à l'économie ont renoncé à se déterminer.
Le service de l'emploi conclut au rejet du recours, tandis que la caisse et le Secrétariat d'Etat à l'économie ont renoncé à se déterminer.
D. Par décision du 23 janvier 2007, la Ire Cour de droit social du Tribunal fédéral a rejeté la demande d'assistance judiciaire présentée par W._ et invité le prénommé à verser une avance de frais de 1'800 fr. dans un délai de 14 jours à compter de la notification de ladite décision, sous peine de voir son recours déclaré irrecevable. L'intéressé s'en est acquitté dans le délai imparti.

Considérant en droit:
Considérant en droit:
1. La loi fédérale sur le Tribunal fédéral du 17 juin 2005 (LTF; RS 173.110) est entrée en vigueur le 1er janvier 2007 (RO 2006 1205, 1242). L'acte attaqué ayant été rendu avant cette date, la procédure reste régie par l'OJ (<ref-law>; <ref-ruling> consid. 1.2).
1. La loi fédérale sur le Tribunal fédéral du 17 juin 2005 (LTF; RS 173.110) est entrée en vigueur le 1er janvier 2007 (RO 2006 1205, 1242). L'acte attaqué ayant été rendu avant cette date, la procédure reste régie par l'OJ (<ref-law>; <ref-ruling> consid. 1.2).
2. Le Tribunal fédéral examine d'office les conditions formelles de validité et de régularité de la procédure précédente, en particulier si c'est à juste titre que la juridiction cantonale est entrée en matière sur le recours (<ref-ruling> consid. 2a et les références).
2. Le Tribunal fédéral examine d'office les conditions formelles de validité et de régularité de la procédure précédente, en particulier si c'est à juste titre que la juridiction cantonale est entrée en matière sur le recours (<ref-ruling> consid. 2a et les références).
3. 3.1 Les premiers juges ont circonscrit l'objet du litige porté devant eux à la question de la remise de l'obligation de restituer, en particulier la condition de la bonne foi, qu'ils ont niée. Pour eux, en effet, la déci-sion de restitution de la caisse (du 9 septembre 2003) était entrée en force faute d'avoir été attaquée, si bien qu'ils ont déclaré irrecevables les conclusions de W._ relatives au montant qui lui était réclamé.
3.2 Le recourant conteste tout d'abord que la décision de la caisse du 9 septembre 2003 ait pu entrer en force dès lors qu'il avait formé op-position contre cette décision le 8 octobre 2003. Par ailleurs, il avait déclaré ouvertement toutes ses sources de revenus au moment de son inscription au chômage. Comme les organes du chômage avaient calculé son gain assuré en se basant seulement sur son traitement fixe, il était persuadé que les montants qu'il avait effectivement perçus pour les services spéciaux n'avaient pas non plus à figurer dans les attestations de gain intermédiaire qu'il remettait à la caisse. Il avait donc été de bonne foi au moment de recevoir les prestations.
3.3 En l'espèce, le Tribunal fédéral doit se borner à examiner si c'est à bon droit que la juridiction cantonale a prononcé une déclaration d'irrecevabilité sur la question du montant à restituer, respectivement qu'elle a confirmé la décision du service de l'emploi en ce qui concer-ne la remise de l'obligation de restituer. Dans la mesure où le recou-rant a également pris des conclusions qui vont au-delà de ces deux questions litigieuses, celles-ci sont irrecevables car elles sortent de l'objet de la contestation (<ref-ruling> consid. 1a p. 414, 119 Ib 33 consid. 1b p. 36 et les références citées).
3.3 En l'espèce, le Tribunal fédéral doit se borner à examiner si c'est à bon droit que la juridiction cantonale a prononcé une déclaration d'irrecevabilité sur la question du montant à restituer, respectivement qu'elle a confirmé la décision du service de l'emploi en ce qui concer-ne la remise de l'obligation de restituer. Dans la mesure où le recou-rant a également pris des conclusions qui vont au-delà de ces deux questions litigieuses, celles-ci sont irrecevables car elles sortent de l'objet de la contestation (<ref-ruling> consid. 1a p. 414, 119 Ib 33 consid. 1b p. 36 et les références citées).
4. 4.1 D'après l'art. 25 al. 1er 1ère phrase LPGA, les prestations indû-ment touchées doivent être en principe restituées. L'assuré concerné peut toutefois demander la remise de l'obligation de restituer, lorsque la restitution des prestations allouées indûment, mais reçues de bonne foi, mettrait l'intéressé dans une situation difficile (art. 25 al. 1er 2e phrase LPGA). Dans la mesure où la demande ne peut être traitée sur le fond que si la décision de restitution est entrée en force, la remise et son étendue font l'objet d'une procédure distincte (cf. <ref-law>; arrêt C 264/05 du 25 janvier 2006, consid. 2.1). La demande doit être écrite, motivée et accompagnée des pièces nécessaires et être déposée auprès de l'autorité cantonale compétente au plus tard 30 jours à compter de l'entrée en force de la décision de restitution (<ref-law>). Il ne s'agit là toutefois que d'un délai d'ordre, et non de péremption (<ref-ruling> consid. 3.4 p. 46).
4.2 En outre, l'<ref-law> prévoit que les décisions peuvent être attaquées dans les trente jours par voie d'opposition auprès de l'assureur qui les a rendues, à l'exception des décisions d'ordonnance-ment de la procédure. Les décisions sur opposition et celles contre lesquelles la voie de l'opposition n'est pas ouverte sont sujettes à re-cours (<ref-law>). La procédure d'opposition est obligatoire et constitue une condition formelle de validité de la procédure de recours de droit administratif subséquente (SVR 2006 ALV n° 13 p. 43 [arrêt C 279/03 du 30 septembre 2005] consid. 2.2.2, 2005 AHV n° 9 p. 31 [arrêt H 53/04 du 25 novembre 2004] consid. 1; cf. aussi <ref-ruling>).
4.2 En outre, l'<ref-law> prévoit que les décisions peuvent être attaquées dans les trente jours par voie d'opposition auprès de l'assureur qui les a rendues, à l'exception des décisions d'ordonnance-ment de la procédure. Les décisions sur opposition et celles contre lesquelles la voie de l'opposition n'est pas ouverte sont sujettes à re-cours (<ref-law>). La procédure d'opposition est obligatoire et constitue une condition formelle de validité de la procédure de recours de droit administratif subséquente (SVR 2006 ALV n° 13 p. 43 [arrêt C 279/03 du 30 septembre 2005] consid. 2.2.2, 2005 AHV n° 9 p. 31 [arrêt H 53/04 du 25 novembre 2004] consid. 1; cf. aussi <ref-ruling>).
5. En l'espèce, on doit constater que W._ a saisi la caisse d'une opposition contre sa décision de restitution (du 9 septembre 2003) et que celle-ci n'a pas statué sur cette opposition. Si, dans l'acte d'opposition, le prénommé a certes invoqué pèle-mêle les raisons pour lesquelles il considérait ne pas avoir commis de faute en remplissant ses déclarations mensuelles de gain intermédiaire et sa bonne foi, il n'en a pas moins abordé la question du bien-fondé de la restitution. La caisse ne pouvait donc s'abstenir de se prononcer une nouvelle fois sur la restitution des prestations dans une décision sur opposition et simplement transmettre l'acte d'opposition au service compétent pour statuer sur la requête de remise de l'obligation de restituer comme si la décision du 9 septembre était déjà entrée en force. Dans le doute, elle aurait dû, conformément au principe de la bonne foi, inviter le recourant à préciser ses intentions. Dès lors qu'il n'y a pas de décision entrée en force portant sur la restitution (la procédure d'opposition est à cet égard toujours pendante devant la caisse), il y a également lieu de constater que les décisions prises par le service de l'emploi des 30 janvier et 5 avril 2004 sur la remise de l'obligation de restituer l'ont été prématurément, ce que les juges cantonaux auraient dû constater d'office.
Il convient par conséquent d'annuler le jugement cantonal ainsi que la décision sur opposition du service de l'emploi et de renvoyer la cause à la caisse pour qu'elle rende une décision sur opposition sur la restitution des prestations.
Il convient par conséquent d'annuler le jugement cantonal ainsi que la décision sur opposition du service de l'emploi et de renvoyer la cause à la caisse pour qu'elle rende une décision sur opposition sur la restitution des prestations.
6. Vu la nature du litige, la procédure est onéreuse (art. 134 OJ a con-trario). Les frais de justice seront dès lors supportés par l'intimé, qui succombe (art. 156 al. 1 OJ en relation avec art. 135 OJ).

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Dans la mesure où il est recevable, le recours est admis en ce sens que le jugement du 22 décembre 2005 du Tribunal administratif du canton de Fribourg et la décision sur opposition du 5 avril 2004 sont annulés.
1. Dans la mesure où il est recevable, le recours est admis en ce sens que le jugement du 22 décembre 2005 du Tribunal administratif du canton de Fribourg et la décision sur opposition du 5 avril 2004 sont annulés.
2. La cause est renvoyée à la Caisse de chômage X._ pour qu'elle statue sur l'opposition du recourant du 8 octobre 2003.
2. La cause est renvoyée à la Caisse de chômage X._ pour qu'elle statue sur l'opposition du recourant du 8 octobre 2003.
3. Les frais de justice, d'un montant de 1'800 fr., sont mis à la charge du Service public de l'emploi du canton de Fribourg.
3. Les frais de justice, d'un montant de 1'800 fr., sont mis à la charge du Service public de l'emploi du canton de Fribourg.
4. L'avance de frais effectuée par le recourant, d'un montant de 1'800 fr., lui est restituée.
4. L'avance de frais effectuée par le recourant, d'un montant de 1'800 fr., lui est restituée.
5. Le présent arrêt sera communiqué aux parties, à la Caisse de chômage X._, à la Cour des assurances sociales du Tribunal administratif du canton de Fribourg et au Secrétariat d'Etat à l'économie.
Lucerne, le 26 avril 2007
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
p. Le président: p. La greffière: