Faits: Faits: A. A.a W._ travaillait comme organiste professionnel au service des communes de C._ et de R._ à un taux d'activité de 30% pour chacune d'elles. Son contrat de travail prévoyait un traitement fixe, respectivement de 1'735 fr. 95 et de 1'541 fr. 70, ainsi que la possibilité d'effectuer des services spéciaux (mariages et autres cérémonies) rétribués à part selon un tarif forfaitaire. W._ complétait encore ses revenus en participant à des concerts. En août 2000, les paroisses des deux communes ont été regroupées et W._ a été licencié. Son activité auprès de la commune de C._ a toutefois été reconduite avec un salaire fixe de 1'902 fr. 50 pour un temps partiel de 30%. Inscrit au chômage depuis le 20 septembre 2000, il a été indemnisé en tenant compte de cette activité à titre de gain intermédiaire. Un deuxième délai-cadre d'indemnisation lui a été ouvert à partir du 1er septembre 2002. A.b A la suite d'un contrôle du Secrétariat d'Etat à l'économie (seco), la Caisse de chômage X._ (ci-après : la caisse) a réclamé à W._ la restitution d'un montant de 25'318 fr. 30, représentant les montants que celui-ci avait perçus pour les services spéciaux et qui n'avaient pas été déclarés dans ses attestations de gain intermédiaire (décision du 9 septembre 2003). Par lettre du 8 octobre 2003, le prénommé a contesté cette décision : il n'avait commis aucune faute en omettant de déclarer ces revenus qu'il considérait comme des gains accessoires non assurés; il était de bonne foi et demandait à la caisse de renoncer à la restitution des prestations "même si elles étaient vraiment indues". La caisse a transmis cette lettre au Service public de l'emploi du canton de Fribourg (ci-après : le service de l'emploi) qui a rendu le 30 janvier 2004 une décision, dont le dispositif a la teneur suivante : "La demande de remise du 8 octobre 2003 est rejetée. L'assuré est tenu de restituer la somme de 25'318 fr. 30". Saisi d'une opposition, le service de l'emploi l'a écartée (décision sur opposition du 5 avril 2004). A.b A la suite d'un contrôle du Secrétariat d'Etat à l'économie (seco), la Caisse de chômage X._ (ci-après : la caisse) a réclamé à W._ la restitution d'un montant de 25'318 fr. 30, représentant les montants que celui-ci avait perçus pour les services spéciaux et qui n'avaient pas été déclarés dans ses attestations de gain intermédiaire (décision du 9 septembre 2003). Par lettre du 8 octobre 2003, le prénommé a contesté cette décision : il n'avait commis aucune faute en omettant de déclarer ces revenus qu'il considérait comme des gains accessoires non assurés; il était de bonne foi et demandait à la caisse de renoncer à la restitution des prestations "même si elles étaient vraiment indues". La caisse a transmis cette lettre au Service public de l'emploi du canton de Fribourg (ci-après : le service de l'emploi) qui a rendu le 30 janvier 2004 une décision, dont le dispositif a la teneur suivante : "La demande de remise du 8 octobre 2003 est rejetée. L'assuré est tenu de restituer la somme de 25'318 fr. 30". Saisi d'une opposition, le service de l'emploi l'a écartée (décision sur opposition du 5 avril 2004). B. Par jugement du 22 décembre 2005, le Tribunal administratif du canton de Fribourg a rejeté, dans la mesure où il était recevable, le recours formé par W._ contre la décision sur opposition du 5 avril 2004. B. Par jugement du 22 décembre 2005, le Tribunal administratif du canton de Fribourg a rejeté, dans la mesure où il était recevable, le recours formé par W._ contre la décision sur opposition du 5 avril 2004. C. W._ interjette recours de droit administratif. Il demande au Tribunal fédéral d'annuler le jugement cantonal, de constater qu'il remplit les conditions d'une remise de l'obligation de restituer, d'ordonner à la caisse de recalculer son gain assuré ainsi que les prestations dont il a bénéficié au cours des deux délais-cadre et, enfin, de lui reconnaître un droit aux prestations plus élevé depuis le début de sa demande d'indemnité de chômage, de même qu'un nouveau droit aux prestations dès le 22 janvier 2004. Il sollicite également d'être dispensé des frais de justice. Le service de l'emploi conclut au rejet du recours, tandis que la caisse et le Secrétariat d'Etat à l'économie ont renoncé à se déterminer. Le service de l'emploi conclut au rejet du recours, tandis que la caisse et le Secrétariat d'Etat à l'économie ont renoncé à se déterminer. D. Par décision du 23 janvier 2007, la Ire Cour de droit social du Tribunal fédéral a rejeté la demande d'assistance judiciaire présentée par W._ et invité le prénommé à verser une avance de frais de 1'800 fr. dans un délai de 14 jours à compter de la notification de ladite décision, sous peine de voir son recours déclaré irrecevable. L'intéressé s'en est acquitté dans le délai imparti.