Faits: Faits: A. Le 17 janvier 1994, le chef du Service vaudois de l'emploi (ci-après: le Service de l'emploi) a informé X._ qu'il avait été nommé à titre définitif et promu en qualité de premier secrétaire B au Département vaudois de l'agriculture, de l'industrie et du commerce (ci-après: le Département cantonal), Service de l'emploi, Caisse publique cantonale vaudoise de chômage (ci-après: la Caisse de chômage), avec effet au 1er février 1994. Dès le 1er janvier 1995, X._ a fonctionné en qualité de responsable itinérant des agences de la Caisse de chômage dans les villes de A._ et de B._. Le 10 janvier 1996, X._ a participé à une séance qui a réuni le chef du Service de l'emploi, son adjointe et le directeur de la Caisse de chômage. A cette occasion, il lui a été reproché certaines irrégularités commises dans quatre dossiers d'assurés. Le chef du Service de l'emploi a déclaré que la relation de confiance était rompue et qu'il était hors de question que leur collaboration se poursuive. Il a ajouté que deux "scénarios" étaient envisageables, à savoir une procédure de renvoi pour justes motifs ou une démission. Il a également fait mention d'une plainte pénale, a donné lecture à l'intéressé de l'art. 105 de la loi fédérale du 25 juin 1982 sur l'assurance-chômage obligatoire et l'indemnité en cas d'insolvabilité (loi sur l'assurance-chômage; LACI; RS 837.0) relatif aux dispositions pénales en matière de chômage et lui a imparti un délai de vingt-quatre heures pour prendre une décision. Peu après la séance, X._ a rédigé une lettre de démission pour le 30 avril 1995 (en réalité: 1996), son activité prenant fin le jour même. Par lettre du 18 janvier 1996, le chef du Service de l'emploi a pris acte de cette démission pour le 30 avril 1996. Le 24 janvier 1996, X._ a confirmé sa "lettre de congé pour le 30 avril 1996". Le 27 mars 1996, X._ est revenu sur sa démission, en soutenant qu'il avait été victime d'erreur essentielle, voire de contrainte. Par la suite, il a invité le Service de l'emploi à reconsidérer sa position, mais en vain. Par lettre du 30 mai 1996, ce dernier a fait savoir à l'intéressé qu'il maintenait intégralement sa position. Le 27 mars 1996, X._ est revenu sur sa démission, en soutenant qu'il avait été victime d'erreur essentielle, voire de contrainte. Par la suite, il a invité le Service de l'emploi à reconsidérer sa position, mais en vain. Par lettre du 30 mai 1996, ce dernier a fait savoir à l'intéressé qu'il maintenait intégralement sa position. B. Par demande adressée le 11 janvier 1999 à la Chambre du contentieux des fonctionnaires du Tribunal cantonal du canton de Vaud (ci-après: la Chambre du contentieux des fonctionnaires), X._ a conclu principalement à l'invalidation de sa démission, à sa réintégration dans la fonction publique et au paiement par l'Etat de Vaud de deux indemnités. Subsidiairement, il a conclu à l'allocation par l'Etat de Vaud d'un montant à préciser en cours d'instance, mais qui ne soit pas inférieur à un million de francs. Parallèlement, X._ s'est adressé au Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif), par acte du 31 janvier 1999. Il a également conclu, à titre principal, à l'invalidation de sa démission et à sa réintégration dans la fonction publique. Son recours a été déclaré irrecevable, par arrêt du Tribunal administratif du 24 mars 1999. Par jugement du 27 septembre 2002, la Chambre du contentieux des fonctionnaires a rejeté les conclusions de X._. Elle a retenu en substance qu'elle n'était pas compétente pour statuer sur les conclusions tendant à l'invalidation de sa démission et à sa réintégration dans la fonction publique. Pour ce qui est des conclusions pécuniaires, elle les a rejetées en raison de l'absence d'acte illicite de la part de l'Etat de Vaud, la crainte fondée éprouvée par l'intéressé ne lui ayant pas été inspirée sans droit. Par jugement du 27 septembre 2002, la Chambre du contentieux des fonctionnaires a rejeté les conclusions de X._. Elle a retenu en substance qu'elle n'était pas compétente pour statuer sur les conclusions tendant à l'invalidation de sa démission et à sa réintégration dans la fonction publique. Pour ce qui est des conclusions pécuniaires, elle les a rejetées en raison de l'absence d'acte illicite de la part de l'Etat de Vaud, la crainte fondée éprouvée par l'intéressé ne lui ayant pas été inspirée sans droit. C. Par arrêt rendu le 11 décembre 2003 et notifié le 30 mars 2004, la Chambre des recours du Tribunal cantonal du canton de Vaud (ci-après: la Chambre des recours) a rejeté le recours formé par X._ contre le jugement rendu le 27 septembre 2002 par la Chambre du contentieux des fonctionnaires et confirmé ledit jugement. S'agissant des moyens de nullité invoqués, elle a confirmé en particulier que la Chambre du contentieux des fonctionnaires n'était pas compétente pour connaître des contestations non pécuniaires entre l'Etat de Vaud et ses fonctionnaires et qu'elle pouvait décliner d'office sa compétence. En outre, il incombait à l'intéressé de saisir le Tribunal fédéral à l'encontre de l'arrêt du Tribunal administratif du 24 mars 1999 au sujet de la conformité à la Convention européenne des droits de l'homme de l'absence de recours judiciaire contre les décisions du Conseil d'Etat vaudois en matière de statut des fonctionnaires. Enfin, la Chambre du contentieux des fonctionnaires n'avait pas fait preuve d'arbitraire dans l'appréciation des preuves et n'avait pas violé les règles de procédure prévues par la loi vaudoise du 9 juin 1947 sur le statut général des fonctions publiques cantonales (ci-après: le statut) ainsi que par l'arrêté vaudois du 22 décembre 1950 d'application du statut (ci-après: l'arrêté). S'agissant des moyens de réforme, elle a notamment retenu que la menace d'un renvoi pour justes motifs et d'une plainte pénale n'était pas illicite dès lors que les supérieurs hiérarchiques de X._ étaient en droit de le suspecter d'avoir enfreint la loi et de s'être rendu coupable d'infractions. C. Par arrêt rendu le 11 décembre 2003 et notifié le 30 mars 2004, la Chambre des recours du Tribunal cantonal du canton de Vaud (ci-après: la Chambre des recours) a rejeté le recours formé par X._ contre le jugement rendu le 27 septembre 2002 par la Chambre du contentieux des fonctionnaires et confirmé ledit jugement. S'agissant des moyens de nullité invoqués, elle a confirmé en particulier que la Chambre du contentieux des fonctionnaires n'était pas compétente pour connaître des contestations non pécuniaires entre l'Etat de Vaud et ses fonctionnaires et qu'elle pouvait décliner d'office sa compétence. En outre, il incombait à l'intéressé de saisir le Tribunal fédéral à l'encontre de l'arrêt du Tribunal administratif du 24 mars 1999 au sujet de la conformité à la Convention européenne des droits de l'homme de l'absence de recours judiciaire contre les décisions du Conseil d'Etat vaudois en matière de statut des fonctionnaires. Enfin, la Chambre du contentieux des fonctionnaires n'avait pas fait preuve d'arbitraire dans l'appréciation des preuves et n'avait pas violé les règles de procédure prévues par la loi vaudoise du 9 juin 1947 sur le statut général des fonctions publiques cantonales (ci-après: le statut) ainsi que par l'arrêté vaudois du 22 décembre 1950 d'application du statut (ci-après: l'arrêté). S'agissant des moyens de réforme, elle a notamment retenu que la menace d'un renvoi pour justes motifs et d'une plainte pénale n'était pas illicite dès lors que les supérieurs hiérarchiques de X._ étaient en droit de le suspecter d'avoir enfreint la loi et de s'être rendu coupable d'infractions. D. Agissant par la voie du recours de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt de la Chambre des recours du "30 mars 2004". Il invoque les art. 9, 29 al. 2, 30 et 49 Cst. ainsi que 6 et 13 CEDH. Il se plaint de violations de la protection contre l'arbitraire, de la primauté du droit fédéral, du droit d'être entendu et d'autres garanties de procédure judiciaire. Il sollicite l'assistance judiciaire complète. La Chambre des recours se réfère à l'arrêt attaqué. L'Etat de Vaud conclut, sous suite de frais et dépens, au rejet du recours.