Faits:
A. Né en 1968, X._ a travaillé pour le Service public de l'emploi du canton de Fribourg en qualité de comptable, respectivement de secrétaire-comptable du 1er janvier 1996 au 4 juillet 2003. Il n'a pas obtenu la reconnaissance officielle d'agent des services publics en raison d'absences répétées liées à son état de santé et de prestations insuffisantes. Le 2 juin 2000, il a fait l'objet d'un avertissement, après avoir été plusieurs fois remis à l'ordre par ses supérieurs.
B. Le 25 février 2003, les membres de la direction du Service public de l'emploi ont déposé une plainte pénale contre inconnu à la suite de courriers anonymes adressés en février 2003 au Conseiller d'Etat Y._, qui contenaient des propos attentatoires à leur honneur.
Le Juge d'instruction chargé de la procédure a décerné des mandats de visite domiciliaire, perquisition et séquestre, ainsi qu'un mandat d'amener à l'encontre de X._, qui devait être entendu en qualité de personne appelée à fournir des renseignements.
Ces mandats ont été exécutés le 13 mars 2003 par la police. Le lendemain, soit par courrier du 14 mars 2003, le Juge d'instruction a informé X._ que les investigations n'avaient pas donné de résultat et, depuis cette date, plus aucune mesure n'a été ordonnée. La procédure pénale a ensuite été classée, par ordonnance du 23 avril 2004. X._ a reçu cette décision en qualité de personne appelée à fournir des renseignements et contre laquelle aucune procédure pénale n'avait été ouverte.
C. Le 28 mai 2003, le supérieur de X._ a informé l'intéressé que son poste de secrétaire-comptable allait être supprimé avec effet au 31 décembre 2003 et que son licenciement serait prononcé pour la même date, le versement d'une indemnité pour suppression de poste lui étant toutefois assuré. Il lui a cependant proposé de travailler auprès de la Caisse publique de chômage jusqu'à la fin de l'année, dans l'optique d'être engagé comme taxateur à partir du 1er janvier 2004, si son travail donnait satisfaction.
Par décision du 30 juin 2003, le Conseiller d'Etat directeur de l'économie et de l'emploi a résilié les rapports de service de X._ avec effet au 31 décembre 2003 et pris acte que ce dernier avait accepté son transfert auprès de la Caisse de chômage, afin d'y être formé comme taxateur. Le 7 juillet 2003, il a précisé à l'intéressé que les rapports de service restaient maintenus auprès du Service public de l'emploi jusqu'à la fin de l'année et qu'il ferait l'objet de deux évaluations, l'une à fin septembre et l'autre à mi-décembre 2003. Si son travail donnait satisfaction, un nouvel engagement lui serait proposé. Dans le cas contraire, les rapports de service se termineraient comme prévu et une indemnité égale à cinq salaires mensuels lui serait versée. Les décisions du 30 juin et 7 juillet 2003 sont entrées en force.
Le 7 juillet 2003, X._ a commencé par travailler dans le secteur "constitution" de la Caisse publique de chômage. Le premier rapport d'évaluation du 2 octobre 2003 indiquait que ses compétences étaient, pour l'essentiel, conformes aux exigences.
A partir du 6 octobre 2003, il a été affecté au secteur "taxation". Les 13 et 21 octobre, X._ a exprimé à l'administrateur de la Caisse de chômage son désir de travailler à nouveau dans le secteur "constitution", qui lui semblait plus approprié.
Par décision du 23 octobre 2003, l'administrateur a décidé de mettre un terme à l'évaluation et à la formation de l'intéressé en qualité de taxateur et de le réintégrer avec effet immédiat dans le secteur "constitution". Il a indiqué qu'il n'entrait pas en matière sur la demande de X._ d'être engagé comme taxateur dans le secteur "constitution", en raison de la difficulté rencontrée par celui-ci de gérer les volumes de travail dans des situations opérationnelles usuelles.
Lors de l'entretien de qualification du 15 décembre 2003, l'administrateur a relevé que X._ ne répondait pas aux exigences de la fonction.
Le 17 décembre 2003, X._ a été informé que la Caisse de chômage ne pouvait pas proposer son engagement en qualité de taxateur, de sorte que ses rapports de service prendraient fin au 31 décembre 2003; l'indemnité de suppression de poste lui a été versée.
D. Le 6 avril 2004, X._ a indiqué au Conseiller d'Etat son intention d'ouvrir une action en responsabilité contre l'Etat de Fribourg. Il a fait valoir des prétentions à hauteur de 100'000 fr., en se plaignant de l'attitude de la Caisse de chômage, qui était la conséquence de son renvoi, et des mesures d'instruction prises à son encontre, qui l'avaient traumatisé, lui et sa famille. Le Conseiller d'Etat a contesté toute responsabilité le 11 octobre 2004.
E. Le 13 avril 2005, X._ a ouvert une action en responsabilité contre l'Etat de Fribourg auprès du Tribunal administratif fribourgeois (Tribunal cantonal depuis le 1er janvier 2008), en concluant au versement de 13'881 fr. pour perte de salaire, 12'702 fr. à titre d'indemnité pour résiliation injustifiée et 15'000 fr. pour tort moral. Il a en outre demandé le versement d'une contribution LPP et la part des assurances sociales pour la période allant du 1er janvier au 31 octobre 2004, dès lors qu'il avait retrouvé un emploi à partir du 15 novembre 2004. Il a fondé sa demande sur deux causes distinctes, à savoir le comportement du Juge d'instruction et le fait de la Caisse de chômage.
Par arrêt du 28 mai 2009, la Ie Cour administrative du Tribunal cantonal a rejeté l'action, sous suite de frais.
F. X._ forme un recours en matière de droit public auprès du Tribunal fédéral contre cet arrêt. Il conclut, sous suite de frais et dépens, à l'admission du recours et à ce que la décision entreprise soit réformée en ce sens que l'Etat de Fribourg est condamné à lui payer la somme de 13'881 fr. à titre de perte de salaire, à verser sur son fonds de prévoyance la contribution LPP et assurances sociales pour la période allant du 1er janvier au 31 octobre 2004, à lui allouer la somme de 12'702 fr. à titre d'indemnité pour résiliation injustifiée, ainsi que 15'000 fr. pour tort moral. Subsidiairement, il demande l'annulation de l'arrêt attaqué et le renvoi à l'instance inférieure pour qu'elle statue dans le sens des considérants.
Le Tribunal cantonal se réfère aux considérants de son arrêt et conclut au rejet du recours. Le Conseil d'Etat du canton de Fribourg propose le rejet du recours dans la mesure de sa recevabilité.

Considérant en droit:
1. L'arrêt attaqué est une décision finale (art. 90 LTF), rendue dans une cause qui relève du droit public (art. 82 let. a) par un tribunal supérieur statuant en dernière instance cantonale (art. 86 al. 1 let. d et al. 2) et qui ne tombe sous aucune des exceptions prévues à l'art. 83 LTF, de sorte que le recours en matière de droit public est en principe ouvert.
La valeur litigieuse minimale de 30'000 fr. exigée pour les contestations en matière de "responsabilité étatique" (sur cette notion, voir <ref-ruling> consid. 5 p. 101 et ss) est en outre atteinte (art. 85 al. 1 let. a LTF), étant précisé que, conformément à l'art. 52 LTF, les divers chefs de conclusions formés par la même partie sont additionnés, à moins qu'ils ne s'excluent, ce qui n'est pas le cas en l'espèce.
Enfin, en tant que destinataire de l'arrêt entrepris, qui le déboute entièrement de son action en responsabilité, le recourant a qualité pour recourir (art. 89 al. 1 LTF).
Il y a donc lieu d'entrer en matière sur le recours.
2. Le recourant a fondé son action en responsabilité sur deux états de fait différents, soit les actes du Juge d'instruction, d'une part, et le comportement de la Caisse de chômage, d'autre part. L'arrêt attaqué a rejeté les prétentions se rapportant à chacune de ces deux situations sur la base d'un raisonnement distinct. S'agissant des actes du Juge d'instruction, le Tribunal cantonal a constaté que, dès qu'il avait reçu le courrier du Juge d'instruction du 14 mars 2003 l'informant que le résultat des investigations était négatif, soit au plus tard à la fin du mois de mars 2003, le recourant avait eu connaissance du préjudice. Par conséquent, le délai de péremption d'un an prévu par la loi cantonale sur la responsabilité était arrivé à expiration au moment de l'ouverture de l'action, qui correspondait à la déclaration du recourant au Conseil d'Etat le 6 avril 2004. En ce qui concerne le comportement de la Caisse publique de chômage, les juges ont retenu que l'Etat avait donné au demandeur l'assurance qu'il serait formé, puis engagé à condition qu'il donne satisfaction en tant que taxateur. Or, après deux mois et quinze jours à la Caisse publique de chômage, dans des conditions qui n'apparaissent nullement critiquables, le recourant avait lui-même refusé de poursuivre sa formation au secteur "taxation". De plus, alors qu'il avait été suivi par des personnes compétentes, il n'était pas parvenu à effectuer l'activité de taxateur de manière satisfaisante. On ne pouvait donc retenir aucun acte illicite à la charge de l'autorité.
3. Le recourant s'en prend à ces deux raisonnements; il se plaint de constatations manifestement inexactes des faits, d'arbitraire et de violation des droits constitutionnels cantonaux.
3.1 Lorsqu'il vérifie l'application du droit, le Tribunal fédéral se fonde sur les faits établis par l'autorité précédente (art. 105 al. 1 LTF). Le recourant ne peut critiquer les faits que s'ils ont été constatés de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.3 p. 62) - ou en violation du droit au sens de l'art. 95 LTF, et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Celui qui entend invoquer que les faits ont été établis de manière arbitraire au sens de l'art. 9 Cst. doit, sous peine d'irrecevabilité, le démontrer par une argumentation précise conformément aux exigences de motivation accrues posées à l'art. 106 al. 2 LTF. Il ne peut se contenter de critiquer les faits comme il le ferait devant une juridiction d'appel jouissant d'un plein pouvoir d'examen.
3.2 Sous réserve des droits constitutionnels cantonaux et d'autres exceptions non réalisées en l'espèce (cf. art. 95 let. c à e LTF), la violation du droit cantonal n'est pas un motif de recours. Elle peut en revanche être constitutive d'une violation du droit fédéral au sens de l'art. 95 let. a LTF, telle que l'interdiction de l'arbitraire (art. 9 Cst.), ce qu'il appartient au recourant de démontrer conformément à l'art. 106 al. 2 LTF (<ref-ruling> consid. 3.2 p. 400).
3.3 S'agissant de la responsabilité de l'Etat du fait des actes du Juge d'instruction, le recourant critique le dies a quo du délai de péremption retenu. Faisant le parallèle avec la prescription fondée sur le code de procédure pénale du canton de Fribourg, il estime que ce délai ne pouvait commencer à courir avant la notification de la décision de renonciation à la poursuite. En prenant comme référence le courrier du Juge d'instruction du 14 mars 2003, les juges auraient donc procédé à un raisonnement arbitraire, entravant l'application du droit constitutionnel fribourgeois relatif à la responsabilité publique.
3.3.1 Selon l'art. 90 de la Constitution fribourgeoise du 16 mai 2004 (RSFR 10.1), les collectivités publiques répondent du préjudice que leurs agents causent de manière illicite dans l'accomplissement des tâches publiques (al. 1), la loi fixant les conditions de la responsabilité pour fait illicite (al. 2). Cette disposition ne fait que poser le principe de la responsabilité des collectivités publiques, qui est concrétisé dans la loi cantonale fribourgeoise du 16 septembre 1986 sur la responsabilité civile des collectivités publiques et de leurs agents (ci-après LRC; RSFR 16.1). On peut donc se demander si elle confère un droit constitutionnel pouvant être directement invoqué par les particuliers. Il n'est toutefois pas nécessaire d'approfondir cette question, dès lors que les griefs du recourant au sujet de l'art. 90 Cst./FR sont de toute façon infondés.
3.3.2 L'art. 24 al. 1 let. a LRC prévoit un délai de péremption annuel. Comme le droit constitutionnel cantonal n'interdit nullement au législateur d'instituer un tel délai, la question de savoir si c'est à juste titre que les juges cantonaux ont estimé que ce délai était expiré relève uniquement de l'application de la LRC, mais pas de l'art. 90 Cst./FR. Dans la mesure où le recourant invoque cette dernière disposition, sa critique doit donc être rejetée.
3.3.3 Il reste à vérifier si les premiers juges n'ont pas appliqué de manière insoutenable l'art. 24 a. 1 let. a LRC.
Sous le titre péremption, cette disposition prévoit que "la responsabilité de la collectivité publique s'éteint si le lésé ne fait pas valoir sa prétention auprès d'elle dans le délai d'un an à compter du jour où il a eu connaissance du préjudice et de la collectivité débitrice". Selon le texte même de la loi, le point de départ du délai correspond donc au moment où le lésé a connaissance du préjudice et de la collectivité débitrice. Or, déterminer ce qu'une personne sait à un moment donné relève des constatations de fait (<ref-ruling> consid. 4.5.3 p. 136; <ref-ruling> consid. 3 p. 184).
L'arrêt attaqué retient que le recourant, à qui le Juge d'instruction avait indiqué, par courrier du 14 mars 2003, que ses investigations n'avaient donné aucun résultat, connaissait, au plus tard à la fin mars 2003 le tort prétendument subi et n'ignorait pas l'auteur de la lésion invoquée. On ne voit pas que cette constatation procèderait d'une appréciation arbitraire des preuves. Le recourant ne le démontre au demeurant nullement; il ne conteste ni avoir reçu la lettre du 14 mars 2003 ni son contenu, mais se contente de dire que cet avis n'était qu'un simple courrier et non une décision. Dès lors que l'art. 24 al. 1 let. a LRC n'exige pas le prononcé d'une décision, on ne voit pas qu'il serait arbitraire d'admettre qu'une lettre informative suffit à déterminer le moment auquel le lésé a eu connaissance de son préjudice.
Le parallèle que tente de tirer le recourant avec les dispositions figurant dans le code de procédure pénale du canton de Fribourg (ci-après CPP; RSFR 32.1), qui permettent dans certaines circonstances à une personne ayant subi un préjudice lié à un acte de procédure pénale d'en demander réparation (cf. art. 242 ss CPP), ne lui est d'aucun secours. En effet, il s'agit d'une procédure distincte de l'action en responsabilité fondée sur la LRC, conçue comme une loi spéciale (cf. DAMIEN PILLER/CLAUDE POCHON, Commentaire du code de procédure pénale du canton de Fribourg, Fribourg 1998, n° 242.4 p. 367). Ce n'est donc pas parce que la demande fondée sur le code de procédure pénale doit être présentée dans les 30 jours à compter de la notification de la décision de renonciation à la poursuite (cf. art. 243 CPP), que le délai de péremption fondée sur la LRC devrait aussi commencer à courir à partir de la notification d'une telle décision. L'art. 24 al. 1 let. a LRC n'exige du reste nullement la notification d'une décision, mais uniquement la connaissance du préjudice et de son auteur. Par conséquent, si la notification de la décision de renonciation à la poursuite coïncide avec le moment où le lésé connaît son préjudice et son auteur, alors et seulement la péremption commencera de courir à partir de cet acte. En revanche, si le lésé a connaissance de son préjudice plus tôt, le délai de péremption prévu dans la LRC commencera à courir dès ce moment, peu importe que la notification de la décision de renonciation à la poursuite intervienne postérieurement. C'est précisément ce qui s'est produit en l'espèce. Au demeurant, comme l'a relevé pertinemment le Tribunal cantonal, le recourant perd de vue qu'il a lui-même déposé son action en responsabilité avant que la décision de classement formelle de l'affaire ne soit prononcée, cette dernière datant du 23 avril 2004.
En rejetant les prétentions du demandeur fondées sur le comportement du Juge d'instruction en raison de la péremption, le Tribunal cantonal n'a donc pas violé la Constitution cantonale pas plus qu'il n'est tombé dans l'arbitraire.
3.4 En ce qui concerne le comportement de la Caisse publique de chômage, le recourant se plaint également d'une violation de l'art. 90 Cst./FR, et d'arbitraire dans l'appréciation des faits, ainsi que dans l'application de l'art. 6 al. 1 LRC.
3.4.1 Il ressort en substance de l'arrêt attaqué que l'autorité avait proposé au recourant, dont le poste auprès du Service public de l'emploi était supprimé, de se former auprès de la Caisse de chômage pour être engagé comme taxateur, à condition que les deux évaluations qui devaient être faites durant sa formation donnent satisfaction. Le recourant a accepté cette proposition et a commencé son activité à la Caisse de chômage en juillet 2003. Afin de lui permettre de se familiariser avec les notions de base, il a tout d'abord été affecté au secteur "constitution". Le rapport d'évaluation établi après douze semaines de travail dans ce service était positif. Dès le 6 octobre 2003, le recourant a commencé son travail dans le secteur "taxation". Se plaignant d'être encadré par une employée surchargée durant la première semaine et de ne pas disposer de bureau à lui, il a bénéficié d'un nouvel encadrement et a obtenu un bureau, ainsi qu'un ordinateur personnel dès la deuxième semaine. Il a été retenu que durant ces deux semaines, le recourant, qui s'était déjà familiarisé depuis deux mois avec la matière, a bénéficié de suffisamment de temps pour apprendre. A la fin de la seconde semaine, le recourant a cependant déclaré de manière formelle que le travail ne lui convenait pas et qu'il voulait retourner au secteur "constitution". Après une absence de trois semaines et à la suite d'une discussion avec les parties concernées, le recourant a accepté de reprendre sa formation au secteur "taxation" dès le 10 novembre 2003. Face aux difficultés rencontrées par le recourant à suivre la formation et à son faible rendement, l'évaluation du travail du 15 décembre 2003 a fait ressortir que le collaborateur ne répondait pas aux exigences, de sorte que la Caisse publique de chômage a renoncé à l'engager dès le 1er janvier 2004.
On ne voit manifestement pas que, sur la base de ces éléments de fait, on puisse reprocher au Tribunal cantonal d'avoir retenu de manière insoutenable qu'aucun acte illicite ne pouvait être reproché à l'Etat.
Le recourant ne le démontre nullement. Dans son recours, il critique les faits comme il le ferait devant une procédure d'appel et perd de vue que le Tribunal fédéral n'intervient que si les faits ont été arbitrairement établis. Or, il ne suffit pas, sous l'angle de l'art. 106 al. 2 LTF, de présenter sa propre version des événements et de qualifier d'insoutenable l'appréciation de l'autorité inférieure pour établir une violation de l'art. 9 Cst. (cf. supra consid. 3.2). C'est pourtant ce que fait le recourant, par exemple lorsqu'il reproche à l'autorité intimée de ne pas avoir attaché la même portée à la promesse faite au par le Service public de l'emploi ou au premier rapport d'évaluation du 2 octobre 2003. Dans cette mesure, ses critiques sont irrecevables.
3.4.2 Sous l'angle de l'arbitraire, le recourant reproche principalement au Tribunal cantonal d'avoir énumérés les faits qui se sont déroulés entre le 6 octobre 2003, moment où il a été intégré dans le service "taxation" et la fin des rapports de travail en décembre 2003 de manière lacunaire, partiale et subjective. Sur ce point également, le recourant s'en prend à l'appréciation des preuves figurant dans l'arrêt attaqué, en exposant son interprétation personnelle des événements. Si l'on peut comprendre qu'il ait vécu douloureusement son expérience dans le secteur "taxation", qui s'est soldée pour lui par un échec et que, subjectivement, il nourrisse des ressentiments à l'encontre de la Caisse publique de chômage, cela ne suffit pas à taxer d'arbitraire la position de l'autorité attaquée. Du reste, le recourant ne démontre nullement que les faits retenus seraient inexacts, pas plus qu'il ne présente des éléments qui n'auraient pas été pris en compte et qui permettraient d'éclairer sous un jour différent le comportement de l'autorité à son encontre en le faisant apparaître comme illicite. Il affirme par exemple ne pas avoir eu les moyens à sa disposition pour se former et avoir été laissé à lui-même, mais sans expliquer en quoi les faits retenus dans l'arrêt attaqué, qui prouvent l'inverse, seraient insoutenables ou manifestement inexacts. Il ne suffit pas que le recourant ait, sur le plan subjectif, une autre approche des événements, pour retenir l'arbitraire.
Le grief doit donc être rejeté, dans la faible mesure où il est recevable.
3.4.3 Le recourant soutient encore que l'attitude de l'autorité durant son stage de formation à la Caisse publique viole aussi l'art. 90 Cst./FR et qu'elle serait aussi manifestement contraire à l'art. 6 al. 1 LRC, disposition qui, à l'instar de l'article constitutionnel précité, indique que les collectivités publiques répondent du préjudice que leurs agents causent d'une manière illicite à autrui dans l'exercice de leurs fonctions.
Le grief tombe à faux. En effet, comme on l'a vu (supra consid. 3.4.1), les faits tels que retenus sans arbitraire par le Tribunal cantonal excluent que l'on puisse reprocher à l'autorité un acte illicite à l'en- contre du recourant. Dès lors qu'il manque une condition fondamentale pour que la responsabilité de la collectivité soit engagée en vertu de la LRC, l'arrêt attaqué ne saurait détourner le principe même de la responsabilité de l'Etat exprimé dans la Constitution cantonale ni contrevenir de manière choquante à l'art. 6 al. 1 LRC en rejetant les prétentions du recourant.
4. Il en découle que le recours ne peut qu'être rejeté dans la mesure de sa recevabilité. Le recourant supportera donc les frais de justice (art. 66 al. 1 LTF).
En l'espèce, rien ne justifie de déroger à la règle de l'art. 68 al. 3 LTF et d'allouer des dépens à l'Etat de Fribourg, car les conditions posées par la jurisprudence pour justifier le versement de dépens à la collectivité publique qui obtient gain de cause en matière de responsabilité de droit public ne sont pas réunies (cf. arrêts 2C_25/2008 du 18 juin 2008 consid. 4.1 et 5A_306/2007 du 19 septembre 2007 consid. 6).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais de justice, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3. Il n'est pas alloué de dépens.
4. Le présent arrêt est communiqué au mandataire du recourant, à l'Etat de Fribourg et au Tribunal cantonal du canton de Fribourg, Ie Cour administrative.
Lausanne, le 29 décembre 2009
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Müller Rochat