Faits:
A. A.a K._ a été engagé par la Direction des institutions, de l'agriculture et des forêts du canton de Fribourg (DIAF; ci-après: la Direction) en qualité de vétérinaire officiel (contrôleur des viandes) auprès du Service vétérinaire à partir du 1er janvier 2008. La période probatoire a été fixée à douze mois dès l'entrée en fonction.
A.b Par courrier du 24 décembre 2008, la Direction a annoncé à K._ qu'il ressortait de l'évaluation de ses prestations par le Service de la sécurité alimentaire et des affaires vétérinaires (ci-après: SAAV) et des informations transmises par X._, chef du Service vétérinaire, que les exigences requises par la fonction n'avaient pas toutes été satisfaisantes lors de la période probatoire. L'autorité l'a dès lors avisé qu'il n'était pas possible de lui accorder la reconnaissance officielle en tant qu'agent des services publics et que la période probatoire était prolongée d'une année, soit du 1er janvier au 31 décembre 2009. Elle a précisé qu'une nouvelle évaluation aurait lieu à la fin de cette période. Elle a en outre proposé au collaborateur de mettre à profit ce temps octroyé et d'examiner avec le chef du Service vétérinaire les points devant être améliorés.
A.c Le 23 février 2009, la doctoresse Y._, vétérinaire officielle dirigeante, a écrit à K._ qu'elle souhaitait le rencontrer pour un entretien le 4 mars 2009 en raison de problèmes rencontrés dans le cadre de son activité comme vétérinaire officiel à l'abattoir Z._. A la suite de cet entretien, au cours duquel il a été informé de ses insuffisances et de la volonté de ses chefs de le licencier, K._ a écrit à la Direction pour se plaindre des difficultés relationnelles et d'organisation au sein de l'équipe vétérinaire du contrôle des viandes sur le site Z._. Il a sollicité une entrevue avec le Conseiller d'Etat en charge de la Direction.
A.d Par courrier du 9 mars 2009, le chef du Service vétérinaire a demandé à la Direction de résilier le contrat de K._. Il a indiqué que celui-ci ne répondait pas aux critères de son poste de vétérinaire officiel, contrôleur des viandes, lequel devait garantir la sécurité alimentaire. Il a précisé que ce collaborateur avait été informé à maintes reprises qu'il devait respecter ses obligations sur les sites des abattoirs et il n'avait répondu à ces demandes que par de la passivité. Rapportant l'entretien qui avait eu lieu le 4 mars 2009 en présence des vétérinaires Y._ et W._, il a déclaré que l'intéressé avait accepté le congé qui lui avait été signifié, tout en continuant à affirmer qu'il avait bien accompli son travail en dépit d'une surcharge chronique du fait d'un manque de personnel. Le chef du Service vétérinaire a souligné qu'à aucun moment, K._ n'était parvenu à proposer des solutions malgré l'aide qui lui avait été apportée. Enfin, son attitude et sa passivité faisaient courir des risques pour la formation de deux jeunes vétérinaires.
A.e Le 14 mars 2009, K._ a écrit à la Direction pour lui demander d'être entendu oralement. Il a réitéré, en substance, les arguments qu'il avait déjà fait valoir précédemment, en particulier quant au manque de personnel par rapport à l'abondance des tâches à accomplir et à propos de la médisance dont il faisait l'objet de la part d'une collègue. Il a signalé qu'il avait demandé au chef du Service vétérinaire de bien vouloir établir une évaluation formelle de ses prestations en sa présence et en celle d'un autre membre du service, compte tenu de l'attitude malveillante de son chef à son égard.
A.f La Direction a informé K._ qu'entre-temps, le SAAV lui avait demandé de résilier ses rapports de service au 31 mars 2009. Avant de se prononcer, la Direction souhaitait entendre K._ et lui a proposé un entretien, lequel a eu lieu le 22 avril 2009. Après avoir entendu l'intéressé, la Direction a demandé au chef du Service vétérinaire de se déterminer sur les griefs invoqués et d'établir une évaluation de ses prestations.
A.g Le 29 avril 2009, la Direction a décidé de suspendre provisoirement K._ dès le 4 mai 2009, tout en maintenant le versement de son traitement. Elle a motivé sa décision par le fait que les rapports entre les contrôleurs-vétérinaires étaient devenus très tendus et le climat de travail tellement perturbé que la qualité exigée pour la surveillance de l'hygiène des viandes n'était plus assurée. Le 22 mai 2009, elle a transmis à l'intéressé son dossier ainsi qu'un rapport d'analyse de ses prestations rédigé le 12 mai 2009 par le chef du Service vétérinaire et la doctoresse Y._.
A.h K._ a communiqué ses objections le 15 juin 2009.
A.i Par décision du 16 juillet 2009, la Direction a résilié les rapports de service de K._, avec effet à fin septembre 2009.
K._ a formé un recours contre cette décision devant le Conseil d'Etat, lequel l'a rejeté par décision du 9 décembre 2010.
B. K._ a recouru contre la décision du Conseil d'Etat devant le Tribunal cantonal en concluant, sous suite de frais et dépens, à son annulation. A titre principal, il a demandé à ce qu'il soit constaté que son licenciement était injustifié, de sorte qu'il devait être maintenu dans sa fonction de vétérinaire officiel et faire l'objet d'une reconnaissance officielle de sa qualité d'agent des services publics avec effet au 1er janvier 2010. A titre subsidiaire, il a requis l'octroi d'une indemnité correspondant à une année de traitement, soit un montant de 131'023 fr. 20, ainsi qu'une indemnité de 2'000 fr. à titre de réparation pour le tort moral subi.
Par jugement du 17 mai 2011, la Ie Cour administrative du Tribunal cantonal du canton de Fribourg a rejeté le recours.
C. K._ interjette un recours en matière de droit public en concluant derechef à ce qu'il soit constaté que son licenciement était injustifié et, partant, à sa réintégration dans sa fonction de vétérinaire officiel et à la reconnaissance de sa qualité d'agent des services publics avec effet au 1er janvier 2010. A titre subsidiaire, il requiert l'octroi d'une indemnité correspondant à une année de traitement, soit un montant de 131'023 fr. 20, ainsi qu'une indemnité de 2'000 fr. à titre de réparation pour le tort moral subi.
La Direction a renoncé à se prononcer.

Considérant en droit:
1. Le jugement entrepris a été rendu en matière de rapports de travail de droit public au sens de l'art. 83 let. g LTF. Dans la mesure où la contestation porte principalement sur la réintégration du recourant, il s'agit d'une contestation de nature pécuniaire, de sorte que le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération. La valeur litigieuse atteint par ailleurs le seuil de 15'000 fr. ouvrant la voie du recours en matière de droit public en ce domaine (art. 51 al. 2 et 85 al. 1 let. b LTF).
Pour le surplus, interjeté en temps utile (<ref-law>) contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF), le recours en matière de droit public est recevable.
2. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut critiquer la constatation des faits importants pour le jugement de la cause que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte (<ref-law>), c'est-à-dire arbitraire, ce qui lui appartient de démontrer par une argumentation répondant aux exigences de l'<ref-law>, respectivement de l'<ref-law> (<ref-ruling> consid. 4.3 p. 62; <ref-ruling> consid. 1.4.3 p. 254 s.).
Par ailleurs, sauf dans les cas prévus par l'art. 95 let. c à e LTF, qui n'entrent pas en considération en l'espèce, le Tribunal fédéral n'examine la mauvaise application du droit cantonal que si elle constitue une violation du droit fédéral (cf. <ref-law>) parce qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels (<ref-ruling> consid. 1.3 p. 4; <ref-ruling> consid. 2.3 p. 466; <ref-ruling> consid. 1.2.1 p. 251).
3. Le recourant était soumis à la loi sur le personnel de l'Etat du canton de Fribourg du 17 octobre 2001 (LPers; RSF 122.70.1).
Au chapitre V "Statut", sous la section 2 "Création des rapports de service" et le titre "Période probatoire", les art. 31 et 32 LPers prévoient ceci:
Art. 31
a) Principe
1 Le collaborateur ou la collaboratrice est soumis-e à une période probatoire d'une année.
2 Durant la période probatoire, les rapports de service peuvent être résiliés librement de part et d'autre, sous réserve de l'art. 46. La résiliation est communiquée par pli recommandé.
3 Durant les trois premiers mois de la période probatoire, les rapports de service peuvent être résiliés de part et d'autre une semaine d'avance pour la fin d'une semaine. Dès le quatrième mois, le délai de résiliation est d'un mois pour la fin d'un mois.
4 (...)
Art. 32
b) Fin de la période probatoire et reconnaissance officielle
1 A moins que les rapports de service n'aient été résiliés antérieurement, le collaborateur ou la collaboratrice est réputé-e, au terme de la période probatoire, répondre aux exigences de son poste; en ce cas, il ou elle fait l'objet d'une reconnaissance officielle de sa qualité d'agent ou agente des services publics.
2 Si, à la suite d'une évaluation des prestations, il existe un doute sur la capacité du collaborateur ou de la collaboratrice d'occuper le poste de travail, la reconnaissance officielle est reportée au terme d'une nouvelle période probatoire d'une année au plus. Au plus tard au terme de la période probatoire, le collaborateur ou la collaboratrice doit être avisé-e de sa prolongation et du report de la reconnaissance officielle.
3 Durant la prolongation, les rapports de service peuvent être résiliés librement de part et d'autre deux mois d'avance pour la fin d'un mois. Une nouvelle prolongation n'est pas possible.
4 (...)
4. Le recourant se plaint en premier lieu d'une violation de son droit d'être entendu au motif que l'autorité intimée n'a pas donné suite à diverses mesures d'instruction qu'il a requises, soit la production de certains formulaires, rapports, archives et courriers ainsi que l'audition des parties et de témoins.
4.1 Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents du dossier avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 2.3 p. 282). Une partie n'a en revanche pas droit à l'administration d'une preuve dépourvue de pertinence, soit parce qu'elle porte sur une circonstance sans rapport avec le litige, soit parce qu'une appréciation anticipée des preuves déjà recueillies démontre qu'elle ne serait pas de nature à emporter la conviction de la juridiction saisie (cf. <ref-ruling> consid. 2.1 p. 429; <ref-ruling> consid. 6c/cc in fine p. 135).
4.2 En l'occurrence, le recourant a eu l'occasion de s'exprimer par écrit à plusieurs reprises devant la Direction. Il a notamment pris largement position sur le rapport d'analyse de ses prestations du 12 mai 2009 par une écriture de son mandataire du 15 juin 2009, ce qui suffit à respecter son droit d'être entendu. Par ailleurs, le Tribunal cantonal a retenu que le licenciement ne tenait pas tant aux compétences professionnelles du recourant qu'à son comportement général, comme on le verra. A cet égard, les preuves offertes par le recourant portaient sur des faits qui n'étaient pas déterminants pour l'appréciation de la cour cantonale. La juridiction cantonale n'a donc pas violé le droit d'être entendu du recourant.
5. 5.1 Le recourant se plaint en outre d'une violation arbitraire des art. 22 et 32 al. 2 LPers. Il fait valoir que contrairement à ce que retient le tribunal cantonal, il n'a fait l'objet d'aucune évaluation de ses prestations dans le cadre de son activité au terme de la période d'essai d'une année, en violation des art. 22 et 32 al. 2 LPers. Or, si le droit cantonal précité avait été appliqué correctement, il aurait dû faire l'objet d'une reconnaissance officielle de sa qualité d'agent des services publics à la fin de la période probatoire, soit le 31 décembre 2008. Il se fonde notamment sur le Message du 28 novembre 2000 accompagnant le projet de loi sur le personnel de l'Etat, lequel précise, eu égard à l'art. 39 (art. 32 LPers), que si par négligence, le collaborateur ou la collaboratrice n'a pas fait l'objet d'une évaluation durant la période probatoire, il ou elle sera mis(e) automatiquement au bénéfice de la protection prévue par l'art. 39 (respectivement l'art. 32 LPers).
5.2 En l'espèce, dans sa lettre du 24 décembre 2008, la Direction a informé le recourant qu'il ressortait d'une évaluation de ses prestations qu'il ne remplissait pas pleinement les exigences requises par son poste au terme de sa période d'essai. Par conséquent, la Direction a informé le recourant qu'il n'était pas possible de lui accorder la reconnaissance officielle en tant qu'agent des services publics et que la période probatoire serait prolongée d'une année. Le recourant n'a jamais contesté la prolongation d'un an de la période probatoire à laquelle il était soumis. Dans la mesure où, à la suite d'une évaluation de ses prestations, le recourant ne remplissait pas toutes le exigences requises par sa fonction, l'intimée était en droit de prolonger sa période probatoire d'une année, ce qu'elle a fait conformément à l'art. 32 al. 2 LPers. Le grief d'arbitraire dans l'application du droit cantonal doit par conséquent être rejeté.
6. Le recourant soutient également avoir été victime d'un licenciement abusif au sens de l'art. 46 al. 1 let. a LPers, qui qualifie d'abusif un congé donné pour une raison inhérente à la personnalité du collaborateur ou de la collaboratrice, à moins que cette raison n'ait un lien avec l'exercice de la fonction ou ne porte un préjudice grave aux intérêts de l'Etat. En outre, le recourant reproche à l'employeur de ne pas avoir pris les mesures adéquates, en présence d'un conflit relationnel, pour préserver sa personnalité, comme l'exige l'<ref-law>.
6.1 La LPers (cf. art. 31 al. 2 et art. 32 al. 3) ne prévoyant aucun motif de licenciement, l'autorité de nomination est en principe libre de renoncer au maintien des rapports de service durant la période d'essai. Cette faculté est destinée à permettre l'engagement de personnel répondant au mieux aux exigences du service. Le temps d'essai (cf., en droit privé, l'<ref-law>; <ref-ruling> consid. 7.1 p. 110) doit ainsi fournir aux parties l'occasion de préparer l'établissement de rapports de travail destinés à durer, en leur permettant d'éprouver leurs relations de confiance, de déterminer si elles se conviennent mutuellement et de réfléchir avant de s'engager pour une plus longue période. Si les rapports contractuels qu'elles ont noués ne répondent pas à leur attente, les parties doivent pouvoir s'en libérer rapidement (<ref-ruling> consid. 3.1 p. 125). La résiliation pendant le temps d'essai, compte tenu de la finalité de celui-ci, comporte nécessairement une part d'arbitraire, qui ne constitue pas un abus de droit. Le Tribunal fédéral admet cependant que la résiliation donnée pendant le temps d'essai puisse être considérée comme abusive, mais elle doit être réservée à des situations exceptionnelles, en tenant compte de la finalité du temps d'essai (<ref-ruling> consid. 2 p. 97; <ref-ruling> consid. 7.1 p. 110, résumé in SJ 2008 I p. 298; voir également, s'agissant du licenciement d'un agent public pendant le temps d'essai, arrêt 1C_341/2007 du 6 février 2008, consid. 2).
6.2 En l'occurrence, il ressort de l'état de fait cantonal - qui lie le Tribunal fédéral (<ref-law>) - que le recourant ne s'est pas opposé à la prolongation de son temps d'essai, ne remettant ainsi pas en cause le fait qu'il ne remplissait pas entièrement les exigences requises par sa fonction, en raison notamment de difficultés sur le plan relationnel. Alors qu'il avait été invité à s'améliorer, il s'est à nouveau vu adresser des reproches d'ordre professionnel et relationnel au cours d'un entretien au début du mois de mars 2009. Bien que son chef de service ait demandé à la Direction la résiliation de son contrat d'engagement dès ce moment, le recourant n'a pas été licencié immédiatement. Il a été entendu une nouvelle fois par la Direction qui a alors «pressenti» qu'une nouvelle chance pouvait lui être donnée de s'améliorer moyennant un effort de sa part (cf. décision du 16 juillet 2009, consid. 5). En lieu et place, le recourant a imputé l'ensemble des problèmes rencontrés au sein de l'équipe vétérinaire du contrôle des viandes à son chef de service, accusant de surcroît ce dernier de violer gravement et de manière répétée ses obligations, sans apporter le moindre élément susceptible d'étayer ses allégations. Compte tenu de ce qui précède, la juridiction cantonale pouvait retenir, eu égard à l'attitude du recourant, que le rapport de confiance indispensable à l'exercice de la fonction ne pouvait être établi dans de telles circonstances, ce qui suffit pour lui dénier tout caractère abusif.
6.3 Par ailleurs, il n'y a pas lieu d'examiner plus avant si la Direction a pleinement satisfait à son devoir de protection de la personnalité du travailleur. Etant donné que l'autorité d'engagement dispose d'une liberté d'appréciation dans le choix des mesures de résolution des conflits (arrêt 8C_340/2009 du 24 août 2009 consid. 4.3.3), le licenciement n'apparaît pas, du moins dans son résultat, comme une violation grave du droit, même en cas de manquement éventuel au devoir de protection de la personnalité de l'employé. Sur le vu des circonstances du cas particulier, la Direction pouvait parfaitement choisir de se séparer du recourant, alors qu'il se trouvait encore dans sa période d'essai, plutôt que de devoir prendre d'autres mesures, afin de gérer une situation conflictuelle découlant de difficultés d'intégration de nature à nuire à l'efficacité du service. En tout cas, on ne saurait qualifier d'arbitraire le point de vue des premiers juges selon lequel le licenciement était justifié au regard de la profonde dégradation de l'ambiance de travail.
7. Mal fondé, le recours doit être rejeté. Le recourant, qui succombe, supportera les frais de justice (<ref-law>). Bien qu'obtenant gain de cause, la partie intimée n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Ie Cour administrative du Tribunal cantonal du canton de Fribourg.
Lucerne, le 18 avril 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: Fretz Perrin