Faits: A. A.a K._ a été engagé par la Direction des institutions, de l'agriculture et des forêts du canton de Fribourg (DIAF; ci-après: la Direction) en qualité de vétérinaire officiel (contrôleur des viandes) auprès du Service vétérinaire à partir du 1er janvier 2008. La période probatoire a été fixée à douze mois dès l'entrée en fonction. A.b Par courrier du 24 décembre 2008, la Direction a annoncé à K._ qu'il ressortait de l'évaluation de ses prestations par le Service de la sécurité alimentaire et des affaires vétérinaires (ci-après: SAAV) et des informations transmises par X._, chef du Service vétérinaire, que les exigences requises par la fonction n'avaient pas toutes été satisfaisantes lors de la période probatoire. L'autorité l'a dès lors avisé qu'il n'était pas possible de lui accorder la reconnaissance officielle en tant qu'agent des services publics et que la période probatoire était prolongée d'une année, soit du 1er janvier au 31 décembre 2009. Elle a précisé qu'une nouvelle évaluation aurait lieu à la fin de cette période. Elle a en outre proposé au collaborateur de mettre à profit ce temps octroyé et d'examiner avec le chef du Service vétérinaire les points devant être améliorés. A.c Le 23 février 2009, la doctoresse Y._, vétérinaire officielle dirigeante, a écrit à K._ qu'elle souhaitait le rencontrer pour un entretien le 4 mars 2009 en raison de problèmes rencontrés dans le cadre de son activité comme vétérinaire officiel à l'abattoir Z._. A la suite de cet entretien, au cours duquel il a été informé de ses insuffisances et de la volonté de ses chefs de le licencier, K._ a écrit à la Direction pour se plaindre des difficultés relationnelles et d'organisation au sein de l'équipe vétérinaire du contrôle des viandes sur le site Z._. Il a sollicité une entrevue avec le Conseiller d'Etat en charge de la Direction. A.d Par courrier du 9 mars 2009, le chef du Service vétérinaire a demandé à la Direction de résilier le contrat de K._. Il a indiqué que celui-ci ne répondait pas aux critères de son poste de vétérinaire officiel, contrôleur des viandes, lequel devait garantir la sécurité alimentaire. Il a précisé que ce collaborateur avait été informé à maintes reprises qu'il devait respecter ses obligations sur les sites des abattoirs et il n'avait répondu à ces demandes que par de la passivité. Rapportant l'entretien qui avait eu lieu le 4 mars 2009 en présence des vétérinaires Y._ et W._, il a déclaré que l'intéressé avait accepté le congé qui lui avait été signifié, tout en continuant à affirmer qu'il avait bien accompli son travail en dépit d'une surcharge chronique du fait d'un manque de personnel. Le chef du Service vétérinaire a souligné qu'à aucun moment, K._ n'était parvenu à proposer des solutions malgré l'aide qui lui avait été apportée. Enfin, son attitude et sa passivité faisaient courir des risques pour la formation de deux jeunes vétérinaires. A.e Le 14 mars 2009, K._ a écrit à la Direction pour lui demander d'être entendu oralement. Il a réitéré, en substance, les arguments qu'il avait déjà fait valoir précédemment, en particulier quant au manque de personnel par rapport à l'abondance des tâches à accomplir et à propos de la médisance dont il faisait l'objet de la part d'une collègue. Il a signalé qu'il avait demandé au chef du Service vétérinaire de bien vouloir établir une évaluation formelle de ses prestations en sa présence et en celle d'un autre membre du service, compte tenu de l'attitude malveillante de son chef à son égard. A.f La Direction a informé K._ qu'entre-temps, le SAAV lui avait demandé de résilier ses rapports de service au 31 mars 2009. Avant de se prononcer, la Direction souhaitait entendre K._ et lui a proposé un entretien, lequel a eu lieu le 22 avril 2009. Après avoir entendu l'intéressé, la Direction a demandé au chef du Service vétérinaire de se déterminer sur les griefs invoqués et d'établir une évaluation de ses prestations. A.g Le 29 avril 2009, la Direction a décidé de suspendre provisoirement K._ dès le 4 mai 2009, tout en maintenant le versement de son traitement. Elle a motivé sa décision par le fait que les rapports entre les contrôleurs-vétérinaires étaient devenus très tendus et le climat de travail tellement perturbé que la qualité exigée pour la surveillance de l'hygiène des viandes n'était plus assurée. Le 22 mai 2009, elle a transmis à l'intéressé son dossier ainsi qu'un rapport d'analyse de ses prestations rédigé le 12 mai 2009 par le chef du Service vétérinaire et la doctoresse Y._. A.h K._ a communiqué ses objections le 15 juin 2009. A.i Par décision du 16 juillet 2009, la Direction a résilié les rapports de service de K._, avec effet à fin septembre 2009. K._ a formé un recours contre cette décision devant le Conseil d'Etat, lequel l'a rejeté par décision du 9 décembre 2010. B. K._ a recouru contre la décision du Conseil d'Etat devant le Tribunal cantonal en concluant, sous suite de frais et dépens, à son annulation. A titre principal, il a demandé à ce qu'il soit constaté que son licenciement était injustifié, de sorte qu'il devait être maintenu dans sa fonction de vétérinaire officiel et faire l'objet d'une reconnaissance officielle de sa qualité d'agent des services publics avec effet au 1er janvier 2010. A titre subsidiaire, il a requis l'octroi d'une indemnité correspondant à une année de traitement, soit un montant de 131'023 fr. 20, ainsi qu'une indemnité de 2'000 fr. à titre de réparation pour le tort moral subi. Par jugement du 17 mai 2011, la Ie Cour administrative du Tribunal cantonal du canton de Fribourg a rejeté le recours. C. K._ interjette un recours en matière de droit public en concluant derechef à ce qu'il soit constaté que son licenciement était injustifié et, partant, à sa réintégration dans sa fonction de vétérinaire officiel et à la reconnaissance de sa qualité d'agent des services publics avec effet au 1er janvier 2010. A titre subsidiaire, il requiert l'octroi d'une indemnité correspondant à une année de traitement, soit un montant de 131'023 fr. 20, ainsi qu'une indemnité de 2'000 fr. à titre de réparation pour le tort moral subi. La Direction a renoncé à se prononcer.