Faits: A. Par contrat de droit privé du 11 novembre 1991, P._, né en 1949, a été engagé par Xx._ (devenue par la suite X._) en qualité de chef de Yy._ (devenu le Service Y._), à compter du 1er janvier 1992. Le 4 septembre 2006, le Conseil d'Etat a édicté une ordonnance soumettant formellement le personnel du Service Y._ à la loi sur le personnel de l'Etat (du 17 octobre 2001; LPers-FR, RSF 122.70.1). En sa qualité d'employé du Service Y._, P._ était affilié auprès de Z._ - Fondation collective pour la prévoyance professionnelle obligatoire et non à la Caisse de prévoyance du personnel de l'Etat. La nouvelle répartition des tâches entre la Confédération et les cantons, ayant entraîné la fermeture du Service Y._, le Conseiller d'Etat chef de X._ a signifié à P._, par lettre du 27 juin 2011, que son poste serait supprimé avec effet au 31 décembre suivant et que son engagement prendrait fin à cette date. Au regard de son âge, le droit à un pont pré-AVS de 2'320 fr. par mois lui a été reconnu jusqu'à la naissance du droit à une rente de vieillesse de l'AVS ou à une rente de l'AI. Le recours formé contre cette décision par l'intéressé, qui prétendait une indemnité pour suppression de poste de 211'923 fr. en lieu et place d'un pont pré-AVS, a été rejeté par le gouvernement cantonal par prononcé du 6 mars 2012. B. Saisie par P._ d'un recours contre ce prononcé, la Ire Cour administrative du Tribunal cantonal du canton de Fribourg l'a rejeté par arrêt du 29 janvier 2013. C. P._ interjette recours en matière de droit public contre ce jugement dont il demande la réforme en ce sens qu'une indemnité pour suppression de poste lui soit accordée en lieu et place du prononcé de mise à la retraite anticipée. A titre subsidiaire, il conclut à l'annulation de l'arrêt entrepris avec renvoi à l'instance précédente. Sans formuler d'observations sur le recours, le Conseil d'Etat conclut à son rejet.