Faits: A. Le 19 septembre 1984, X._ a été autorisé par le Conseil d'Etat à exercer la profession de notaire. Cette même autorité l'a nommé, le 14 janvier 1987, au poste de chef de l'Office cantonal Y._, à mi-temps. X._ partage depuis lors son activité entre le notariat et cette fonction au sein de l'administration cantonale. La loi valaisanne du 15 décembre 2004 sur le notariat (LN ou la loi sur le notariat; RS/VS 178.1) est entrée en vigueur le 1er janvier 2006 et a abrogé la loi valaisanne du 15 mai 1942 sur le notariat (aLN; cf. art. 116 LN). L'art. 21 let. a LN prévoit que les fonctions et emplois exercés au service des collectivités publiques ou des corporations et établissements de droit public sont incompatibles avec la pratique du notariat. Le 15 janvier 2009, X._, qui exerçait toujours en parallèle ses activités de notaire et de chef de l'Office Y._, a été invité à régulariser sa situation au regard du nouveau droit, respectivement à exposer les motifs pour lesquels il estimait que l'exercice de ces deux activités ne violait pas les règles sur les incompatibilités prévues par la nouvelle loi sur le notariat. L'intéressé, par écriture du 7 février 2009, a relevé avoir exercé ces deux fonctions sans problèmes ni conflits d'intérêts durant vingt-trois ans et a souligné que son poste au sein de l'administration cantonale était à mi-temps. Il invoquait la garantie des droits acquis, l'interdiction de l'arbitraire et le principe de l'égalité de traitement. Par décision du 18 mai 2009, considérant que l'activité professionnelle de X._ au sein de l'administration cantonale constituait un cas d'incompatibilité au sens de l'art. 21 let. a LN, la Cheffe du Département de la sécurité, des affaires sociales et de l'intégration du canton du Valais (ci-après: le Département de la sécurité), agissant en qualité d'autorité de surveillance des notaires, a sommé X._ de prendre toutes mesures utiles pour mettre fin à son activité au sein de l'administration cantonale dans un délai de trente jours dès l'entrée en force de sa décision, sous peine de se voir retirer l'autorisation de pratiquer le notariat ou alors, dans le même délai, de renoncer à son ministère. B. Le Conseil d'Etat du canton du Valais, puis la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) ont rejeté les recours de l'intéressé par décision du 4 janvier 2011 respectivement par arrêt du 20 mai 2011. C. X._ a formé, en un seul acte, un recours en matière de droit public et un recours constitutionnel subsidiaire contre l'arrêt susmentionné du Tribunal cantonal. Outre l'effet suspensif, il demande au Tribunal fédéral, sous suite de frais et dépens, d'admettre le recours et d'annuler l'arrêt du Tribunal cantonal, subsidiairement de renvoyer la cause à l'autorité cantonale afin que celle-ci l'autorise à continuer d'exercer son activité de notaire parallèlement à sa fonction de chef d'office jusqu'à l'âge où il pourra bénéficier d'un pont AVS, soit 58 ans. Le Tribunal cantonal a renoncé à se déterminer alors que le Conseil d'Etat conclut au rejet du recours sous suite de frais et sans allocation de dépens. Par ordonnance du 20 juillet 2011, le Président de la IIe Cour de droit public a admis la requête d'effet suspensif.