Faits:
A. Le 19 septembre 1984, X._ a été autorisé par le Conseil d'Etat à exercer la profession de notaire. Cette même autorité l'a nommé, le 14 janvier 1987, au poste de chef de l'Office cantonal Y._, à mi-temps. X._ partage depuis lors son activité entre le notariat et cette fonction au sein de l'administration cantonale.
La loi valaisanne du 15 décembre 2004 sur le notariat (LN ou la loi sur le notariat; RS/VS 178.1) est entrée en vigueur le 1er janvier 2006 et a abrogé la loi valaisanne du 15 mai 1942 sur le notariat (aLN; cf. art. 116 LN). L'art. 21 let. a LN prévoit que les fonctions et emplois exercés au service des collectivités publiques ou des corporations et établissements de droit public sont incompatibles avec la pratique du notariat.
Le 15 janvier 2009, X._, qui exerçait toujours en parallèle ses activités de notaire et de chef de l'Office Y._, a été invité à régulariser sa situation au regard du nouveau droit, respectivement à exposer les motifs pour lesquels il estimait que l'exercice de ces deux activités ne violait pas les règles sur les incompatibilités prévues par la nouvelle loi sur le notariat. L'intéressé, par écriture du 7 février 2009, a relevé avoir exercé ces deux fonctions sans problèmes ni conflits d'intérêts durant vingt-trois ans et a souligné que son poste au sein de l'administration cantonale était à mi-temps. Il invoquait la garantie des droits acquis, l'interdiction de l'arbitraire et le principe de l'égalité de traitement.
Par décision du 18 mai 2009, considérant que l'activité professionnelle de X._ au sein de l'administration cantonale constituait un cas d'incompatibilité au sens de l'art. 21 let. a LN, la Cheffe du Département de la sécurité, des affaires sociales et de l'intégration du canton du Valais (ci-après: le Département de la sécurité), agissant en qualité d'autorité de surveillance des notaires, a sommé X._ de prendre toutes mesures utiles pour mettre fin à son activité au sein de l'administration cantonale dans un délai de trente jours dès l'entrée en force de sa décision, sous peine de se voir retirer l'autorisation de pratiquer le notariat ou alors, dans le même délai, de renoncer à son ministère.
B. Le Conseil d'Etat du canton du Valais, puis la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) ont rejeté les recours de l'intéressé par décision du 4 janvier 2011 respectivement par arrêt du 20 mai 2011.
C. X._ a formé, en un seul acte, un recours en matière de droit public et un recours constitutionnel subsidiaire contre l'arrêt susmentionné du Tribunal cantonal. Outre l'effet suspensif, il demande au Tribunal fédéral, sous suite de frais et dépens, d'admettre le recours et d'annuler l'arrêt du Tribunal cantonal, subsidiairement de renvoyer la cause à l'autorité cantonale afin que celle-ci l'autorise à continuer d'exercer son activité de notaire parallèlement à sa fonction de chef d'office jusqu'à l'âge où il pourra bénéficier d'un pont AVS, soit 58 ans.
Le Tribunal cantonal a renoncé à se déterminer alors que le Conseil d'Etat conclut au rejet du recours sous suite de frais et sans allocation de dépens.
Par ordonnance du 20 juillet 2011, le Président de la IIe Cour de droit public a admis la requête d'effet suspensif.
Considérant en droit:
1. Le présent recours étant en principe recevable, au regard des art. 42 et 82 ss LTF, comme recours en matière de droit public, le recours constitutionnel subsidiaire est irrecevable (cf. art. 113 LTF).
2. Aux termes de l'art. 106 al. 2 LTF, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant. Cette disposition reprend le principe d'allégation (Rügeprinzip) que la pratique relative au recours de droit public avait établie en relation avec l'art. 90 OJ. Selon cette pratique, l'acte de recours doit donc, sous peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation (ATF 136 I 229 consid. 4.1 p. 235; 135 III 670 consid. 1.5 p. 674, 232 consid. 1.2 p. 234). Le Tribunal fédéral n'a pas à vérifier de lui-même si l'acte entrepris est en tous points conforme au droit et à l'équité. Il n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans le mémoire de recours. Le recourant ne saurait se contenter de soulever de vagues griefs ou de renvoyer aux actes cantonaux (ATF 136 II 304 consid. 2.5 p. 314; 133 II 249 consid. 1.4 p. 254; 133 III 393 consid. 6 p. 397).
3. 3.1 En tant qu'il a trait à la liberté économique (art. 27 Cst.), le recours doit être rejeté. En effet, en raison de l'activité de puissance publique qu'ils exercent, les notaires ne peuvent pas se prévaloir de cette liberté (ATF 133 I 259 consid. 2.2 p. 260 ss; 131 II 639 consid. 6.1 p. 645; 128 I 280 consid. 3 p. 281; cf. aussi Message accompagnant le projet de loi sur le notariat, in Bulletin des séances du Grand Conseil, juin 2004, no 2.2 p. 549 [ci-après: Message]).
3.2 Il en va de même de la liberté personnelle (art. 10 al. 2 Cst.). Cette liberté ne peut pas apporter une protection pour l'exercice d'une activité, là où celle de la liberté économique est précisément refusée car il s'agit d'une activité de puissance publique (arrêt 2P.169/2003 du 14 août 2003 consid. 3.2).
4. 4.1 Le recourant se plaint de ce que le Département de la sécurité ne lui a jamais donné la possibilité de s'exprimer (art. 29 al. 2 Cst.) sur l'obligation qu'il lui est faite de renoncer à l'une ou l'autre de ses deux fonctions.
Il ressort des faits, qui lient le Tribunal fédéral (art. 105 al. 1 LTF) et dont l'arbitraire n'a nullement été démontré (art. 105 al. 2 et 106 al. 2 LTF) que le recourant a pu faire valoir son point de vue sur la prétendue incompatibilité existant entre ses deux fonctions, au moment de l'entrée en vigueur de la loi. Il a, en effet, pris position par écriture du 7 février 2009 sur demande du Département de la sécurité. En outre, selon l'arrêt attaqué, le recourant aurait même renoncé, lors de la procédure cantonale, à un entretien avec la Cheffe dudit Département.
En invitant le recourant à exposer les motifs pour lesquels, selon lui, l'exercice de ces deux activités ne violait pas les nouvelles règles d'incompatibilité, l'autorité concernée a respecté le droit d'être entendu du recourant.
4.2 Le recourant estime que son droit d'être entendu est également violé par le fait que ledit Département, dans sa décision du 18 mai 2009, mentionne que, si l'intéressé ne prend pas les mesures qui s'imposent afin de rendre sa situation conforme à la nouvelle loi, l'autorisation de pratiquer le notariat lui sera retirée "sans autre échange d'écritures".
L'intéressé se plaint ici d'une future éventuelle violation de son droit d'être entendu sur laquelle il ne peut être statué à ce stade. Au demeurant, si la procédure devait se poursuivre car le recourant ne prenait pas une des mesures commandées par la décision du 18 mai 2009, le Département de la sécurité pourrait, a priori, s'estimer suffisamment renseigné sur le cas en cause dont les faits sont simples (cf. ATF 136 I 229 consid. 5.3 p. 236; 130 II 425 consid. 2.1 p. 429).
5. Les dispositions cantonales topiques ont la teneur suivante:
"Art. 3 Statut juridique du notaire
1 Le notaire est un organe de la juridiction gracieuse exerçant une fonction étatique.
2 Il est un officier public exerçant son ministère de manière indépendante, sous la surveillance de l'Etat; il n'est pas un fonctionnaire public.
Art. 20 Incompatibilités - Règle générale
1 La pratique du notariat est incompatible avec toute autre activité lucrative prépondérante, sauf celle d'avocat. Demeurent réservés les articles 21 et 22.
2 Un notaire ne peut pas instrumenter un acte en relation directe avec une affaire dont lui-même ou un de ses associés s'est occupé comme avocat.
Art. 21 Cas d'incompatibilités
Sont incompatibles avec la pratique du notariat:
a) les fonctions et emplois exercés au service des collectivités publiques d'une part, des corporations et établissements de droit public d'autre part;
b) les fonctions de préposé à l'office des poursuites et faillites, du registre foncier et du registre du commerce ou des employés de ces offices;
c) la promotion immobilière, le commerce et le courtage professionnel des immeubles;
d) les opérations bancaires et la gestion de fortune effectuées à titre professionnel;
... Art. 22 Activités compatibles
1 La pratique du notariat est notamment compatible avec l'exercice simultané:
a) d'une charge accessoire d'enseignement;
b) d'un mandat politique à temps partiel;
c) de la fonction de juge de commune, de suppléant d'un magistrat de l'ordre judiciaire, ou de membre d'une commission administrative communale, cantonale ou fédérale;
d) de la fonction de greffier-juriste d'une instance communale, intercommunale ou encore de la chambre de tutelle.
... Art. 65 Mesures de surveillance
Afin de garantir le respect de la loi, le département peut prendre l'une ou l'autre de ces mesures:
a) l'avertissement;
b) la sommation de faire ou de s'abstenir;
c) la sommation de faire ou de s'abstenir assortie d'une sanction pénale pour insoumission au sens de l'article 292 du code pénal suisse;
d) le retrait de l'autorisation d'exercer;
e) l'exécution forcée au sens des articles 37 et suivants de la loi sur la procédure et la juridiction administratives."
6. 6.1 Le recourant estime que l'injonction litigieuse contenue dans la décision du 18 mai 2009 est dénuée de toute base légale. Selon lui, le Département de la sécurité ne pouvait l'enjoindre de mettre un terme à l'une de ces deux fonctions, sous peine de lui retirer le droit de pratiquer le notariat, et ne pouvait que lui retirer directement le droit de pratiquer.
Le recourant est simultanément notaire et chef du service de l'Office Y._, activité occupée à 50%. De toute évidence, cette double fonction viole le texte clair de l'art. 21 let. a LN. L'autorité de surveillance devait, dès lors, mettre fin à cette situation. En se basant sur l'art. 65 let. b LN (cf. supra consid. 5), le Département de la sécurité a sommé le recourant de choisir entre ces deux activités; celui-ci ne saurait de toute évidence s'en plaindre. Cette autorité aurait, en effet, pu se borner à prononcer une interdiction de pratiquer le notariat. Le grief doit, ainsi, être rejeté.
6.2 Le recourant considère ensuite qu'une telle injonction serait incompatible avec les art. 17 ss de la loi valaisanne du 11 mai 1983 fixant le statut des fonctionnaires et employés de l'Etat du Valais (RS/VS 172.2), lesquels énoncent des règles strictes à respecter lorsqu'il s'agit de renvoyer un fonctionnaire. Il se plaint d'arbitraire "dans la manière de faire".
Le grief - dont il est douteux que la motivation soit conforme aux exigences en la matière (cf. consid. 2; cf. aussi ATF 137 V 57 consid. 1.3 p. 60 et les arrêts cités) - se révèle dépourvu de fondement dans la mesure où l'autorité administrative n'a pas mis un terme à l'activité de chef de l'Office Y._ exercée par l'intéressé et n'aurait d'ailleurs pas été habilitée à le faire. La décision attaquée se contente de le sommer de prendre toutes mesures utiles pour mettre fin à son activité au sein de l'administration cantonale ou de renoncer à son ministère. Partant, le grief doit être rejeté.
7. Le recourant soutient que certaines dispositions de la loi sur le notariat sont en elles-mêmes inconstitutionnelles. Un tel grief est recevable, le Tribunal fédéral étant amené à contrôler la constitutionnalité de ces dispositions dans un cas d'application (contrôle concret). Si ces normes devaient s'avérer inconstitutionnelles, le Tribunal fédéral ne saurait toutefois les annuler; il pourrait seulement modifier la décision qui les applique (cf. ATF 132 I 49 consid. 4 p. 54; 131 I 313 consid. 2.2 p. 316 et les arrêts cités).
7.1 Le recourant estime que la loi sur le notariat viole l'interdiction de l'arbitraire et crée une inégalité en tant qu'elle autorise différentes activités à l'art. 22 LN qui seraient proches de celles interdites par l'art. 21 let. a LN.
7.2 La protection de l'égalité (art. 8 Cst.) et celle contre l'arbitraire (art. 9 Cst.) sont étroitement liées. Une disposition viole le principe de l'égalité de traitement lorsqu'elle établit des distinctions juridiques qui ne se justifient par aucun motif raisonnable au regard de la situation de fait à réglementer ou lorsqu'elle omet de faire des distinctions qui s'imposent au vu des circonstances, c'est-à-dire lorsque ce qui est semblable n'est pas traité de manière identique et ce qui est dissemblable ne l'est pas de manière différente; cela suppose que le traitement différent ou semblable injustifié se rapporte à une situation de fait importante (ATF 137 V 121 consid. 5.3 p. 125; 135 I 130 consid. 6.2 p. 137; 131 I 377 consid. 3 p. 382-383). Dans ce cadre, le législateur dispose toutefois d'un large pouvoir d'appréciation et le Tribunal fédéral ne peut intervenir que si, sur des points importants, les assimilations ou distinctions aménagées s'avèrent clairement injustifiées et insoutenables; dans cette mesure le grief d'inégalité de traitement se confond pour l'essentiel avec celui d'arbitraire (ATF 135 I 130 consid. 6.2 p. 137; 131 I 1 consid. 4.2 p. 6, 313 consid. 3.2 p. 317; 127 I 185 consid. 5 p. 192).
7.2.1 Selon l'art. 3 LN, le notaire valaisan est un organe de la juridiction gracieuse exerçant une fonction étatique (cf., à cet égard, ATF 124 I 297 consid. 4a p. 299 et l'arrêt cité, ainsi que STEPHAN WOLF/ARON PFAMMATTER, in: Stephan Wolf (éd.), Kommentar zum Notariatsrecht des Kantons Bern, 2009, no 5 ad art. 2 NG et les références doctrinales citées). Dans les cantons où le notariat est, comme en Valais, une profession libre - par opposition au système des notaires fonctionnaires -, le brevet de notaire confère à son destinataire un droit dont l'Etat est seul titulaire. En obtenant le pouvoir d'instrumenter, le particulier acquiert la qualité d'officier public, détenteur d'une parcelle de pouvoir étatique. Qu'il soit alors considéré comme un concessionnaire ou comme un simple délégataire de l'Etat, cette position d'officier public le place dans un rapport de droit public spécial (MICHEL MOOSER, Le droit notarial en Suisse, 2005, no 53 p. 25) et le soumet notamment à une série d'incompatibilités visant à garantir la qualité du service qu'il accepte d'assurer. En effet, l'indépendance et la neutralité du notaire sont d'une importance certaine.
Ainsi, aspirant à préserver au mieux la fonction de notaire dans le canton, le législateur valaisan a choisi de mettre en place un système d'incompatibilités relativement strictes qui, sous réserve d'exceptions, interdit toutes fonctions et emplois exercés au service des collectivités publiques, corporations et établissements de droit public. Le législateur a voulu asseoir l'indépendance et la crédibilité de la profession en renforçant en particulier les dispositions relatives aux incompatibilités (Message, no 2.2 p. 549), ceci compte tenu du statut du notaire indépendant. Cette volonté de garantir la qualité du ministère dévolu aux notaires n'apparaît pas insoutenable. En ce qui concerne plus particulièrement le fonctionnaire et l'employé public, le risque existe, en effet, compte tenu en particulier de la rémunération obtenue dans le cadre de ces emplois, que cette position soit de nature à fragiliser l'indispensable indépendance et neutralité du notaire et à entamer la confiance nécessaire que les particuliers doivent avoir en lui lorsqu'ils ont recours à son ministère. Au demeurant, contrairement à ce que soutient l'intéressé, ces éléments représentent un intérêt public suffisant à une loi restrictive.
Le recourant développe dans son mémoire une notion de l'impartialité qui, selon lui, devrait être celle prise comme référence pour définir les activités accessoires autorisées. Que le législateur ait une notion plus stricte de l'indépendance du notaire ne l'a pas pour autant fait tombé dans l'arbitraire. Il convient de rappeler ici que les cantons ont une compétence étendue pour régler, notamment, les conditions relatives à l'activité des personnes légitimées à instrumenter des actes authentiques, leurs tâches, leurs obligations professionnelles, leur surveillance, ainsi que les émoluments (ATF 133 I 259 consid. 2.1 p. 260; 131 II 639 consid. 6.1 p. 645), le droit fédéral ne posant que peu de limites à la compétence des cantons (ATF 133 I 259 consid. 2.2 p. 260). Ainsi, les comparaisons opérées par le recourant pour démontrer que d'autres lois cantonales sur le notariat sont moins restrictives que la loi valaisanne ne sont pas pertinentes. N'est pas plus pertinente la discussion autour de la suppression de la mention "à titre prépondérant" de l'art. 21 let. a LN (le projet de loi mentionnait qu'étaient incompatibles avec l'exercice du notariat "les fonctions et emplois exercés à titre prépondérant au service des collectivités publiques"; cf. Bulletin des séances du Grand Conseil, décembre 2004, p. 430 et 458), l'interdiction en résultant ne pouvant, comme on l'a vu, être qualifiée d'arbitraire.
Compte tenu de ce qui précède, il n'est pas arbitraire d'assurer de manière rigoureuse l'indépendance de l'officier public en limitant de façon importante son implication dans la vie de l'Etat autre que celle liée à sa charge.
7.2.2 Le recourant énumère encore toute une série d'activités considérées, selon lui, comme compatibles avec l'activité de notaire qui seraient source d'inégalité.
La plupart des activités citées sont expressément autorisées par l'art. 22 LN. Il s'agit d'un choix du législateur cantonal, lequel dispose d'un large pouvoir d'appréciation (cf. supra consid. 7.2.1), qui s'explique par différentes raisons, telles qu'exposées au recourant par les instances précédentes (par exemple, concernant les mandats politiques, la volonté de ne pas entraver les petites communes dans leur bon fonctionnement au regard des ressources humaines limitées). Le régime des incompatibilités mis en place résulte également, en partie, de la prise en compte des remarques et propositions exprimées lors de la procédure de consultation (Message no 1.2 p. 546 ss). Aucun des cas cités à l'art. 22 LN n'appelle l'intervention du Tribunal fédéral. En effet, ces cas sont tous différents de celui du recourant chef de l'Office Y._ à 50%. Ils le sont, pour les postes qui impliquent aussi une relation de subordination à l'Etat, par le type de fonction - l'enseignant n'a pas de pouvoir décisionnel par exemple - ou alors par le temps moindre consacré à ces activités. En ce qui concerne les personnes ayant un mandat politique, elles se trouvent dans une relation avec l'Etat qui n'est pas assimilable à celle du fonctionnaire, ne serait-ce que parce que celles-ci ont été élues et ce pour une durée déterminée.
Quant aux activités mentionnées par le recourant et qui ne font pas partie de celles, compatibles, de l'art. 22 LN, elles ne devraient pas pouvoir être exercées en parallèle avec la fonction de notaire. Si elles le sont effectivement, il s'agit d'un problème d'application de la loi et non de violation du principe d'égalité par celle-ci.
Au regard de ce qui précède, les dispositions en cause de la loi sur le notariat ne violent pas le principe d'égalité.
8. Le recourant se plaint de l'application qui a été faite de l'art. 21 let. a LN, estimant qu'il est tout-à-fait à même de continuer à exercer ses deux activités en parallèle.
La motivation de ce grief relatif à l'application arbitraire du droit cantonal ne répond pas aux exigences en la matière (cf. consid. 2; ATF 137 V 57 consid. 1.3 p. 60; 133 II 249 consid. 1.4.2 p. 254, ainsi que ATF 133 II 396 consid. 3.2 p. 400; 128 I 295 consid. 7a p. 312 et les arrêts cités) et est, dès lors, irrecevable.
De toute façon, il aurait dû être rejeté, l'art. 21 let. a LN étant clair et ne laissant place à aucune interprétation. Dès lors, il importe peu que le poste de chef de l'Office Y._ laisserait tout le temps voulu au recourant pour s'occuper de son ministère et que, concrètement, les risques de perdre son indépendance et impartialité seraient inexistants. Ces éléments n'auraient pas permis de conclure à une application arbitraire du droit cantonal dont les dispositions en cause sont conformes à la Constitution.
9. Invoquant le principe de la bonne foi, le recourant soutient qu'il est au bénéfice de droits acquis, "voire d'une situation acquise", qui découleraient de sa nomination au poste de chef de l'Office Y._ en 1987 par le Conseil d'Etat alors qu'il était déjà au bénéfice de l'autorisation de pratiquer le notariat depuis 1984. Ceci empêcherait que la nouvelle loi sur le notariat lui soit appliquée, contrairement à ce qu'a retenu le Tribunal cantonal.
9.1 Il n'est pas certain que l'argumentation, essentiellement appellatoire, réponde aux exigences accrues de l'art. 106 al. 2 LTF (cf. consid. 2). Cette question peut toutefois rester ouverte, le grief devant de toute façon être rejeté.
9.2 Le Tribunal fédéral admet que la protection des droits acquis peut découler aussi bien de la garantie de la propriété que du principe de la bonne foi (cf. ATF 128 II 112 consid. 10a p. 125; 118 Ia 245 consid. 5a p. 255; 106 Ia 163 consid. 1b p. 167; cf. aussi ATF 132 II 485 consid. 9.5 p. 513). En l'espèce, étant avant tout en cause, dans la relation juridique considérée, des rapports de confiance entre l'administré et l'Etat, il y a lieu d'envisager la problématique des droits acquis sous l'aspect du principe de la bonne foi. Le recourant soutient, en effet, qu'en lui demandant de renoncer à une de ses deux activités, l'Etat du Valais manquerait à sa parole puisqu'il l'a autorisé à les pratiquer en parallèle pendant plus de vingt ans.
9.3 Ancré à l'art. 9 Cst. et valant pour l'ensemble de l'activité étatique, le principe de la bonne foi confère au citoyen, à certaines conditions, le droit d'exiger des autorités qu'elles se conforment aux promesses ou assurances précises qu'elles lui ont faites et ne trompent pas la confiance qu'il a légitimement placée dans ces dernières (ATF 137 II 182 consid. 3.6.2 p. 193; 131 II 627 consid. 6.1 p. 636 et les arrêts cités). Cette protection disparaît, en règle générale, en cas de modification de la législation, étant donné que l'ordre juridique suisse peut être modifié à tout moment, conformément aux principes régissant la démocratie. Il n'existe ainsi pas de droit au maintien d'une certaine législation (ATF 130 I 26 consid. 8.1 p. 60).
Une violation du principe de la bonne foi n'est réalisée que lorsque la modification du droit porte atteinte aux droits acquis en contredisant, sans raisons valables, des assurances précédemment données par le législateur, ou lorsqu'une modification est décidée de façon imprévisible dans le dessein d'empêcher l'exécution d'un projet qui serait réalisable (ATF 108 Ib 352 consid. 4b/bb p. 358). Il découle uniquement des droits acquis une certaine "stabilité" de la loi dans le sens que de tels droits ne peuvent pas être annulés ou restreints par des changements de loi ultérieures sans indemnités (ATF 107 Ib 140 consid. 3b p. 145). Le principe de la bonne foi peut, en outre, imposer un régime transitoire (ATF 134 I 23 consid. 7.6.1 p. 40; 130 I 26 consid. 8.1 p. 60). Ce régime doit permettre aux administrés de s'adapter à la nouvelle réglementation et non pas de profiter le plus longtemps possible de l'ancien régime plus favorable (ATF 134 I 23 consid. 7.6.1 p. 40; 123 II 385 consid. 9 p. 395).
9.4 Lorsque le Conseil d'Etat a nommé le recourant en 1987 au poste de chef de l'Office Y._, l'art. 10 aLN prévoyait que l'exercice du notariat était incompatible avec l'exercice d'une fonction permanente à laquelle le fonctionnaire ou l'employé devait vouer toute son activité au service, notamment, d'un canton, ainsi que de tout établissement ou service public. Le poste en question représentant un 50%, la nomination de l'intéressé respectait l'ancienne loi sur le notariat. La nouvelle loi sur le notariat règle les cas d'incompatibilité de façon plus stricte que l'ancienne et ne les limite plus à des fonctions permanentes. Dès lors, le poste de chef de l'Office Y._ exercé à 50% devenait incompatible avec un ministère de notaire et l'injonction faite au recourant, dans la décision du 18 mai 2009, de choisir entre ces deux activités a été prise en application de ladite loi.
La nomination du 14 janvier 1987 ne comprenait aucune promesse ou assurance de la part du Conseil d'Etat. De même, l'ancienne loi sur le notariat ne contenait pas de disposition qui conférait aux notaires autorisés à exercer une activité annexe une protection des droits acquis. Certes, le recourant exerçait ses deux activités en parallèle depuis plus de vingt ans, ce qui pourrait, a posteriori, lui conférer des droits acquis (cf. PIERRE MOOR/ETIENNE POLTIER, Droit administratif, vol. II, 3e éd., 2011, no 1.1.2.4 p. 23). La nouvelle loi sur le notariat prévoit cependant un régime transitoire pour les cas d'incompatibilité. L'art. 114 let. a LN dispose, en effet, que le notaire doit mettre fin à l'exercice d'une activité devenue incompatible avec la pratique du notariat dans un délai de trois ans dès l'entrée en vigueur de la loi. En l'espèce, il s'agissait pour le recourant soit de développer son étude afin de pouvoir en retirer des revenus suffisants après sa démission comme chef de l'Office Y._, soit de trouver une nouvelle activité annexe permise par la nouvelle loi. Il pouvait également abandonner le notariat pour une autre activité à temps plein. Il est certain qu'un tel réaménagement de la vie professionnelle, tel que rendu inéluctable par la nouvelle loi sur le notariat, requiert du temps. Trouver des mandats supplémentaires pour une étude ou un nouveau travail salarié ne se fait pas du jour au lendemain. Cependant, un délai de trois ans apparaît comme étant raisonnable pour ce faire. D'ailleurs, le recourant se contente d'affirmer qu'à son âge (55 ans), tout changement est impossible; il ne prétend pas avoir essayé de trouver une solution dans le délai imparti mais que celui-ci serait trop court. A cet égard, il ressort de l'arrêt attaqué que la Cheffe du Département de la sécurité a indiqué à l'intéressé, dans un courrier du 15 juillet 2009 que, s'il renonçait à son activité notariale, un engagement à plein temps au service de l'Etat du Valais pouvait être envisagé, proposition au sujet de laquelle aucun accord n'a en définitive été trouvé. En conclusion, le délai légal de trois ans apparaît comme conforme aux exigences constitutionnelles puisqu'il est suffisant pour procéder à l'adaptation professionnelle que requiert l'abandon de l'une ou l'autre activité exercée.
Compte tenu de ce qui précède, l'arrêt attaqué ne viole pas le principe de la bonne foi.
10. Finalement, le recourant estime que la décision du 18 mai 2009 n'est pas proportionnelle en tant qu'elle le contraint à mettre un terme à l'une de ses deux professions. Il estime qu'une proposition allant dans le sens d'un pont AVS aurait été plus adéquate à sa situation.
10.1 Une mesure viole le principe de la proportionnalité notamment si elle excède le but visé et ne se trouve pas dans un rapport raisonnable avec celui-ci et les intérêts, en l'occurrence publics, compromis (ATF 130 I 65 consid. 3.5.1 p. 69 et les arrêts cités; 128 II 292 consid. 5.1 p. 297 s.). Le principe de la proportionnalité, bien que de rang constitutionnel, ne constitue pas un droit constitutionnel avec une portée propre (ATF 126 I 112 consid. 5b p. 120; 125 I 161 consid. 2b p. 163). Aussi, lorsque, comme en l'espèce, ce principe est invoqué en relation avec l'application du droit cantonal (en dehors du domaine de protection d'un droit fondamental spécial), le Tribunal fédéral n'intervient, en cas de violation du principe de la proportionnalité, que si la mesure de droit cantonal est manifestement disproportionnée et qu'elle viole simultanément l'interdiction de l'arbitraire; autrement dit le grief se confond avec celui de l'arbitraire (ATF 134 I 153 consid. 4.2.2 et 4.3 p. 157; arrêt 2P.269/2006 du 17 avril 2007 consid. 4.1, non publié in ATF 133 I 145).
10.2 En l'espèce, les motifs personnels mis en évidence par le recourant pour échapper aux conséquences de la situation d'incompatibilité dans laquelle il se trouve ne sauraient contrebalancer l'intérêt public au respect de la loi sur le notariat, jugée conforme à la Constitution. A cela s'ajoute que, comme on l'a vu, le recourant disposait d'un délai de trois ans pour prendre les mesures qui s'imposaient. De plus, il ressort de l'arrêt attaqué que l'intéressé est également avocat; il aurait ainsi pu également développer cette activité durant cette période. Enfin, comme susmentionné, l'intéressé a même reçu une offre de la Cheffe du Département de la sécurité pour un engagement à plein temps au service de l'Etat du Valais. Dans de telles circonstances, la décision du 18 mai 2009, telle que confirmée par le Tribunal cantonal, respecte, à n'en pas douter, le principe de la proportionnalité et est exempte d'arbitraire.
11. Compte tenu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable.
Le recourant, qui succombe, supportera les frais de justice (art. 66 al. 1 LTF). Il n'est pas alloué de dépens.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Département de la sécurité, des affaires sociales et de l'intégration, au Conseil d'Etat et à la Cour de droit public du Tribunal cantonal du canton du Valais.
Lausanne, le 16 janvier 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Kurtoglu-Jolidon