Faits:
A. Par décision du 2 mars 2009, le Conseil communal de Zermatt a prononcé contre X._, ressortissant italien, né le 11 janvier 1955, une amende de 18'750 fr. pour contravention aux art. 3 et 12 du règlement communal sur la construction de résidences principales et de résidences secondaires (Reglement über den Erst- und Zweitwohnungsbau ; ci-après : REZB).
En bref, les autorités communales lui reprochent de ne pas avoir utilisé le chalet qu'il a acquis à Zermatt en 2007 comme résidence principale au sens de l'art. 3 REZB, alors que l'acte de vente précise que ce bâtiment est une résidence principale au sens de cette disposition et que cette affectation est mentionnée comme charge au registre foncier. Le 7 janvier 2008, les autorités communales ont invité X._ à rétablir une situation conforme au droit jusqu'au 15 février 2008 ; ce délai a été prolongé à plusieurs reprises, un ultime délai étant fixé au 9 mai 2008.
Le 21 mai 2008, le Conseil communal de Zermatt avait déjà infligé à X._ une amende de 18'750 fr. pour violation des art. 3 et 12 REZB pour ne pas avoir occupé, en 2007, son chalet de manière permanente. Ce prononcé d'amende est entré en force.
Ressortissant italien, X._ est au bénéfice d'une autorisation d'établissement (permis C). Le 4 août 2008, il a requis une autorisation d'établissement auprès du Bureau des étrangers de la commune de Zermatt pour s'établir dans le canton du Valais. Par décision du 21 avril 2009, le Service de la population et des migrations de ce canton (ci-après : SPM) a rejeté sa requête conformément à l'art. 37 al. 3 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr ; RS 142.20), au motif qu'il n'avait pas déplacé son centre d'intérêt en Valais. Le 22 mai 2009, X._ a recouru contre cette décision devant le Conseil d'Etat valaisan.
Le 10 juin 2009, le Conseil communal de Zermatt a confirmé, à la suite de la réclamation de X._, son prononcé d'amende du 2 mars 2009.
B. Par arrêt du 18 août 2010, la Cour de droit public du Tribunal cantonal valaisan a partiellement admis l'appel interjeté par X._ et réduit l'amende de 18'750 fr. à 5'000 fr.
C. Contre ce dernier arrêt, X._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut à l'annulation de l'arrêt attaqué, dénonçant une violation de la présomption d'innocence et l'arbitraire dans l'application des art. 3 et 12 du règlement communal sur les résidences principales et secondaires.
La commune de Zermatt conclut au rejet du recours.
D. Le 17 novembre 2010, X._ a produit une copie de l'arrêt du 10 novembre 2010 du Conseil d'Etat valaisan statuant sur la décision du 21 avril 2009 du Service de la population et des migrations, lui refusant le droit de s'établir en Valais. Le Tribunal fédéral ne peut tenir compte de cette pièce nouvelle conformément à l'<ref-law>.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling>, consid. 1 p. 142).
1.1 Le recours en matière pénale est ouvert contre les décisions rendues en matière pénale (<ref-law>). Cette notion comprend toutes les décisions fondées sur le droit pénal matériel ou sur le droit de procédure pénale (Message du 28 février 2001 concernant la révision totale de l'organisation judiciaire fédérale, FF 2001 4000 ss., ch. 4.1.3.2). En l'espèce, l'objet du recours est une amende, fondée sur une disposition pénale de droit communal. Le recours en matière pénale (et non celui en matière de droit public) est donc ouvert (cf. arrêts 6B_721/2010 du 7 février 2011, consid. 1 ; 2C_440/2008 du 10 novembre 2008 consid. 1; 6B_384/2007 du 27 octobre 2007 consid. 1.1).
1.2 La violation du droit cantonal ou communal ne constitue pas un motif de recours en tant que tel (cf. <ref-law>). Le recourant peut uniquement se plaindre de ce que l'application du droit cantonal ou communal par l'autorité précédente consacre une violation du droit fédéral au sens de l'<ref-law>, en particulier qu'elle est arbitraire (art. 9 Cst. ; <ref-ruling> consid. 2.3; <ref-ruling> consid. 1.2.1). Le Tribunal fédéral n'examine la violation arbitraire de dispositions de droit cantonal ou communal que si ce grief a été invoqué et motivé de manière précise (<ref-law>; <ref-ruling> consid. 2.3; <ref-ruling> consid. 1.4).
Pour qu'il y ait arbitraire, il ne suffit pas que la décision attaquée apparaisse discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.3 p. 4/5; <ref-ruling> consid. 5.4 p. 148, 133 I 149 consid. 3.1 p. 153). En matière d'application du droit cantonal ou communal, l'arbitraire et la violation de la loi ne sauraient être confondus; une violation de la loi doit être manifeste et reconnue d'emblée pour être considérée comme arbitraire (<ref-ruling> consid. 5.1 p. 17 s. ; <ref-ruling> consid. 2.1 p. 219).
2. Le recourant se plaint d'arbitraire dans l'application des art. 3 et 12 REZB.
2.1 Ce règlement tend à encourager la construction de résidences principales et à réduire le nombre des résidences secondaires, en fixant des unités de résidences principales (art. 1). Par résidences principales, le législateur communal vise les logements utilisés par des personnes ayant un domicile permanent (mit ständigem Wohnsitz) dans la commune ; sont assimilés aux résidences principales les logements occupés par des personnes au bénéfice d'une autorisation de séjour leur permettant de demeurer temporairement à Zermatt pour y exercer une profession ou y fréquenter une école (art. 3). Lors de la procédure d'autorisation de construire, le requérant doit indiquer dans les annexes de sa demande de permis de construire si celle-ci porte sur une résidence principale ou secondaire (art. 11 al. 1). L'affectation en tant que résidence principale est garantie par une charge dans l'autorisation de construire (art. 11 al. 2) et figure comme mention au registre foncier (art. 11 al. 3).
En cas de contravention, l'art. 12 du règlement renvoie à l'art. 82 du règlement du 8 juin 1997 de la commune de Zermatt sur les constructions et les zones (Bau- und Zonenreglement ; BZR). Toutefois, selon l'art. 54 al. 6 de la loi cantonale du 8 février 1996 sur les constructions (LC ; RS/VS 705.1), les art. 54 à 56 LC régissent prioritairement, sur tout le territoire du canton, la répression des infractions au droit public des constructions, domaine où le droit communal ne s'applique que s'il prévoit des dispositions pénales plus sévères. Comme l'art. 82 BZR n'est pas plus sévère que l'art. 54 LC, l'art. 12 REZB renvoie, en pratique, à cette norme du droit cantonal.
2.2 Pour être une résidence principale au sens de l'art. 3 REZB, un logement doit être utilisé par quelqu'un qui a son domicile permanent à Zermatt. Selon la cour cantonale, un logement de ce genre doit être occupé par des gens qui résident réellement dans la localité et y habitent durablement. Un pareil concept se rapproche de celui de l'<ref-law> : « le domicile de toute personne est le lieu où elle réside avec l'intention de s'y établir ». L'existence d'un domicile permanent dépend donc de deux éléments : d'une part, la résidence, à savoir un séjour d'une certaine durée dans un endroit donné et la création en ce lieu de rapports assez étroits et, d'autre part, l'intention de se fixer pour une certaine durée au lieu de sa résidence qui doit être reconnaissable pour les tiers et donc ressortir de circonstances extérieures et objectives. Cette intention implique la volonté manifestée de faire d'un lieu le centre de ses relations personnelles et professionnelles. Le domicile d'une personne se trouve ainsi au lieu avec lequel elle a les relations les plus étroites, compte tenu de l'ensemble des circonstances (<ref-ruling> consid. 5.1 p. 249 ; <ref-ruling> consid. 4 p. 36 ; cf. arrêt attaqué, consid. 4 p. 6). Les constatations relatives à ces circonstances relèvent du fait, mais la conclusion que le juge en tire quant à l'intention de s'établir est une question de droit (<ref-ruling> consid. 2a p. 8 ; arrêt 5A_398/2007 du 28 avril 2008 consid. 3.2).
2.3 Selon la cour cantonale, le recourant n'a pas habité, en 2008 et 2009, de manière permanente dans la commune de Zermatt. Durant cette période, le centre de ses intérêts se localisait encore à Valeyres-sous-Montagny (VD). En effet, pour la cour cantonale, un actionnaire majoritaire, qui envisage de vendre sa participation dans l'entreprise dont il est le directeur, ne saurait se borner à piloter celle-ci de loin, en laissant une bonne partie du soin des affaires à des subordonnés et à sa femme, avec laquelle il ne s'entend pas. En outre, ses enfants majeurs et sa fille mineure sont hors du Valais, et il ne serait pas établi que ses liens avec eux soient distendus. Selon la cour cantonale, plusieurs indices confirment que le recourant n'a pas transféré son domicile effectif à Zermatt. Dans une procédure de mainlevée devant le Juge de paix d'Yverdon, le recourant a signé une procuration dans le courant du mois de mars 2009 situant son domicile à Valeyres-sous-Montagny. Lors de cette même procédure, en juin 2009, il n'a pas indiqué au juge son changement d'adresse. Enfin, la décision du 2 mars 2009 a été notifiée au recourant à Valeyres-sous-Montagny, et celui-ci ne s'est pas plaint d'une erreur d'adressage.
2.4 Italien d'origine, le recourant était au bénéfice d'une autorisation d'établissement (permis C), délivrée par le canton de Vaud. Pour s'établir dans le canton du Valais, il devait obtenir une autorisation d'établissement pour changer de canton. Le 4 août 2008, il a donc déposé une requête en ce sens auprès du Bureau des étrangers de la commune de Zermatt. Après avoir reçu un préavis négatif en décembre 2008, il s'est vu refusé l'autorisation de changement de canton le 21 avril 2009. En l'absence d'une autorisation de changement de canton, il ne pouvait habiter légalement à Zermatt. Les griefs de la cour cantonale relatifs au défaut de résidence effective à Zermatt ne sont donc pas pertinents.
Pour le surplus, désireux de prendre une retraite anticipée, le recourant a entrepris des démarches pour vendre son entreprise, Y._ SA. Il a ainsi « mandaté une société pour la transmission et la cession du capital à un nouveau repreneur ». Pour la période précédent le transfert, il a nommé un directeur assistant et sa femme, administratrice de la société, disposait de la signature individuelle. En conséquence, on peut admettre - contrairement à la cour cantonale - que sa présence sur place n'était plus nécessaire et qu'il pouvait diriger son entreprise depuis son chalet de Zermatt. En ce qui concerne la famille, le recourant soutient être séparé de fait d'avec sa femme. En tout état de cause, chaque conjoint a le droit d'avoir son propre domicile sans être nécessairement séparé de fait et ce, pour autant que la constitution de domiciles séparés repose sur des motifs plausibles et que la stabilité du mariage ne soit manifestement pas en cause (<ref-ruling>). Compte tenu de l'âge des enfants (nés respectivement en 1986, 1988 et 1992), on ne saurait subordonner son intention de s'installer au Valais à la distension de ses liens d'avec eux comme le fait la cour cantonale. Au vu de ces éléments, on peut admettre que le recourant a montré sa volonté de déplacer son domicile effectif à Zermatt, du moins à partir du 4 août 2008, date à laquelle il a déposé sa requête de changement de canton auprès du Bureau des étrangers de Zermatt.
En conclusion, si le recourant a objectivement violé l'art. 3 REZB en n'occupant pas son chalet de manière permanente en 2008 et 2009, aucune faute ne lui est imputable, puisqu'il ne pouvait résider légalement en Valais, mais qu'il a fait le nécessaire pour y déplacer son domicile, du moins à partir du 4 août 2008. En le condamnant pour infraction aux art. 3 et 12 REZB pour ne pas avoir résidé de manière permanente à Zermatt du 4 août 2008 jusqu'en 2009, la cour cantonale a donc appliqué le droit communal de manière arbitraire.
3. Le recours doit ainsi être admis, l'arrêt attaqué annulé et la cause renvoyée aux autorités cantonales pour nouvelle décision (<ref-law>).
Succombant, la commune de Zermatt versera une indemnité de dépens au recourant qui obtient gain de cause (art. 68 al. 1 et 2 LTF). Elle est dispensée de payer les frais judiciaires conformément à l'<ref-law>.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à la cour cantonale pour nouvelle décision.
2. Il n'est pas perçu de frais.
3. La commune de Zermatt versera au recourant la somme de 3'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et au Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais.
Lausanne, le 25 août 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Kistler Vianin