Faits: A. Par décision du 2 mars 2009, le Conseil communal de Zermatt a prononcé contre X._, ressortissant italien, né le 11 janvier 1955, une amende de 18'750 fr. pour contravention aux art. 3 et 12 du règlement communal sur la construction de résidences principales et de résidences secondaires (Reglement über den Erst- und Zweitwohnungsbau ; ci-après : REZB). En bref, les autorités communales lui reprochent de ne pas avoir utilisé le chalet qu'il a acquis à Zermatt en 2007 comme résidence principale au sens de l'art. 3 REZB, alors que l'acte de vente précise que ce bâtiment est une résidence principale au sens de cette disposition et que cette affectation est mentionnée comme charge au registre foncier. Le 7 janvier 2008, les autorités communales ont invité X._ à rétablir une situation conforme au droit jusqu'au 15 février 2008 ; ce délai a été prolongé à plusieurs reprises, un ultime délai étant fixé au 9 mai 2008. Le 21 mai 2008, le Conseil communal de Zermatt avait déjà infligé à X._ une amende de 18'750 fr. pour violation des art. 3 et 12 REZB pour ne pas avoir occupé, en 2007, son chalet de manière permanente. Ce prononcé d'amende est entré en force. Ressortissant italien, X._ est au bénéfice d'une autorisation d'établissement (permis C). Le 4 août 2008, il a requis une autorisation d'établissement auprès du Bureau des étrangers de la commune de Zermatt pour s'établir dans le canton du Valais. Par décision du 21 avril 2009, le Service de la population et des migrations de ce canton (ci-après : SPM) a rejeté sa requête conformément à l'art. 37 al. 3 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr ; RS 142.20), au motif qu'il n'avait pas déplacé son centre d'intérêt en Valais. Le 22 mai 2009, X._ a recouru contre cette décision devant le Conseil d'Etat valaisan. Le 10 juin 2009, le Conseil communal de Zermatt a confirmé, à la suite de la réclamation de X._, son prononcé d'amende du 2 mars 2009. B. Par arrêt du 18 août 2010, la Cour de droit public du Tribunal cantonal valaisan a partiellement admis l'appel interjeté par X._ et réduit l'amende de 18'750 fr. à 5'000 fr. C. Contre ce dernier arrêt, X._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut à l'annulation de l'arrêt attaqué, dénonçant une violation de la présomption d'innocence et l'arbitraire dans l'application des art. 3 et 12 du règlement communal sur les résidences principales et secondaires. La commune de Zermatt conclut au rejet du recours. D. Le 17 novembre 2010, X._ a produit une copie de l'arrêt du 10 novembre 2010 du Conseil d'Etat valaisan statuant sur la décision du 21 avril 2009 du Service de la population et des migrations, lui refusant le droit de s'établir en Valais. Le Tribunal fédéral ne peut tenir compte de cette pièce nouvelle conformément à l'art. 99 al. 1 LTF.