Faits: A. X._, ressortissant italien né en 1953, a vécu en Suisse dès l'âge de vingt-six ans comme saisonnier puis, à la suite de son mariage, au bénéfice d'un permis de séjour puis d'établissement. Le 5 novembre 2003, le prénommé a été condamné par la Cour d'assises de Neuchâtel à une peine de onze ans de réclusion pour le meurtre de son épouse. Le 29 septembre 2008, le Service des migrations du canton de Neuchâtel a révoqué l'autorisation d'établissement de X._. B. Contre cette décision, X._ a recouru au Département de l'économie du canton de Neuchâtel (ci-après: le Département cantonal), qui l'a débouté le 10 juillet 2009. Comme l'autorité de première instance, le Département cantonal a fondé son jugement sur la gravité des infractions pénales, en complétant cette motivation par la mention d'autres poursuites pénales auxquelles l'accusé s'était exposé avant sa condamnation par la Cour d'assises, soit un rapport de police pour voies de fait et lésions corporelles et une amende pour lésions corporelles simples. Le 14 septembre 2009, X._ a porté sa cause devant le Tribunal administratif du canton de Neuchâtel (devenu entre-temps la Cour de droit public du Tribunal cantonal du canton de Neuchâtel; ci-après: le Tribunal cantonal), lequel a rejeté son recours par arrêt du 9 mars 2011. Le Tribunal cantonal s'est fondé en particulier sur l'art. 5 de l'annexe I de l'accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681), en mettant en évidence la nécessité de procéder à une appréciation rigoureuse du risque de récidive eu égard à l'importance du bien juridique menacé. Il s'est largement fondé sur l'expertise (à laquelle il sera fait référence dans la partie "Droit" ci-après en tant que nécessaire) réalisée en 2008 avant l'octroi de la libération conditionnelle. Le Tribunal cantonal a aussi relevé que X._, "après avoir épousé en décembre 2009 son amie brésilienne, selon une relation asymétrique du type même de celle qui est, selon les experts, susceptible de générer une situation dangereuse, [...] se refuse à admettre que son mode de pensée, dans ses rapports de couple, peut constituer un danger. Il rejette sur des circonstances extérieures le fait qu'il ait tué son épouse et refuse toute introspection pour tenter de déterminer ce qui, en lui, l'a poussé à l'acte, y compris dans le domaine réputé à risque de ses rapports sentimentaux [...]. La règle de conduite impartie pour sa libération conditionnelle qui lui imposait une thérapie de couple, préconisée par le Service pénitentiaire, commission de dangerosité, dans un rapport du 21 août 2009, n'a été suivie qu'après son mariage, en décembre 2009, et le 17 mai 2010, il a demandé qu'elle soit modifiée pour ne plus devoir se pencher sur les circonstances de son acte en présence de son épouse". C. Par écriture parvenue au Tribunal fédéral le 12 avril 2011, X._ forme un recours en matière de droit public. Il conclut préalablement à l'octroi de l'effet suspensif, lequel a été prononcé par le Président de la IIe Cour de droit public le 13 avril 2011. Sur le fond, il conclut à l'annulation de l'arrêt du Tribunal cantonal et, implicitement, au maintien de son autorisation d'établissement, le tout sous suite de frais et dépens. Le Département cantonal et le Tribunal cantonal ont renoncé à formuler des observations sur le recours. L'Office fédéral des migrations a conclu à son rejet.