Faits: A. Par jugement du 11 novembre 2010, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a libéré X._ de l'accusation d'infraction à l'art. 28 de la loi fédérale du 16 décembre 1983 sur l'acquisition d'immeubles par des personnes à l'étranger (LFAIE; RS 211.412.41) et l'a condamné pour infraction à l'art. 29 LFAIE à cent huitante jours-amende, à 100 fr. le jour, peine complémentaire à celles prononcées les 14 octobre 2004 et 10 octobre 2008. Cette autorité a de plus renoncé à révoquer le délai d'épreuve fixé le 11 février 2002, a donné acte à A._, B._ et C._ de leurs réserves civiles et leur a alloué à chacun des dépens. B. Par arrêt du 25 janvier 2011, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours du condamné et confirmé le jugement de première instance. Cet arrêt se fonde en substance sur les faits suivants: B.a A._, B._ et C._, tous trois ressortissants britanniques, ont projeté d'acquérir à Leysin l'immeuble D._ constitué de plusieurs appartements. Ils avaient l'intention d'utiliser pour leurs vacances deux de ces logements. Vers le début de l'année 2003, ils se sont adressés à X._, qui officiait alors comme notaire, et lui ont fait part de leur dessein. B.b X._ leur a conseillé de constituer une société dont le but serait la location de logements de vacances. Par cette manoeuvre, il espérait faire passer l'immeuble pour un établissement stable au sens de l'art. 2 al. 2 let. a LFAIE, ce qui aurait eu pour conséquence de soustraire l'opération projetée à l'autorisation prévue par l'art. 2 al. 1 LFAIE. Le notaire a, le 14 février 2003, instrumenté l'acte constitutif de la société D._ SA dont les fondateurs étaient trois de ses employés de nationalité suisse, l'un d'entre eux étant en plus nommé administrateur unique. Les actions de la société étaient réparties entre A._, B._ et C._. D._ SA a été inscrite au registre du commerce le 10 mars 2003 avec pour but la location d'immeubles de vacances. B.c Par acte de vente du 23 mars 2003 instrumenté par X._, E._ et F._ ont vendu à D._ SA l'immeuble n° xxx de la commune de Leysin. L'acte indiquait que ce bien-fonds servirait d'établissement stable au sens de l'art. 2 al. 2 let. a LFAIE et précisait que l'opération n'était de ce fait pas soumise à l'autorisation de la Commission foncière compétente en matière d'acquisition d'immeubles par des personnes à l'étranger (ci-après : la Commission foncière). La réquisition de transfert immobilier adressée au registre foncier du district d'Aigle le 26 mars 2003 a été inscrite au journal par le conservateur mais est restée en suspens. B.d Par la suite, le notaire s'est rendu compte que seuls les immeubles affectés à la location de logements faisant partie d'un hôtel ou apparthôtel étaient considérés comme des établissements stables et qu'il fallait adapter en conséquence le but de la société pour obtenir le transfert au registre foncier. Le 16 juin 2003, l'assemblée générale des actionnaires de D._ SA a modifié le but de la société en exploitation hôtelière ou para-hôtelière de l'immeuble D._. Le conservateur du registre foncier a maintenu la réquisition de transfert immobilier en suspens, dans l'attente de renseignements relatifs au changement de destination de l'immeuble en hôtel. N'ayant finalement pas reçu ces informations, il a, le 29 décembre 2003, rejeté la réquisition au motif que faisait défaut une décision de la Commission foncière ou une attestation que la société était majoritairement en mains suisses. B.e Le même jour, le notaire a fourni la déclaration requise. Il y attestait avoir personnellement constaté que D._ SA était constituée à cent pour cent d'actionnaires suisses ou d'actionnaires étrangers au bénéfice d'un permis d'établissement. Le conservateur a inscrit le transfert de propriété de la parcelle n° xxx de Leysin en se fiant à l'attestation. B.f Durant les années qui ont suivi, l'immeuble a continué à être affecté au logement. Il n'y a eu aucune exploitation hôtelière et les ressortissants britanniques y ont passé occasionnellement leurs vacances. Par décision du 1er mai 2009, la Commission foncière a constaté que la constitution de la société D._ SA et l'acquisition par cette société de la parcelle n° xxx de la commune de Leysin étaient assujetties au régime de l'autorisation LFAIE et a refusé ladite autorisation. Elle a constaté d'office la nullité de l'acte constitutif de la société et de la vente de la parcelle. C. X._ forme un recours en matière pénale contre l'arrêt cantonal. Il conclut principalement à son acquittement et au rejet des conclusions civiles des parties avec suite de frais et dépens. A titre subsidiaire, il conclut à la réduction de sa peine à 10 jours-amende, à 50 fr. le jour, avec sursis, à ce qu'il ne soit pas alloué de dépens à A._, B._ et C._ et à ce que les frais de la cause soient partiellement mis à sa charge à hauteur de 4'000 francs. Encore plus subsidiairement, il demande l'annulation de l'arrêt attaqué et le renvoi de la cause à l'autorité cantonale pour nouveau jugement dans le sens des considérants. La cour cantonale s'est référée à son arrêt. Le Ministère public et les intimés ont conclu au rejet du recours.