Faits:
A. Par jugement du 11 novembre 2010, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a libéré X._ de l'accusation d'infraction à l'art. 28 de la loi fédérale du 16 décembre 1983 sur l'acquisition d'immeubles par des personnes à l'étranger (LFAIE; RS 211.412.41) et l'a condamné pour infraction à l'<ref-law> à cent huitante jours-amende, à 100 fr. le jour, peine complémentaire à celles prononcées les 14 octobre 2004 et 10 octobre 2008. Cette autorité a de plus renoncé à révoquer le délai d'épreuve fixé le 11 février 2002, a donné acte à A._, B._ et C._ de leurs réserves civiles et leur a alloué à chacun des dépens.
B. Par arrêt du 25 janvier 2011, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours du condamné et confirmé le jugement de première instance.
Cet arrêt se fonde en substance sur les faits suivants:
B.a A._, B._ et C._, tous trois ressortissants britanniques, ont projeté d'acquérir à Leysin l'immeuble D._ constitué de plusieurs appartements. Ils avaient l'intention d'utiliser pour leurs vacances deux de ces logements.
Vers le début de l'année 2003, ils se sont adressés à X._, qui officiait alors comme notaire, et lui ont fait part de leur dessein.
B.b X._ leur a conseillé de constituer une société dont le but serait la location de logements de vacances. Par cette manoeuvre, il espérait faire passer l'immeuble pour un établissement stable au sens de l'<ref-law>, ce qui aurait eu pour conséquence de soustraire l'opération projetée à l'autorisation prévue par l'<ref-law>.
Le notaire a, le 14 février 2003, instrumenté l'acte constitutif de la société D._ SA dont les fondateurs étaient trois de ses employés de nationalité suisse, l'un d'entre eux étant en plus nommé administrateur unique. Les actions de la société étaient réparties entre A._, B._ et C._.
D._ SA a été inscrite au registre du commerce le 10 mars 2003 avec pour but la location d'immeubles de vacances.
B.c Par acte de vente du 23 mars 2003 instrumenté par X._, E._ et F._ ont vendu à D._ SA l'immeuble n° xxx de la commune de Leysin. L'acte indiquait que ce bien-fonds servirait d'établissement stable au sens de l'<ref-law> et précisait que l'opération n'était de ce fait pas soumise à l'autorisation de la Commission foncière compétente en matière d'acquisition d'immeubles par des personnes à l'étranger (ci-après : la Commission foncière).
La réquisition de transfert immobilier adressée au registre foncier du district d'Aigle le 26 mars 2003 a été inscrite au journal par le conservateur mais est restée en suspens.
B.d Par la suite, le notaire s'est rendu compte que seuls les immeubles affectés à la location de logements faisant partie d'un hôtel ou apparthôtel étaient considérés comme des établissements stables et qu'il fallait adapter en conséquence le but de la société pour obtenir le transfert au registre foncier.
Le 16 juin 2003, l'assemblée générale des actionnaires de D._ SA a modifié le but de la société en exploitation hôtelière ou para-hôtelière de l'immeuble D._.
Le conservateur du registre foncier a maintenu la réquisition de transfert immobilier en suspens, dans l'attente de renseignements relatifs au changement de destination de l'immeuble en hôtel. N'ayant finalement pas reçu ces informations, il a, le 29 décembre 2003, rejeté la réquisition au motif que faisait défaut une décision de la Commission foncière ou une attestation que la société était majoritairement en mains suisses.
B.e Le même jour, le notaire a fourni la déclaration requise. Il y attestait avoir personnellement constaté que D._ SA était constituée à cent pour cent d'actionnaires suisses ou d'actionnaires étrangers au bénéfice d'un permis d'établissement.
Le conservateur a inscrit le transfert de propriété de la parcelle n° xxx de Leysin en se fiant à l'attestation.
B.f Durant les années qui ont suivi, l'immeuble a continué à être affecté au logement. Il n'y a eu aucune exploitation hôtelière et les ressortissants britanniques y ont passé occasionnellement leurs vacances.
Par décision du 1er mai 2009, la Commission foncière a constaté que la constitution de la société D._ SA et l'acquisition par cette société de la parcelle n° xxx de la commune de Leysin étaient assujetties au régime de l'autorisation LFAIE et a refusé ladite autorisation. Elle a constaté d'office la nullité de l'acte constitutif de la société et de la vente de la parcelle.
C. X._ forme un recours en matière pénale contre l'arrêt cantonal. Il conclut principalement à son acquittement et au rejet des conclusions civiles des parties avec suite de frais et dépens. A titre subsidiaire, il conclut à la réduction de sa peine à 10 jours-amende, à 50 fr. le jour, avec sursis, à ce qu'il ne soit pas alloué de dépens à A._, B._ et C._ et à ce que les frais de la cause soient partiellement mis à sa charge à hauteur de 4'000 francs. Encore plus subsidiairement, il demande l'annulation de l'arrêt attaqué et le renvoi de la cause à l'autorité cantonale pour nouveau jugement dans le sens des considérants.
La cour cantonale s'est référée à son arrêt. Le Ministère public et les intimés ont conclu au rejet du recours.

Considérant en droit:
1. Sous l'angle du droit d'être entendu, le recourant se plaint de n'avoir pas été confronté à A._ et C._, malgré sa demande. Il y voit une violation des art. 29 al. 2 Cst. et 6 par. 3 let. d CEDH.
1.1 Conformément à l'art. 6 par. 3 let. d CEDH, tout accusé a le droit d'interroger ou de faire interroger les témoins à charge. Ce droit ne s'applique pas seulement s'agissant de témoins au sens strict du terme, mais à l'encontre de toute personne qui fait des déclarations à charge, indépendamment de son rôle dans le procès. Il s'agit d'un des aspects du droit à un procès équitable institué à l'art. 6 par. 1 CEDH. Cette garantie exclut qu'un jugement pénal soit fondé sur les déclarations de témoins sans qu'une occasion appropriée et suffisante soit au moins une fois offerte au prévenu de mettre ces témoignages en doute et d'interroger les témoins (<ref-ruling> consid. 2.2 p. 480; <ref-ruling> consid. 3.1 p. 153 et les références citées). Ce droit n'est toutefois absolu que lorsque le témoignage litigieux est déterminant, soit lorsqu'il constitue la seule preuve ou pour le moins une preuve essentielle (<ref-ruling> consid. 2.2 p. 481; <ref-ruling> consid. 3.1 p. 154 et les arrêts cités).
Le droit à la confrontation implique que la déclaration mette en cause le prévenu et que le tribunal l'utilise comme motif de son jugement. Il importe peu que la déclaration constitue uniquement un indice. Chaque indice, qu'il soit considéré individuellement ou globalement avec d'autres indices, est susceptible d'avoir une incidence en défaveur du prévenu et de jouer ainsi un rôle décisif du point de vue de la culpabilité (arrêt 6B_708/2007 du 23 avril 2008 consid. 4.4.3).
Les éléments de preuve doivent en principe être produits en présence de l'accusé lors d'une audience publique, en vue d'un débat contradictoire (<ref-ruling> consid. 6b p. 132). Il n'est toutefois pas exclu de prendre en compte des dépositions recueillies durant la phase de l'enquête, pour autant que l'accusé ait disposé d'une occasion adéquate et suffisante de contester ces témoignages à charge et d'en interroger ou d'en faire interroger les auteurs (<ref-ruling> consid. 6b p. 132 s. et les arrêts cités). L'accusé ne peut en principe exercer qu'une seule fois le droit d'interroger ou de faire interroger les témoins à charge (<ref-ruling> consid. 6c/ee p. 136 et les arrêts cités).
Exceptionnellement, le juge peut prendre en considération une déposition faite au cours de l'enquête alors que l'accusé n'a pas eu l'occasion d'en faire interroger l'auteur, en particulier s'il n'est plus possible de faire procéder à une audition contradictoire en raison du décès ou d'un empêchement durable du témoin (<ref-ruling> consid. 6c/dd p. 136; <ref-ruling> consid. 3b p. 397; TOMAS POLEDNA, Praxis zur Europäischen Menschenrechtskonvention (EMRK) aus Schweizerischer Sicht, 1993, n° 696 p. 166). S'il n'est pas possible d'organiser une confrontation avec les témoins à charge, l'accusé doit avoir la possibilité de faire poser par écrit des questions complémentaires à ces témoins (<ref-ruling> consid. 5b p. 286; <ref-ruling> consid. 5a/aa p. 469 et les arrêts cités). Tel est en particulier le cas lorsque ceux-ci se trouvent à l'étranger et qu'ils ne peuvent être entendus que par le biais d'une commission rogatoire (<ref-ruling> consid. 6c/ee p. 137; <ref-ruling> consid. 5a/bb p. 470 et les arrêts cités).
Dans sa jurisprudence, la Cour européenne des droits de l'homme s'emploie à rechercher si la procédure examinée dans son ensemble, y compris le mode de présentation des moyens de preuve, revêt un caractère équitable (cf. arrêt de la CourEDH Teixeira de Castro contre Portugal du 9 juin 1998 § 34).
1.2 Dans le cas particulier, les juges précédents n'ont pas fondé leur verdict de culpabilité sur les déclarations de C._, qui n'a pas été entendu en procédure. Le recourant ne saurait invoquer une violation de son droit à la confrontation pour ce qui le concerne.
1.3 En revanche, aussi bien le jugement de première instance (p. 22 ss) que l'arrêt attaqué (p. 5 dernier §, 10-11, 13, 15 in fine, 16, 22, 23 let. b, 28 in initio) discutent et se fondent dans une large mesure sur les déclarations orales de A._ lors de l'instruction non contradictoire et sur ses notes écrites versées au dossier. Les déclarations de celui-ci ont en particulier permis d'opposer au recourant qu'il savait dès l'origine que les intimés entendaient occuper l'immeuble pour leurs vacances en famille et qu'ils n'avaient pas l'intention d'y exploiter un hôtel, ce qui assujettissait l'opération immobilière projetée à une autorisation LFAIE.
Selon le jugement de première instance (p. 22 in fine) et l'arrêt attaqué (p. 22 et 27), les déclarations de A._ seraient corroborées par celles des vendeurs de l'immeuble. Le recourant le conteste. Il ressort des déclarations des vendeurs lors de l'instruction (procès-verbaux d'audition nos 3 et 4) que ceux-ci ont simplement déclaré avoir entendu dire par le courtier qu'un usage personnel des acheteurs était envisagé et qu'il n'y avait pas eu de confidences lors de la séance chez le notaire (ndlr: le recourant). Les seules déclarations des vendeurs, qui n'ont rien constaté par eux-mêmes quant à ce que savait ou non le recourant, apparaissent ainsi insuffisantes à établir, sans arbitraire, que celui-ci savait que les intimés avaient l'intention d'utiliser personnellement l'immeuble. La critique du recourant à cet égard est fondée. Les déclarations des vendeurs constituent tout au plus un indice. On ne se trouve par conséquent pas dans une situation où un autre élément de preuve incontestable serait à lui seul suffisant et permettrait ainsi de renoncer à la contradiction pour ce qui concerne les déclarations de A._.
La cour cantonale a certes nié que la connaissance par le recourant des intentions des intimés quant à leur usage personnel de l'immeuble ait constitué un fait important de l'accusation au regard de l'infraction reprochée. En effet, selon la cour, l'<ref-law> réprime la fourniture inexacte d'information à l'autorité compétente et seule est déterminante la question de savoir si le recourant a menti au conservateur du registre foncier en adressant l'attestation du 29 décembre 2003 (cf. arrêt attaqué, p. 11, 25 § 3, 33 ch. 15 let. a). Ce nonobstant, l'arrêt attaqué suscite à cet égard une certaine confusion. Il consacre de nombreuses pages de sa motivation à dire sous divers angles pourquoi il n'était pas critiquable de prendre en compte les déclarations de A._ relativement à la connaissance par le recourant des intentions des intimés. Or, si la cour cantonale estimait le fait litigieux non pertinent, un bref considérant rassemblant les différents griefs du recourant et les rejetant pour ce motif aurait suffi. La solution de la cour cantonale revient à confirmer l'approche des juges de première instance et leur appréciation des preuves. Ceux-ci ont expressément relevé qu'ils considéraient comme "décisive" la connaissance par le recourant de l'intention des intimés (jugement p. 23 in initio; arrêt attaqué p. 22).
Il ressort du jugement de première instance (p. 22 à 25) que les juges ont opposé au recourant sa connaissance de l'intention des intimés de pouvoir personnellement utiliser l'immeuble - circonstance qualifiée de décisive -, que le recourant savait ainsi que le projet n'était pas compatible avec la LFAIE, que son montage premier de faire passer l'immeuble pour un établissement stable au sens de l'<ref-law> avait échoué et que sachant que l'immeuble ne pouvait sinon être transféré, il avait intentionnellement déclaré faussement le 29 décembre 2003 que l'actionnariat de la société était majoritairement en mains suisses. On déduit ainsi de l'approche suivie par les premiers juges, quoique sinueuse, que la connaissance initiale par le recourant de l'intention des intimés est l'un des éléments pris en considération pour conclure que l'élément subjectif de l'infraction réprimée par l'<ref-law> était réalisé. Autrement dit, la connaissance par le recourant de ce que souhaitait les intimés est un facteur qui, parmi d'autres, a été pris en compte pour déterminer si le recourant avait agi intentionnellement en signant l'attestation le 29 décembre 2003. La cour cantonale ne s'est pas distanciée de cette approche.
La connaissance par l'accusé des intentions des intimés constitue dès lors un indice important de l'accusation puisque les autorités cantonales en ont déduit, entre autres éléments, que c'est intentionnellement que le recourant avait fourni au conservateur du registre foncier de fausses indications. Dès lors que les autorités cantonales ont utilisé cet indice en défaveur du recourant, il leur incombait d'assurer la contradiction aussi avec A._ (cf. arrêt 6B_708/2007 du 23 avril 2008 consid. 4.4.3 précité).
Il reste encore à examiner si le recourant a renoncé à l'exercice de son droit à la confrontation (cf. <ref-ruling> consid. 5f p. 37 s.). Le juge d'instruction a auditionné A._, cette audition n'étant pas contradictoire, conformément à ce que prévoyait l'art. 198 al. 1 du code de procédure pénale vaudois du 12 septembre 1967 en vigueur jusqu'au 31 décembre 2010 (aCPP/VD), alors applicable. Après la clôture de l'instruction et le renvoi de la cause devant le Tribunal d'arrondissement de l'Est Vaudois, le recourant a demandé, comme le lui autorisait l'art. 320 aCPP/VD, l'audition des trois ressortissants britanniques. Cette requête a été admise et le tribunal a renvoyé l'audience pour permettre la réalisation de ces mesures d'instruction. Les trois intimés ont été convoqués à l'audience du 9 novembre 2010. Seul B._ s'est présenté. Le recourant a réitéré par voie incidente sa demande d'audition de A._ (jugement p. 12), que l'autorité de jugement a rejetée. Dans son recours devant l'autorité de cassation, le recourant s'est plaint de ce refus. Au vu de ses différentes démarches, il n'apparaît pas qu'il ait renoncé à la confrontation avec A._.
Il reste encore à examiner si le recourant a renoncé à l'exercice de son droit à la confrontation (cf. <ref-ruling> consid. 5f p. 37 s.). Le juge d'instruction a auditionné A._, cette audition n'étant pas contradictoire, conformément à ce que prévoyait l'art. 198 al. 1 du code de procédure pénale vaudois du 12 septembre 1967 en vigueur jusqu'au 31 décembre 2010 (aCPP/VD), alors applicable. Après la clôture de l'instruction et le renvoi de la cause devant le Tribunal d'arrondissement de l'Est Vaudois, le recourant a demandé, comme le lui autorisait l'art. 320 aCPP/VD, l'audition des trois ressortissants britanniques. Cette requête a été admise et le tribunal a renvoyé l'audience pour permettre la réalisation de ces mesures d'instruction. Les trois intimés ont été convoqués à l'audience du 9 novembre 2010. Seul B._ s'est présenté. Le recourant a réitéré par voie incidente sa demande d'audition de A._ (jugement p. 12), que l'autorité de jugement a rejetée. Dans son recours devant l'autorité de cassation, le recourant s'est plaint de ce refus. Au vu de ses différentes démarches, il n'apparaît pas qu'il ait renoncé à la confrontation avec A._.
1.4 Le recours doit être admis sans qu'il soit nécessaire d'examiner les griefs d'arbitraire dans l'établissement des faits et de violation des art. 42, 47 et 49 CP. L'arrêt attaqué est annulé et la cause est renvoyée en instance cantonale. Il appartiendra à l'autorité cantonale de prendre les mesures propres à assurer la présence de A._ à l'audience et, si celui-ci se trouve à l'étranger, à tout le moins de tenter de le faire entendre dans le cadre d'une commission rogatoire, le droit du recourant de poser des questions devant être garanti.
2. Vu le sort du recours, les frais judiciaires sont mis pour moitié à la charge des intimés, solidairement entre eux, le canton de Vaud n'ayant pas à en supporter (art. 66 al. 1 et 4 LTF). Le recourant peut prétendre à une indemnité de dépens, à la charge pour moitié chacun d'une part du canton de Vaud, d'autre part des intimés, solidairement entre eux (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et l'arrêt rendu le 25 janvier 2011 est annulé. La cause est renvoyée à l'autorité cantonale pour nouvelle décision au sens des considérants.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des intimés A._, B._ et C._, solidairement entre eux.
3. Une indemnité de 3'000 fr., à payer au recourant à titre de dépens, est mise pour moitié à la charge du canton de Vaud et pour moitié à la charge des intimés A._, B._ et C._, solidairement entre eux.
4. Le présent arrêt est communiqué aux parties et à la Cour de cassation du canton de Vaud.
Lausanne, le 27 décembre 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod