Faits:
A. Le 12 mars 2001, X._, ressortissant géorgien, domicilié à l'étranger, a requis de la Commission foncière, Section II, du canton de Vaud, (ci-après: la Commission foncière) l'autorisation d'acquérir la parcelle n° 3698 du cadastre de la commune de A._, d'une surface de 1'001 m2. Il projetait d'y bâtir une villa d'un étage sur rez, avec sous-sol habitable, à l'exception de la buanderie-chaufferie, d'une surface totale de 215,5 m2, qui serait affectée à un logement de vacances.
Par décision du 23 mars 2001, la Commission foncière a rejeté la requête au motif que la surface habitable de la villa projetée atteignait plus du double de la surface maximale autorisée.
B. Le 22 mai 2001, X._ a promis-cédé à ses deux filles Y._ et Z._, nées le 31 janvier 1978, une part de 56% de la parcelle n° 3698. Le même jour, la Commission foncière a été saisie de deux requêtes distinctes visant à l'acquisition de la parcelle n° 3698 en copropriété afin d'y construire une villa de deux appartements de vacances : d'une part, celle de X._ pour le lot n° 2, d'une surface de 123,62 m2 et, d'autre part, celle de Y._ et Z._ pour le lot n° 1, d'une surface de 156,08 m2.
Le 27 juillet 2001, la Commission foncière a délivré les autorisations requises, en les assortissant en particulier de la charge suivante:
"Obligation de constituer la propriété par étages envisagée, en deux lots de 56/100 et 44/100, l'acte de constitution de PPE devant être produit (...) avant le 31.12.2002".
Le 8 octobre 2001, la Commission foncière a été saisie d'une requête d'approbation des plans de la villa, établis le 21 septembre 2001. Cette autorité a constaté que les plans présentaient des modifications importantes par rapport au projet initial en ce qui concernait la répartition des locaux : la surface du lot n° 1 était ainsi portée à 157 m2 et celle du lot n° 2 ramenée à 93,35 m2, mais les deux appartements demeuraient distincts, sans communication interne, et chacun était doté de son propre accès, l'un au niveau du rez-de-chaussée, l'autre au premier étage. Le sous-sol, sans communication directe avec les appartements, avait aussi son propre accès, par l'extérieur; il comprenait les parties communes aux deux lots: buanderie, chauffage, douche, sauna, jacuzzi et salle de gymnastique.
Par décision du 18 octobre 2001, la Commission foncière a approuvé les plans et maintenu les autorisations délivrées le 27 juillet 2001 pour le surplus.
Les plans déposés lors de la mise à l'enquête publique du 16 octobre au 5 novembre 2001 divergeaient de ceux approuvés par la Commission foncière en ce sens que le hall d'entrée du lot n° 1 a été agrandi vers l'extérieur, au détriment de l'entrée indépendante du sous-sol qui communiquait dès lors directement avec l'appartement n° 1. Le 13 décembre 2001, la Municipalité de A._ a délivré le permis de construire sur la base de ces plans.
La propriété par étages a été constituée le 14 juin 2002. Les plans annexés à l'acte constitutif et déposés au Registre foncier correspondaient à ceux approuvés le 18 octobre 2001 par la Commission foncière. X._ détenait une part de 44% et une part de 28% était attribuée à chacune des filles Y._ et Z._.
La construction de la villa a été achevée en août 2002 et la Municipalité de A._ a délivré le permis d'habiter le 23 juin 2005, tout en constatant que les deux appartements étaient reliés entre eux .
C. A la suite d'une perquisition effectuée dans la villa le 20 juin 2008, l'Office fédéral de la police a constaté que celle-ci ne comprenait qu'un seul logement, sans séparation particulière. Les plans saisis, mis à jour le 20 janvier 2005, montraient aussi que le mur séparant les deux appartements au premier étage avait été percé d'une porte de communication. Il est apparu également que les parties communes au sous-sol étaient accessibles depuis le rez-de-chaussée, soit depuis le lot 1 et que, depuis le lot 2, on ne pouvait y accéder qu'en empruntant la porte communicante au premier étage et en passant par le lot 1.
La Commission foncière a été saisie d'une demande de révocation des autorisations du 27 juillet 2001 par le Département de l'économie de l'Etat de Vaud. Elle a procédé à une inspection locale, le 4 septembre 2009, et constaté que la construction était conforme aux plans modifiés au 20 janvier 2005.
Par décision prise dans sa séance du 18 septembre 2009 et notifiée le 2 octobre 2009, la Commission foncière a renoncé à révoquer les autorisations du 27 juillet 2001 (ch. 1). Elle a toutefois constaté que les plans déposés au Registre foncier ne correspondaient pas à la construction réalisée (ch. 2) et a dès lors ordonné aux copropriétaires, d'ici au 31 mai 2010, de (ch. 3 et 4):
"- canceler définitivement la porte de communication existant au premier étage entre les deux lots mentionnés sous chiffre 2, la porte en cause devant être supprimée et son ouverture totalement bouchée;
- fermer l'accès du lot n° 1 au sous-sol par une porte d'entrée usuelle, soit pouvant être fermée à clef, afin d'individualiser ce lot par rapport aux parties communes;
- créer un accès propre du lot 2 aux parties communes sises au sous-sol, par exemple par la construction d'un escalier extérieur à l'est du bâtiment, sorte de pendant de l'escalier existant à l'ouest et desservant le lot 1."
Il était également demandé aux intéressés de présenter à la Commission foncière les plans intégrant les travaux ordonnés "pour approbation par une nouvelle décision et ce de telle façon que le délai au 31 mai 2010 puisse être respecté" (ch. 5), de produire une attestation de la Municipalité de A._ confirmant la réalisation des travaux conformément aux plans approuvés, d'ici au 30 juin 2010 (ch. 6), enfin, de produire au Registre foncier les plans ainsi approuvés dans un délai au 31 août 2010 (ch. 7).
X._, ainsi que Y._ et Z._, ont recouru contre cette décision auprès du Tribunal cantonal vaudois (Cour de droit administratif et public) et ont conclu principalement à l'annulation des mesures ordonnées.
D. Par arrêt du 29 avril 2011, le Tribunal cantonal a rejeté le recours et confirmé la décision de la Commission foncière du 2 octobre 2009. Les juges cantonaux ont tout d'abord retenu que la procédure écrite était suffisante pour examiner les griefs soulevés soit, principalement, la violation du principe de la bonne foi. Ils ont ensuite estimé que ce grief était mal fondé dans la mesure où l'autorité intimée n'avait pas eu connaissance des modifications des plans opérées par les recourants, ni du permis d'habiter délivré par la Municipalité de A._ le 23 juin 2005. Le manque de coordination entre la procédure d'autorisation d'acquérir un logement de vacances et la procédure de permis de construire n'avait au demeurant pas pour effet de lever les conditions posées par la Commission foncière et les arguments tirés des règles de la propriété par étages étaient sans pertinence, dès lors que les mesures ordonnées étaient proportionnées et tendaient uniquement à remédier à une violation de la loi fédérale sur l'acquisition d'immeubles par des personnes à l'étranger du 16 décembre 1983 (LFAIE; RS 211.412.41). Le Tribunal cantonal a enfin relevé que la décision attaquée devait être considérée comme une mise en demeure dont le non-respect pourrait alors entraîner une révocation.
E. X._, ainsi que Y._ et Z._, forment un recours en matière de droit public auprès du Tribunal fédéral et concluent, avec suite de frais et dépens, principalement à la réformation de l'arrêt du Tribunal cantonal du 29 avril, en ce sens qu'aucune mesure ne leur est ordonnée et, subsidiairement à l'annulation dudit arrêt, la cause étant renvoyée à l'autorité intimée pour nouvelle décision dans le sens des considérants.
Le Tribunal cantonal a renoncé à se déterminer. La Commission foncière a déposé des déterminations au terme desquelles elle conclut au rejet du recours. Les recourants ont répliqué et ont maintenu leur conclusions. L'Office fédéral de la justice se réfère à l'arrêt attaqué et propose de rejeter le recours.
F. Par ordonnance présidentielle du 29 juin 2011, l'effet suspensif a été accordé au recours.
Considérant en droit:
1. L'arrêt attaqué est une décision finale (art. 90 LTF), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (art. 82 let. a LTF) ne tombant pas sous le coup des exceptions de l'art. 83 LTF. La voie du recours en matière de droit public est donc en principe ouverte. Déposé en temps utile (art. 100 al. 1 LTF) et dans les formes prescrites (art. 42 LTF) par les destinataires de l'acte attaqué qui ont un intérêt digne de protection à son annulation ou à sa modification (art. 89 al. 1 LTF), le présent recours est recevable comme recours en matière de droit public.
2. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), alors qu'il n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant conformément au principe d'allégation (art. 106 al. 2 LTF). En outre, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il peut cependant rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF; cf. aussi art. 97 al. 1 LTF). Par ailleurs, l'art. 99 al. 1 LTF dispose qu'aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision entreprise.
3. Les recourants reprochent à la Cour cantonale d'avoir violé le droit fédéral en ne tenant pas compte du droit de la propriété par étages, alors qu'ils ont respecté la charge imposée par la Commission foncière dans ses décisions d'acquérir du 27 juillet 2001, soit l'obligation de constituer une propriété par étages.
3.1 Il faut tout d'abord rappeler que les recourants étant de nationalité géorgienne et domiciliés à l'étranger, ils sont, à ce titre, soumis au régime de l'autorisation prévu par la loi fédérale sur l'acquisition d'immeubles par des personnes à l'étranger (cf. art. 2 al. 1 et 5 al. 1 let. abis LFAIE), de sorte qu'ils ne sauraient se prévaloir des règles de la propriété par étages pour échapper aux obligations que leur impose cette loi. Par ailleurs, le litige ne porte pas sur la charge prévue dans les décisions d'autorisation d'acquérir délivrées le 27 juillet 2001, qui obligeaient les recourants de constituer une propriété par étages, mais uniquement sur les charges imposées par la nouvelle décision de la Commission foncière du 2 octobre 2009. Il y a donc lieu d'examiner les motifs à l'origine de cette décision, provoquée par la façon dont la procédure s'est déroulée depuis 2001.
3.2 A l'origine, le recourant n'avait pas obtenu l'autorisation d'acquérir pour son premier projet de bâtir une villa, sur la parcelle n° 3698 du cadastre de la commune de A._, parce que la surface habitable était largement supérieure à la limite des 100 m2 requise en règle générale pour une résidence secondaire, tel que le prescrivait l'art. 10 al. 2 de l'ordonnance du 1er octobre 1984 sur l'acquisition d'immeubles par des personnes à l'étranger, dans sa version au 10 septembre 1997, en vigueur jusqu' 30 juin 2003 (OAIE; RO 1997 p. 2122 ss). Il a alors cédé une partie de l'immeuble à ses filles pour créer deux lots distincts, ce qui a permis aux intéressés d'obtenir les autorisations d'acquérir, sous réserve de constituer une propriété par étages. Celle-ci a été créée le 14 juin 2002; les plans annexés à l'acte constitutif et remis au registre foncier correspondaient bien à ceux approuvés par la Commission foncière le 18 octobre 2001. En réalité, le problème vient du fait que, déjà lors de la mise à l'enquête publique de la villa projetée, les recourants n'ont pas respecté les plans, établis le 21 septembre 2001 et approuvés par la Commission foncière le 18 octobre 2001, qui prévoyaient la constitution de deux lots distincts de 157 m2 et 93,35 m2, sans communication interne entre les deux appartements et comprenant un accès propre pour les locaux communs par l'extérieur. Ils ont en effet déposé des plans où le sous-sol communiquait directement avec le lot 1 puis, au vu des plans mis à jour en janvier 2005 et découverts au hasard d'une enquête pénale, de créer une porte de communication entre les deux appartements. Les charges imposées aux recourants par l'autorité intimée ne visent donc qu'à rétablir un état des lieux conforme aux plans initiaux et approuvés par la Commission foncière. Les recourants n'ont d'ailleurs jamais remis en cause la décision d'approbation du 18 octobre 2001. Ils ont ainsi choisi de s'en écarter en toute connaissance de cause, plutôt que de risquer de ne pas obtenir de la Commission foncière une nouvelle décision approuvant les modifications projetées. Il faut en effet rappeler que l'obligation de créer une copropriété de deux lots distincts avait été instituée précisément pour que les autorisations d'acquérir délivrées soient conformes à la LFAIE et que toute tentative de vouloir réunir les deux appartements et de supprimer l'accès propre aux locaux communs constitue une violation de cette loi. Les arguments des recourants justifiant la communication entre les deux lots par des règles de copropriété sont dès lors sans pertinence.
Compte tenu de ces circonstances, les autorisations d'acquérir auraient aussi pu être révoquées, de sorte que les charges imposées aux recourants pour rétablir une situation conforme au droit sont tout à fait proportionnées.
3.3 Il s'ensuit que le Tribunal cantonal n'a pas violé le droit fédéral en jugeant la décision de la Commission foncière conforme à la LFAIE, sans tenir compte du droit de la propriété par étages.
4. Les recourants se plaignent aussi d'une violation du droit fédéral en raison de l'absence de coordination entre la législation sur l'aménagement du territoire et celle sur l'acquisition d'immeubles par des personnes à l'étranger. Sans se prévaloir expressément du principe de la bonne foi, comme devant l'instance précédente, ils prétendent qu'ils se sont fiés au permis d'habiter de la Commune de A._, qui indique bien deux appartements avec deux entrées séparées, mais avec la possibilité de passer de l'un à l'autre.
4.1 L'autorité de première instance chargée de statuer sur l'assujettissement au régime de l'autorisation, sur l'octroi de l'autorisation, ainsi que la révocation d'une autorisation ou d'une charge au sens de l'art. 15 al. 1 let. a LFAIE est, dans le canton de Vaud, la Commission foncière, section II (cf. art. 6 de la loi d'application de la loi fédérale du 16 décembre 1983 sur l'acquisition d'immeubles par des personnes à l'étranger du 19 novembre1986: LVLFAIE; RSVD 211.51). Quant au permis d'habiter, il est du ressort de la municipalité, qui ne peut le délivrer que si les conditions fixées par le permis de construire ont été respectées et si l'exécution des travaux correspond aux plans mis à l'enquête (cf. art. 128 al. 1 de la loi vaudoise sur l'aménagement du territoire et les constructions du 4 décembre 1985: LATC; RSVD 700.11). Il s'agit donc de deux autorités distinctes qui ont des tâches différentes et n'ont pas une obligation légale de se communiquer leurs décisions respectives. La première doit en effet examiner si les futurs acquéreurs assujettis à la LFAIF et leur projet remplissent les conditions pour obtenir l'autorisation d'acquérir. Quant à la seconde, elle est uniquement chargée de délivrer le permis d'habiter si l'exécution de l'immeuble en cause est conforme aux règles en matière de construction et aux plans mis à l'enquête. La décision d'accorder le permis d'habiter prise par la Municipalité de A._ ne saurait dès lors engager la Commission foncière, seule compétente pour pour délivrer ou révoquer des autorisations en matière d'acquisition d'immeubles par des personnes à l'étranger (cf. ATF 129 II 361 consid. 7.2 p. 381). A cela s'ajoute le fait que la Municipalité a été trompée par les plans déposés lors de la mise à l'enquête qui ne correspondaient pas à ceux soumis à la Commission foncière pour approbation, mais prévoyaient déjà l'absence de séparation entre les deux lots. Il aurait certes été souhaitable que, s'agissant de personnes domiciliées à l'étranger et soumises au régime de l'autorisation d'acquérir, la Municipalité vérifie que les plans aient bien été approuvés par la Commission foncière. Cette absence de vérification ne saurait toutefois permettre aux recourants d'échapper aux obligations de la LFAIE, d'autant plus que ces derniers ne sont pas crédibles, lorsqu'ils prétendre s'être fiés au permis de construire et au permis d'habiter, alors qu'eux-mêmes, ou les professionnels qu'ils ont mandatés, ont délibérément modifié les plans du 21 septembre 2001, tels qu'approuvés par la Commission foncière, pour la mise à l'enquête.
4.2 Dans ces conditions, il faut constater que la procédure litigieuse a été déclenchée à la demande du Département de l'économie, sur dénonciation de l'Office fédéral de la police, et qu'elle n'est aucunement liée avec la procédure d'autorisation de construire et le permis d'habiter. Les griefs des recourants relatifs à l'absence de coordination entre ces deux procédure doivent dès lors être rejetés.
5. Au vu de ce qui précède, le recours doit être rejeté, avec suite de frais à la charge solidaire des recourants (art. 66 al. 1 et 5 LTF).
Il n'y a pas lieu d'allouer des dépens à l'autorité intimée (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge des recourants, solidairement entre eux.
3. Le présent arrêt est communiqué au mandataire des recourants, à la Commission foncière, section II, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Office fédéral de la justice.
Lausanne, le 14 novembre 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Rochat