Citation: 2C_808/2018 E. A

A.a. Les époux X.________ et Y.________, ressortissants français domiciliés en France, sont propriétaires de la parcelle no **** du cadastre de la commune d'Ollon (ci-après: la Commune), sur laquelle est sis un chalet de vacances. Un espace piscine d'environ 130 m2, disposant d'une façade vitrée donnant sur le jardin, est relié au chalet par un tunnel. La surface nette de plancher habitable du chalet, sans compter la piscine, est de 273 m2. A.b. Le 28 mars 2017, X.________ et Y.________ ont déposé auprès de la Municipalité d'Ollon (ci-après: la Municipalité) une demande de permis de construire en vue de procéder à des travaux de transformation du chalet. Le projet consiste notamment à diminuer la surface habitable du rez inférieur et à augmenter celle des combles, par la création de deux lucarnes. Le 15 juin 2017, la Municipalité a délivré le permis de construire requis. A.c. En parallèle, le 17 mai 2017, X.________ et Y.________ ont adressé à la IIe section de la Commission foncière du canton de Vaud (ci-après: la Commission) une demande de constatation du non-assujettissement des travaux de transformation précités à la LFAIE. Les intéressés ont précisé que, après le rejet par la Commission d'un premier plan de transformation et d'agrandissement en 2016, ils avaient revu fondamentalement leur projet, en tenant compte du fait qu'une augmentation de la surface habitable n'était pas possible. Ils ont ainsi relevé que, selon leur nouveau projet, la surface nette de plancher habitable du chalet, sans compter la piscine, passerait de 273 m2 à 271 m2.