Citation: 2C_498/2021 E. A

A.a. A.A.________ et C.________ étaient copropriétaires pour une demie chacun de la parcelle n° 229 du cadastre de la commune de U.________. Cette parcelle, d'une superficie de 50'693 m², est sise en zone agricole et est incluse dans un périmètre d'extraction et de dépôt de matériaux. Les intéressés, qui n'exerçaient pas en tant qu'indépendants, détenaient ladite parcelle dans leur fortune privée. A.b. Le 12 mai 2012, A.A.________ et C.________ ont conclu avec la société D.________ SA une convention "pour ouverture de décharge de matériaux terreux ou inertes" sur la parcelle précitée, par laquelle ils donnaient un droit exclusif à cette société d'entreprendre "toutes les démarches auprès de l'Etat de Vaud afin d'obtenir les autorisations nécessaires en vue de l'exploitation d'un dépôt de matériaux terreux" pour une durée de 10 ans, en contrepartie de quoi D.________ SA s'engageait à leur verser une indemnisation globale de 1'246'400 fr., calculée en tenant compte du cubage des matériaux pouvant potentiellement être déposés sur la décharge. A.c. Le 5 mars 2014, les copropriétaires ont promis de vendre la parcelle n° 229, ainsi que la parcelle adjacente n° 234 (sise en zone agricole), à la société E.________ SA - actuellement F.________ (VD) SA - pour le prix de 352'561 fr. L'acte précisait que les promettants-vendeurs participeraient aux revenus d'exploitation desdites parcelles à titre de décharge par le paiement d'un montant de 822'439 fr., l'addition des deux montants menant à une prestation globale de 1'175'000 fr. A.d. Par décision définitive et exécutoire du 24 [recte: 10] juin 2016, la Commission foncière rurale du canton de Vaud (ci-après: la Commission foncière) a autorisé l'acquisition de la parcelle n° 229 par E.________ SA au prix de 278'811 fr. 50. Ce montant correspondait à celui annoncé dans la requête d'acquisition adressée le 7 juin 2016 à ladite Commission par le notaire instrumentateur de la promesse de vente du 5 mars 2014. Le motif de vente invoqué était de "vendre la parcelle (...) qui ne fait pas partie d'une entreprise agricole pour être exploitée comme gravière" (art. 105 al. 2 LTF). A.e. Par acte notarié du 29 juin 2016, A.A.________ et C.________ ont cédé la propriété de la parcelle n° 229 à E.________ SA. L'acte stipulait que la vente était "liée au contrat d'exploitation de décharge à aménager comme suit: ce dernier prévoit des prestations globales à hauteur [de 1'101'250 fr. 50], soit [278'811 fr. 50] pour la valeur des terrains et [822'439 fr.] pour l'exploitation de la décharge". E.________ SA s'engageait à reprendre l'ensemble des droits et obligations découlant de la convention d'exploitation de décharge conclue le 12 mai 2012 avec D.________ SA, "à l'entière décharge et libération des vendeurs". Ces derniers ne garantissaient toutefois aucun droit ou possibilité de décharge sur la parcelle vendue et E.________ SA renonçait d'ores et déjà à toute prétention contre les vendeurs en cas d'impossibilité d'exploiter la parcelle vendue. Le montant de 278'811 fr. 50 a été versé à A.A.________ et C.________ au moment de la vente. Ce même jour, le montant de 822'439 fr. a également été versé sur le compte de consignation du notaire, avant d'être libéré par la suite en faveur des intéressés. A.f. Le transfert immobilier a été inscrit au Registre foncier en date du 5 juillet 2016 (art. 105 al. 2 LTF). A.g. Le 22 mai 2017, l'Office d'impôt du district de Nyon (ci-après: l'Office d'impôt) a informé A.A.________ et C.________ qu'il considérait que la somme de 822'439 fr. ne faisait pas partie du prix de vente du terrain, mais constituait une contre-prestation provenant de l'exploitation de la décharge. Il s'agissait dès lors d'un revenu immobilier. La moitié de ce montant, soit 411'219 fr., devait partant figurer dans les revenus de la déclaration d'impôt 2016 de chacun des anciens copropriétaires.