Citation: 9C_56/2024 E. A

A.a. Les époux A.A.________ et B.A.________ sont domiciliés dans le canton de Vaud. Au décès de son père C.A.________ en 1985, A.A.________ avait hérité avec sa soeur de la moitié de son patrimoine immobilier, qui comprenait notamment la parcelle n° xxx de la commune de U.________, laquelle est constituée de vingt-sept appartements et de quatre locaux commerciaux, tous mis en location. C.A.________ avait acquis la parcelle n° xxx par l'intermédiaire de la société immobilière D.________. Après la dissolution de cette société en 1962, il l'avait détenue en propriété directe. Lors du partage de la succession de C.A.________, intervenu en janvier 1992, la parcelle n° xxx a été attribuée à A.A.________. Par courriers du 21 mai 1992 puis du 19 octobre 1992, l'administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) a informé les héritiers qu'en raison de la qualification de professionnel de l'immobilier de feu C.A.________, le patrimoine immobilier commercial dont ils avaient hérité de lui (dont la parcelle n° xxx faisait partie) appartenait à leur fortune commerciale, mais qu'ils avaient la possibilité de transférer ces immeubles dans leur fortune privée, à leur valeur vénale, ce qui aurait pour conséquence l'imposition immédiate des plus-values réalisées. Dans le cas contraire, ils étaient invités à s'engager à reconnaître par écrit que les immeubles resteraient dans leur fortune commerciale. Les 23 et 27 octobre 1992, A.A.________ et sa soeur se sont engagés à maintenir les immeubles commerciaux hérités dans leur fortune commerciale. Depuis lors, A.A.________ et B.A.________ ont fait figurer l'immeuble n° xxx comme faisant partie de leur fortune commerciale dans leurs déclarations fiscales. A.b. En 2015, A.A.________ a constitué une propriété par étages sur la parcelle n° xxx. Les diverses parts d'étage ont été inscrites au registre foncier sous les nos xxx-1 à xxx-38. La même année, A.A.________ a donné l'immeuble n° xxx-34 à son fils. Pour la période fiscale 2015, l'autorité fiscale a inclus dans le revenu imposable des époux A.A.________ et B.A.________, à titre de revenu de l'activité lucrative indépendante, le bénéfice de 127'840 fr. provenant de la réalisation systématique que cette donation avait impliquée (transfert de l'immeuble n° xxx-34 de la fortune commerciale à la fortune privée de A.A.________). La décision de taxation correspondante est entrée en force. A.c. Le 25 septembre 2017, A.A.________ a donné à son fils les immeubles nos xxx-13, xxx-14, xxx-19, xxx-20, xxx-25, xxx-26 et xxx-31. Dans leur déclaration d'impôt de la période fiscale 2017, A.A.________ et B.A.________ ont mentionné cette donation, en indiquant qu'elle avait porté sur des immeubles qui faisaient partie de leur fortune privée. Le 24 décembre 2019, ils ont rempli une déclaration pour l'imposition des gains immobiliers en lien avec la donation du 25 septembre 2017. Par décision préjudicielle du 4 février 2020, l'office d'impôt de E.________ (ci-après: l'office d'impôt) a retenu que les immeubles donnés appartenaient à la fortune commerciale de A.A.________ et que le gain immobilier commercial réalisé (par réalisation systématique) devait par conséquent être soumis à l'impôt sur le revenu. Par décision de taxation de la période fiscale 2017 du 20 mai 2020, l'office d'impôt a ajouté aux revenus des contribuables un bénéfice de 1'310'133 fr. à titre de revenu de l'activité lucrative indépendante, en raison du transfert des immeubles nos xxx-13, xxx-14, xxx-19, xxx-20, xxx-25, xxx-26 et xxx-31 de la fortune commerciale à la fortune privée que la donation du 25 septembre 2017 avait impliquée. Il en découlait un revenu imposable de 1'659'200 fr. pour l'impôt cantonal et communal (au lieu du revenu déclaré de 347'600 fr.) et de 1'661'900 fr. pour l'impôt fédéral direct (au lieu du revenu déclaré de 350'300 fr.). A.A.________ et B.A.________ ont formé une réclamation contre cette décision de taxation, que l'Administration cantonale a rejetée le 30 juin 2022.