Citation: 2C_954/2020 E. A

A.a. A.________ (ci-après: le contribuable, puis le recourant) est associé de l'Etude d'avocats B.________ SA (ci-après : la Société) à Genève, constituée le 12 mai 2015 avec un capital-actions de 1'000'000 fr. (réparti en dix mille actions de 100 fr.) et dont le siège était en 2016 et 2017 à Zurich. Comme les dix-huit autres associés de l'Etude, il détient 555.56 actions de la société. Selon ses statuts, la société a pour but la fourniture de services juridiques au niveau national et international par des avocats inscrits au registre des avocats en Suisse et par d'autres conseillers qualifiés, ainsi que les activités y afférentes. Elle peut effectuer toutes opérations commerciales et financières conformes à son but. Elle peut aussi fonder des succursales. Selon la convention d'actionnaires de la Société du 12 mai 2015, les actions sont détenues en main commune par les associés dans le cadre d'une société simple (art. 1 ch. 1), chaque associé disposant d'une part égale sur les actions, déterminée par calcul. Les parts calculées de chaque associé ne sont pas transmissibles, ni par cession, ni en vertu du régime matrimonial ou du droit de succession, ni d'une quelconque autre manière. Le transfert et la mise en gage des parts calculées à des fins de garantie ne sont pas autorisés (art. 3 ch. 8). Les trois quarts des voix au moins de l'ensemble des actionnaires sont requis pour le transfert de propriété des actions de la société (art. 3 ch. 11). A.b. Dans ses déclarations fiscales 2016 et 2017, le contribuable a mentionné détenir 556.56 actions d'une valeur de 55'556 fr. Le rendement brut soumis à l'impôt anticipé s'élevait à 30'556 fr. en 2016 et à 39'286 fr. en 2017. L'administration fiscale du canton de Zurich a fixé, le 8 mai 2017, la valeur des titres de la société à 2'100 fr. par action pour l'année fiscale 2016. Le 23 janvier 2018, elle l'a fixée à 880 fr. pour l'année fiscale 2017. Ces valeurs ont été déterminées par le calcul de la moyenne pondérée entre le double de la valeur de rendement et la valeur substantielle (simple). Pour 2016, une déduction de 30 % de la valeur des actions ainsi obtenue a été opérée (3'000 fr. moins 30% = 2'100 fr.), ce qui n'a pas été le cas pour la valeur des actions retenue pour 2017, soit 880 fr.