Citation: 9C_668/2022 E. A

A.a. A.A.________ a été assujetti à l'impôt de manière illimitée dans le canton de Genève de 1993 à 2008 y compris. Il a un fils, né en 1998, dont il a seul la garde et sur lequel il a l'autorité parentale exclusive depuis son divorce d'avec la mère de l'enfant. Dans le canton de Genève, A.A.________ est propriétaire d'une villa à U.________, acquise en 2006 pour le prix de 4.6 mio de francs, ainsi que d'un appartement dans la commune de V.________, qu'il a loué de la fin de l'année 2009 jusqu'en mars 2011 et qu'il a vendu en mai 2012. A.A.________ est employé de la banque C.________ SA et a travaillé dans le canton de Genève jusqu'à son transfert, en novembre 2009, dans la succursale zurichoise de cet établissement. Le 18 novembre 2009, A.A.________ a annoncé aux autorités genevoises son départ pour le canton de Schwyz. Après avoir logé chez un ami dans le canton de Zoug, il a loué, à partir de décembre 2009, deux appartements de respectivement 3.5 pièces (110 m2) et 4.5 pièces (145 m2) à W.________ (SZ), pour un loyer total de 7'600 fr. Le fils de A.A.________ est toutefois resté scolarisé à Genève. Le 6 avril 2011, A.A.________ a épousé à Genève B.A.________, qui était déjà sa compagne en 2009. Résidente dans le canton de Genève depuis 2003, B.A.________ habitait dans un appartement sis à Genève. En octobre 2011, les époux ont acheté pour 2 mio de francs un appartement de 5.5 pièces à X.________ (SZ). Ils y ont emménagé le 11 octobre 2011. Le fils du A.A.________ a intégré une école privée dans le canton de Zoug à la rentrée scolaire 2012. Depuis lors, il vit à X.________ avec son père et sa belle-mère. A.b. Par décisions des 9 mars 2011 et 21 août 2012, l'Administration fiscale du canton de Schwyz a procédé à l'imposition de A.A.________ pour l'impôt fédéral direct des périodes fiscales 2009 et 2010. A.c. Le 8 juillet 2013, l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration fiscale genevoise) a contesté le changement de domicile de A.A.________ et ouvert à son encontre une procédure pour tentative de soustraction de l'impôt fédéral direct et de l'impôt cantonal et communal. Le 4 mars 2014, elle a rendu une décision d'assujettissement à l'impôt pour les périodes fiscales 2009 à 2011, contre laquelle l'intéressé a recouru auprès du Tribunal administratif de première instance du canton de Genève. Le 14 octobre 2015, l'Administration fiscale genevoise a demandé à l'Administration fédérale des contributions (ci-après: l'Administration fédérale) de déterminer le for fiscal de A.A.________ pour les années 2009 à 2011. L'Administration fiscale du canton de Schwyz et le contribuable ont conclu à la péremption du droit d'imposer du canton de Genève et à la fixation du for fiscal dans le canton de Schwyz. La procédure en cours devant le Tribunal administratif de première instance du canton de Genève a été suspendue dans l'attente de l'issue de la procédure fédérale. A.d. Par deux décisions du 23 octobre 2020 en détermination du for fiscal, la première concernant les périodes fiscales 2009 et 2010 et la seconde la période fiscale 2011, l'Administration fédérale a attribué le for fiscal au canton de Genève et constaté que le droit d'imposer de ce canton était périmé pour la période fiscale 2010. Elle a en outre déclaré que tout acte du canton de Schwyz lié à l'imposition de A.A.________ et de B.A.________ en matière d'impôt fédéral direct des périodes fiscales 2009 et 2011 était annulé.