Faits :
A.
A._ a déposé une demande n° ****** datée du 13 janvier 2011 sur le formulaire 82 I réclamant le remboursement de 4'550'000 fr. d'impôt anticipé pour des dividendes versés par B._ SA à Genève en 2008 et 2009. Le formulaire indique une adresse du contribuable à C._ au Royaume-Uni. Suite à un examen en procédure sommaire, le montant a été remboursé par l'Administration fédérale des contributions à l'intéressé le 20 juin 2011.
Le contribuable a déposé une demande n° ****** du 12 août 2012 sur le formulaire 82 I réclamant le remboursement de 1'174'491 fr. 80d'impôt anticipé pour des dividendes versés par B._ SA, D._ AG et E._ SA à Zurich en 2010. Il a une nouvelle fois indiqué l'adresse de C._. Le formulaire a été retourné par pli du 15 novembre 2012 de l'Administration fédérale des contributions, qui a demandé au contribuable de remplir le formulaire destiné aux demandes déposées par des résidents du Royaume-Uni, ainsi que de fournir des informations relatives à sa situation fiscale dans cet Etat.
Le 16 janvier 2013, le contribuable a précisé jouir en Angleterre d'un statut de résident non domicilié et a confirmé sa demande. Il a en outre souligné n'être imposé dans ce pays que sur les revenus qui y sont importés ("remittance basis"). Enfin, "du fait de sa nationalité américaine", il a dit être "également imposable aux USA sur ses revenus mondiaux".
Le 3 mai 2013, l'Administration fédérale des contributions a demandé au contribuable la preuve que les conditions de "l'article 4, deuxième phrase" de la Convention du 2 octobre 1996 entre la Confédération suisse et les Etats-Unis d'Amérique en vue d'éviter les doubles impositions en matière d'impôts sur le revenu (CDI CH-USA, RS 0.672.933.61) étaient réunies. L'Administration fédérale des contributions l'a également informé que la demande n° 137081 faisait désormais l'objet d'un contrôle ultérieur au sens de l'art. 51 al. 2 de la loi fédérale du 13 octobre 1965 sur l'impôt anticipé (LIA, RS 642.21), en relation avec l'art. 6 de l'ordonnance du 2 octobre 1996 concernant la convention de double imposition américano-suisse (OCDI CH-USA, RS 672.933.61), la demande de restitution du montant remboursé en lien avec la demande n° ****** demeurant ainsi réservée.
Le 21 juin 2013, le contribuable a écrit qu'il disposait d'un foyer permanent d'habitation à F._, en Floride (USA) où se situait son bien immobilier, de sorte qu'il estimait remplir l'un des trois critères alternatifs de l'art. 4 2ème phr. CDI CH-USA ( recte : art. 4 par. 1 let. a 2ème phr. CDI CH-USA). Il a encore souligné, le 27 août 2013, disposer d'un tel foyer à tout le moins depuis 1987. Après un courrier recommandé de l'Administration fédérale des contributions du 9 juillet 2014, le contribuable a déposé des éléments selon lui pertinents le 10 septembre 2014. Le 28 novembre 2014, l'Administration fédérale des contributions a informé le contribuable qu'elle était d'avis que celui-ci n'avait pas sa résidence aux Etats-Unis au sens de l'art. 4 par. 1 let. a CDI CH-US. L'Administration fédérale des contributions a ainsi demandé au contribuable le remboursement, sous 30 jours, du montant de 4'550'000 fr. déjà restitué, à tort, et a refusé la demande de remboursement du montant réclamé dans le formulaire n° ******. Le 22 décembre 2014, le contribuable a demandé la notification d'une décision formelle.
Le 24 juin 2015, le contribuable a déposé une demande n° ****** datée du 4 juin 2015 sur le formulaire 82 I, réclamant le remboursement de 200'254 fr. 40 d'impôt anticipé pour des dividendes versés en 2012 par B._ SA. Le formulaire indiquait comme adresse du contribuable un appartement 701 sis à F._ en Floride (USA). Selon la note de bas de page n. 2 du recours, il "est souligné que le contribuable a commis une erreur à la lettre g) du formulaire de remboursement en n'indiquant pas être (également) résident au Royaume-Uni".
Par décision n° **** du 5 février 2016 de l'Administration fédérale des contributions a arrêté ce qui suit:
"1. Les demandes de remboursement de l'impôt anticipé n° ****** du 20 août 2012 d'un montant de 1'174'491 fr. 80 et n° ****** du 4 juin 2015 d'un montant de 200'254 fr. 40 déposées au moyen du formulaire 82 I en application de la CDI CH-USA par [le contribuable] sont rejetées en totalité.
2. [Le contribuable] est tenu de restituer sans délai à l'Administration fédérale des contributions l'impôt anticipé d'un montant de 4'550'000 fr. dont il a obtenu indûment le remboursement sur la base de la demande n° ****** du 13 janvier 2011 déposée au moyen du formulaire 82 I.
3. Sur le montant de 4'550'000 fr. précité, [le contribuable] doit à l'Administration fédérale des contributions un intérêt rémunératoire de 5% à partir de la notification de la présente décision jusqu'à la date de la restitution effective à l'Administration fédérale des contributions."
B.
Par recours du 7 mars 2016 déposé auprès du Tribunal administratif fédéral, le contribuable conclut principalement, sous suite de frais et dépens, à l'annulation de la décision n° **** de l'Administration fédérale des contributions du 5 février 2016. Il conclut en outre à ce que le Tribunal statue à nouveau, en ce sens que la demande de remboursement de l'impôt anticipé n° ****** d'un montant de 1'174'491 fr. 80 est admise. Il conclut dans le même sens au sujet de la demande de remboursement n° ****** du 4 juin 2015 pour un montant de 200'254 fr. 40. Enfin, le contribuable sollicite que la demande de restitution de l'impôt anticipé de 4'550'000 fr. dans le cadre de la demande n° ****** soit rejetée.
Par pli du 26 juillet 2017, l'Administration fédérale des contributions a informé le Tribunal administratif fédéral que le contribuable avait demandé l'ouverture d'une procédure amiable aux Etats-Unis. Un courrier du 17 juillet 2017 du Secrétariat d'État aux questions financières internationales envoyé à l'Internal Revenue Service américain était joint à ce pli.
C.
Par arrêt du 24 août 2017, le Tribunal administratif fédéral a rejeté le recours. Le recourant était un citoyen américain qui ne résidait pas en Suisse. La condition du séjour durable aux Etats-Unis n'était pas remplie, le recourant n'ayant pas été présent aux Etats-Unis suffisamment de jours au sens de la législation américaine. Il n'y disposait pas non plus d'un foyer d'habitation permanent. En revanche, il disposait d'un tel foyer au Royaume-Uni. Il ne pouvait donc pas bénéficier des avantages prévus par l'art. 10 par. 2 let. b CDI CH-US en relation avec l'art. 2 al. 1 et 3 let. c OCDI CH-US. Les demandes de remboursement devaient par conséquent être rejetées et la demande de restitution, portant intérêt dès la date de la décision erronée de remboursement, fondée sur les principes généraux de l'enrichissement illégitime devait être admise, la prescription de trois ans courant dès 2011 ayant été interrompue par la mise en garde du 3 mai 2013.
D.
Agissant par la voie du recours en matière de droit public, le contribuable demande au Tribunal fédéral, sous suite de frais et dépens, de réformer l'arrêt rendu le 24 août 2017 par le Tribunal administratif fédéral, en ce sens que l'impôt anticipé dont il a requis le remboursement selon les demandes formulées le 12 août 2012 et le 4 juin 2015 pour un montant total de 1'374'746 fr. 20 lui est accordé et que la demande de restitution du montant de l'impôt anticipé remboursé en 2011 pour un montant de 4'550'000 fr. est annulée. Il demande que soient ordonnés l'effet suspensif et un deuxième échange d'écritures.
Par ordonnance du 18 octobre 2017, le Président de la IIe Cour de droit public a prononcé l'effet suspensif.
Le Tribunal administratif fédéral a renoncé à prendre position. L'Administration fédérale des contributions conclut au rejet du recours. Le contribuable a été invité à déposer d'éventuelles observations.
Sur demande du contribuable et accord de l'Administration fédérale des contributions, la cause a été suspendue par ordonnance du 26 mars 2018 du juge instructeur jusqu'à droit connu sur l'issue de la procédure amiable entre les Etats-Unis et la Suisse.
Par courriers des 11 juin et 6 juillet 2020, les parties ont informé que la procédure amiable avait échoué. Par ordonnance du 26 août 2020, le juge instructeur a ordonné la reprise de la procédure de recours.

Considérant en droit :
1.
1.1. Dirigé contre un jugement final (cf. <ref-law>) rendu en matière de dégrèvement de l'impôt anticipé, soit dans une cause de droit public (cf. <ref-law>) échappant aux exceptions de l'<ref-law>, par le Tribunal administratif fédéral (cf. <ref-law>) sous la signature du recourant, qui a qualité pour recourir car il a un intérêt digne de protection à obtenir le remboursement de l'impôt anticipé (<ref-law>; cf. également arrêt 2C_176/2012 du 18 octobre 2012 consid. 3.4, non publié in <ref-ruling>), le présent recours en matière de droit public est en principe recevable.
1.2. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>), ce que la partie recourante doit motiver conformément aux exigences des art. 42 al. 2 et 106 al. 2 LTF.
2.
Un impôt anticipé de 35 % ayant été retenu en application des art. 13 al. 1 let. a de la loi fédérale du 13 octobre 1965 sur l'impôt anticipé (LIA; RS 642.21) et 1 OCDI CH-USA sur les dividendes bruts d'un montant de 22'750'000 fr. en 2008 et 2009, de 5'872'459 fr. en 2010 et de 1'001'252 fr. en 2012 attribués par des sociétés suisses au recourant, ce dernier a déposé auprès de l'Administration fédérale des contributions trois demandes de remboursement équivalant à 20% de l'impôt anticipé retenu soit 4'550'000 fr., 1'174'491 fr. 80 et 200'254 fr. 40 en application des art. 10 par. 2 let. b CDI CH-USA et 2 al. 3 let. c OCDI CH-USA, qui prévoient un dégrèvement de l'impôt à la source prélevé sur les dividendes payés par une société suisse. L'impôt ne peut en effet excéder 15% du montant brut des dividendes, si la personne qui perçoit les dividendes réside aux Etats-Unis et en est le bénéficiaire effectif.
Le présent litige porte sur la question, hormis celle de l'éventuelle restitution par le recourant d'un montant de 4'550'000 fr. déjà remboursé par l'autorité intimée, de savoir si ce dernier peut se prévaloir de la CDI CH-USA pour bénéficier de l'avantage des art. 10 par. 2 let. b CDI CH-USA et 2 al. 3 let. c OCDI CH-USA que constitue le dégrèvement d'impôt anticipé de 20%.
Le Tribunal administratif fédéral a confirmé le refus de l'autorité intimée en jugeant que le recourant n'était en aucun cas résident des USA (art. 1 al. 1 CDI CH-USA), tandis que le recourant conteste ce refus. Il est d'avis qu'en tant que citoyen américain qui n'a ni domicile, ni résidence ni séjour en Suisse, il peut se prévaloir des avantages de la convention parce qu'il dispose d'un foyer d'habitation permanent aux USA au sens de l'art. 4 § 1 let. a 2e phr. CDI CH-USA.
3.
3.1. L'art. 4 § 1 let. a 2e phr. CDI CH-USA prévoit qu'un citoyen américain [...] qui n'est pas un résident de Suisse en raison du par. 1 ou du par. 5 n'est considéré comme un résident des États-Unis que si cette personne séjourne durablement («substantial presence»), dispose d'un foyer permanent d'habitation ou séjourne habituellement aux États-Unis.
3.2. Le recourant reconnaît, avec l'instance précédente (arrêt attaqué, consid. 5.3.2), qu'il n'a pas séjourné durablement («substantial presence») aux USA (cf. mémoire de recours, p. 23 in fine) durant les années en cause. L'instance précédente a en outre retenu (arrêt attaqué consid. 5.3.3.7) que le recourant n'y a pas non plus séjourné habituellement, ce que ce dernier ne prétend du reste pas (cf. mémoire de recours, p. 23 in fine). Ce double constat conduit à laisser ouverte la question longuement débattue par les parties et par l'instance précédente de savoir si l'art. 4 § 1 let. a 2e phr. CDI CH-USA instaure des critères alternatifs ou en cascade (règle dite de "tie-breaker"), puisque seule se pose finalement la question de savoir si le recourant dispose d'un foyer d'habitation permanent aux USA aux fins de se prévaloir du dégrèvement d'impôt prévu par les art. 10 par. 2 let. b CDI CH-USA et 2 al. 3 let. c OCDI CH-USA et d'en obtenir le remboursement.
4.
4.1. L'arrêt attaqué retient que la notion de foyer d'habitation permanent de l'art. 4 par. 1 let. a 2ème phr. CDI CH-US ne s'écarte guère de celle comprise à l'art. 4 par. 3 let. a et b CDI CH-US ou de celle de l'art. 4 par. 2 let. a et b Modèle OCDE quand bien même l'art. 4 par. 1 CDI CH-US prévoit une réglementation qui diverge de l'art. 4 par. 1 Modèle OCDE, en raison du principe, suivi par le droit fiscal américain, de l'imposition non seulement sur la base de la résidence mais encore de la nationalité (arrêt attaqué consid. 5.3.1.8). Fort de ce constat, le considérant 5.3.3.3 de l'arrêt attaqué examine ensuite en détail les preuves qui ont été déposées par le recourant au fins de démontrer l'existence d'un foyer d'habitation permanent aux USA. Il distingue la période précédent 2011 et celle postérieure. Après avoir apprécié les preuves fournies, l'instance précédente exprime sa conviction que le recourant ne dispose pas de foyer d'habitation permanent au sens de l'art. 4 par. 1 let. a 2ème phr. CDI CH-US aux USA.
4.2. Le recourant est d'avis qu'il remplit le critère du foyer d'habitation permanent quelle que soit la définition retenue (recours, p. 27 in initio). Il affirme en détenir un de 1987 à 2011 dans le logement de ses parents et, depuis lors, dans son logement à F._. Ces affirmations contredisent le résultat de l'appréciation des preuves à laquelle l'instance précédente a procédé dans l'arrêt attaqué, ce qui ne suffit pas pour donner raison au recourant. Pour s'opposer à ce résultat, il lui appartenait de démontrer concrètement en quoi l'appréciation des preuves effectuée par l'instance précédente serait arbitraire ou insoutenable (<ref-law>) conformément aux exigences de motivation accrue de l'<ref-law>, ce qu'il n'a pas fait. Il n'est par conséquent pas possible de s'écarter l'appréciation des preuves de l'instance précédente s'agissant de l'absence de foyer permanent aux USA.
4.3. En jugeant que le recourant ne disposait pas d'un foyer d'habitation permanent aux USA au moment où il a perçu les dividendes soumis à impôt anticipé en Suisse et qu'il ne pouvait se prévaloir du dégrèvement d'impôt prévu par les art. 10 par. 2 let. b CDI CH-USA et 2 al. 3 let. c OCDI CH-USA ni en obtenir le remboursement, l'instance précédente n'a pas violé le droit international. La conclusion tendant au remboursement de l'impôt anticipé selon les demandes formulées le 12 août 2012 et le 4 juin 2015 pour un montant total de 1'374'746 fr. 20 est rejetée.
5.
Le recours déposé devant le Tribunal fédéral conclut également à ce que la demande de restitution du montant de l'impôt anticipé remboursé en 2011 pour un montant de 4'550'000 fr. soit annulée.
L'argumentation du recourant sur ce point se fonde sur une prémisse erronée. En effet, elle suppose que celui-ci ait disposé d'un foyer d'habitation permanent aux USA. Or, comme on vient de le voir, sur la base des faits constaté sans arbitraire par l'instance précédente, il n'est pas possible d'admettre l'existence d'un tel foyer aux USA. Partant, on ne voit pas en quoi, en confirmant l'obligation de restituer le montant de 4'550'000 fr. remboursé en 2011 qui est imposée au recourant, l'arrêt attaqué aurait violé le droit fédéral ou conventionnel, ce que le recourant ne démontre du reste pas.
6.
Les considérants qui précèdent conduisent au rejet du recours. Succombant, le recourant doit supporter les frais de la procédure fédérale (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 27'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux mandataires du recourant, à l'Administration fédérale des contributions et au Tribunal administratif fédéral, Cour I.
Lausanne, le 27 novembre 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Dubey