Faits :
A.
Par bordereaux des 21, 23 janvier et 13 février 2019, l'Administration fiscale cantonale du canton de Genève a imposé A._ et son épouse en matière d'impôt fédéral direct, cantonal et communal pour les périodes fiscales 2014 à 2017. Ils n'étaient redevables d'aucun impôt fédéral direct en 2016. Le couple s'est séparé dans le courant de l'année 2019.
Par décisions du 20 mai 2020, l'Administration fiscale cantonale a admis partiellement les réclamations déposées les 19 février et 4 mars 2019 contre les bordereaux des 21, 23 janvier et 13 février 2019 sur des points qui ne sont plus litigieux et les a rejetées notamment en tant qu'elles concernaient les intérêts facturés par le fisc. Afin de tenir compte de l'admission partielle des réclamations, elle a notifié aux contribuables des bordereaux de taxation rectificatifs, qui concernaient l'impôt fédéral direct, cantonal et communal des périodes fiscales 2014 et 2017 ainsi que l'impôt cantonal et communal des périodes 2015 et 2016 uniquement. Les décomptes finaux d'impôt cantonal et communal au 20 mai 2020 faisaient apparaître des intérêts moratoires sur acomptes ainsi que des intérêts compensatoires négatifs. Les relevés de compte d'impôt fédéral direct au 20 mai 2020 mentionnaient des intérêts moratoires.
Le 16 juin 2020, A._ a recouru auprès du Tribunal administratif de première instance du canton de Genève à l'encontre des décisions sur réclamation du 20 mai 2020. Il sollicitait, en déduction de son revenu et de sa fortune, les intérêts de ses dettes fiscales ainsi que de ses dettes fiscales et de leurs intérêts, selon les éléments suivants.
- Pour la période fiscale 2014, il convenait de porter en déduction de sa fortune le montant total des dettes d'impôt cantonal et communal 2014 (89'175 fr.) et d'impôt fédéral direct 2014 (9'308 fr.), dès lors qu'il n'avait versé aucun acompte avant le 31 décembre 2014.
- Pour l'année fiscale 2015, il convenait de déduire de son revenu d'impôt cantonal et communal et d'impôt fédéral direct notamment les intérêts compensatoires négatifs et les intérêts moratoires d'impôt cantonal et communal et d'impôt fédéral direct calculés pour la période allant du 1er avril au 31 décembre 2015 (soit 1'321 fr. 55 et 4'162 fr. 80 selon le décompte final impôt cantonal et communal 2014 du 20 mai 2020). Il fallait porter en déduction de sa fortune les dettes d'impôt cantonal et communal et d'impôt fédéral direct 2014 (telles qu'établies au 31 décembre 2014 sous déduction d'éventuels acomptes payés en 2015), les dettes d'impôt cantonal et communal et d'impôt fédéral direct 2015 (soit 74'613 fr. pour l'impôt cantonal et communal 2015 et un montant à déterminer par l'Administration fiscale cantonale pour l'impôt fédéral direct 2015 dès lors que cet impôt serait modifié par la déduction des intérêts débiteurs sur dettes fiscales) ainsi que le cumul des dettes d'intérêts des dettes fiscales, selon le montant à déterminer par l'Administration fiscale cantonale.
- Pour l'année fiscale 2016, il fallait déduire de son revenu en matière d'impôt cantonal et communal et d'impôt fédéral direct notamment les intérêts compensatoires négatifs et les intérêts moratoires d'impôt cantonal et communal et d'impôt fédéral direct calculés pour la période allant du 1er janvier au 31 décembre 2016. Il fallait également porter en déduction de sa fortune les dettes d'impôt cantonal et communal et d'impôt fédéral direct 2014 et 2015 (telles qu'établies au 31 décembre de l'année fiscale précédente sous déduction d'éventuels acomptes payés en 2016), les dettes d'impôt cantonal et communal et d'impôt fédéral direct 2016 (soit 42'860 fr. pour l'impôt cantonal et communal 2016 et un montant à déterminer par l'Administration fiscale cantonale pour l'impôt fédéral direct 2015, dès lors que cet impôt serait modifié par la déduction des intérêts débiteurs sur dettes fiscales, étant relevé qu'il n'avait acquitté aucun acompte avant le 31 décembre 2016) ainsi que le cumul des dettes d'intérêts des dettes fiscales.
- Pour l'année fiscale 2017, il y avait lieu de déduire de son revenu en matière d'impôt cantonal et communal et d'impôt fédéral direct notamment les intérêts compensatoires négatifs et les intérêts moratoires d'impôt cantonal et communal et d'impôt fédéral direct calculés pour la période allant du 1er janvier au 31 décembre 2017. Il fallait également porter en déduction de sa fortune les dettes d'impôt cantonal et communal et d'impôt fédéral direct 2014, 2015 et 2016 (telles qu'établies au 31 décembre de l'année fiscale précédente sous déduction d'éventuels acomptes payés en 2017), les dettes d'impôt cantonal et communal et d'impôt fédéral direct 2016 (soit 48'949 fr. pour l'impôt cantonal et communal 2017 et un montant à déterminer par l'Administration fiscale cantonale pour l'impôt fédéral direct 2015 dès lors que cet impôt serait modifié par la déduction des intérêts débiteurs sur dettes fiscales, étant relevé qu'il n'avait acquitté aucun acompte avant le 31 décembre 2017) ainsi que le cumul des dettes d'intérêts des dettes fiscales.
Par jugement du 23 novembre 2020, le Tribunal administratif de première instance du canton de Genève a déclaré irrecevable le recours en tant qu'il concernait l'impôt fédéral direct 2016 (cote d'impôt nulle), l'a admis partiellement pour le surplus, prenant notamment acte de ce que les dettes d'impôts devaient être défalquées de la fortune du contribuable conformément aux conclusions de l'Administration fiscale cantonale. Puis il a renvoyé le dossier à cette dernière pour nouvelle décision au sens des considérants. Hormis des points qui ne sont plus litigieux, il a jugé que les intérêts sur acomptes, les intérêts moratoires et les intérêts compensatoires étaient déductibles du revenu et de la fortune, pour chaque année en cause.
Par acte daté du 23 décembre 2020 (sic), parvenu le 22 décembre 2020 à la Cour de justice du canton de Genève, l'Administration fiscale cantonale du canton de Genève a recouru contre ce jugement, dont elle a demandé l'annulation en tant qu'il admettait la déduction des intérêts ressortant des décomptes finaux et des relevés de comptes pour chaque année fiscale.
B.
Par arrêt du 20 avril 2021, la Cour de justice du canton de Genève a admis le recours et annulé le jugement rendu le 23 novembre 2020 par le Tribunal administratif de première instance en tant qu'il admettait la déduction des intérêts ressortant des décomptes finaux et des relevés de comptes pour chaque année fiscale.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt rendu le 20 avril 2021 par la Cour de justice du canton de Genève, de confirmer le jugement rendu le 23 novembre 2020 par le Tribunal administratif de première instance et de dire que les bordereaux d'impôt fédéral direct pour la période fiscale 2017 ainsi que les bordereaux d'impôt cantonal et communal pour les périodes fiscales 2014 à 2017 sont erronés, partant nuls et non avenus.
La Cour de justice n'a pas déposé d'observations. L'Administration fiscale cantonale, sous suite de frais, et l'Administration fédérale des contributions concluent au rejet du recours. Le contribuable n'a pas répliqué.

Considérant en droit :
1.
1.1. Le recours est dirigé contre une décision finale (<ref-law>) rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>). Il est donc en principe recevable comme recours en matière de droit public s'agissant de l'impôt fédéral direct et des impôts cantonaux et communaux (cf. <ref-law> [RS 642.11], art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [ci-après : LHID ou la loi sur l'harmonisation fiscale; RS 642.14]; <ref-ruling> consid. 1.3 p. 188 s.). Au surplus, déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>), par le contribuable qui a la qualité pour recourir (<ref-law>), le présent recours est recevable.
1.2. Les conclusions et griefs dirigés contre des décisions émanant d'autres instances que celle ayant rendu l'arrêt attaqué sont irrecevables (effet dévolutif complet du recours; cf. <ref-ruling> consid. 1.1.2). La conclusion relative aux bordereaux d'impôt fédéral direct pour la période fiscale 2017 ainsi qu'aux bordereaux d'impôt cantonal et communal pour les périodes fiscales 2014 à 2017 est par conséquent irrecevable.
1.3. D'après l'<ref-law>, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral ainsi que la conformité du droit cantonal harmonisé et de sa mise en pratique par les instances cantonales aux dispositions de la LHID (arrêt 2C_826/2015 du 5 janvier 2017 consid. 2, non publié in <ref-ruling>). Conformément à l'<ref-law> et en dérogation à l'<ref-law>, le Tribunal fédéral n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (arrêts 2C_676/2016 du 5 décembre 2017 consid. 3.1 et 2C_1133/2015 du 11 novembre 2016 consid. 2.1). Il en va de même lorsque la loi sur l'harmonisation fiscale laisse une certaine marge de manoeuvre aux cantons ou lorsque l'on est en présence d'impôts purement cantonaux, l'examen de l'interprétation du droit cantonal étant alors limité à l'arbitraire (cf. <ref-law>; <ref-ruling> consid. 2 p. 209 s.; arrêt 2C_676/2016 du 5 décembre 2017 consid. 3.1).
2.
2.1. Le litige porte sur la déductibilité des intérêts moratoires ainsi que des intérêts moratoires sur acomptes et des intérêts compensatoires négatifs tant en matière d'impôt fédéral direct qu'en matière d'impôt cantonal et communal.
Pour le recourant, comme les intérêts courent sur une période fiscale, qu'ils peuvent être calculés et qu'ils apparaissent ensuite dans les décomptes fiscaux pour chaque période fiscale, ils doivent être déduits du revenu soumis à l'impôt fédéral direct, cantonal et communal et de la fortune soumise à l'impôt cantonal et communal pour les années sur lesquelles ils portent respectivement, à l'instar de ce que le Tribunal administratif de première instance a jugé. Ces derniers considèrent en effet que les intérêts moratoires, les intérêts moratoires sur acomptes et les intérêts compensatoires négatifs sont comparables aux intérêts sur rappel d'impôt qui peuvent être déduits pour chaque période fiscale en cause (cf. arrêts 2C_258/2017 du 2 juillet 2018, 2C_829/2016 du 10 mai 2017).
L'Administration fiscale cantonale et l'Administration fédérale des contributions sont d'avis que cette déduction ne peut intervenir que pour l'exercice fiscal au cours duquel ces intérêts sont échus, à l'instar de qu'a jugé la Cour de justice.
2.2. Ni l'art. 33 al. 1 let. a de la loi du 14 décembre 1990 sur l'impôt fédéral direct (LIFD RS 642.11), ni l'art. 9 al. 2 let. a de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID, loi sur l'harmonisation; RS 64.14) ne définissent la dette pécuniaire qui produit les intérêts passifs à déduire du revenu imposable. Sous certaines conditions légales, tant les créances d'impôt fédéral direct que les créances d'impôt cantonal et communal produisent respectivement des intérêts de retard, des intérêts moratoires ou des intérêts compensatoires, tous considérés comme intérêts passifs (Yves Noël, Commentaire romand de la LIFD, 2e éd., Bâle 2017, n° 7 ad <ref-law>). Lorsque, comme en l'espèce, le contribuable est condamné à payer des intérêts passifs à la fois sur des créances d'impôt fédéral direct et sur des créances d'impôt cantonal et communal, il convient d'examiner séparément la déductibilité de chacune des catégories d'intérêts passifs de droit fédéral et de droit cantonal et communal au regard de l'<ref-law> d'abord, puis au regard de l'<ref-law>.
Par conséquent, le chiffre I est consacré au régime de déduction des intérêts passifs en matière d'impôt fédéral direct, qu'ils soient qualifiés de moratoires, de moratoires sur acomptes ou de compensatoires négatifs. Sous ce chiffre, il conviendra de distinguer les intérêts moratoires déductibles au sens de l'<ref-law> qui relèvent du droit fédéral (let. A) des intérêts moratoires et compensatoires découlant du droit cantonal (let. B).
Le chiffre II est consacré au régime de déduction des intérêts passifs en matière d'impôt cantonal et communal, qu'ils soient qualifiés de moratoires, de moratoires sur acomptes ou de compensatoires négatifs, qu'il soient dus en application du droit fédéral ou du droit cantonal. Comme le droit cantonal et communal prévoient la perception d'un impôt sur la fortune nette (<ref-law>), il conviendra encore de distinguer, sous chiffre II, leur déductibilité de l'impôt sur le revenu (let. A) de leur déductibilité de la fortune imposable (let. B).
En dernier lieu, le chiffre III sera consacré à l'examen du grief du recourant qui soutient que le régime confirmé par l'instance précédente viole le droit à l'égalité (chiffre III).
I. Impôt fédéral direct
3.
3.1. En matière d'impôt fédéral direct, le revenu net se calcule en défalquant du total des revenus imposables les déductions générales et les frais mentionnés aux art. 26 à 33a (<ref-law>). A l'instar du revenu imposable, qui se détermine d'après les revenus acquis durant la période de calcul, les déductions prévues par l'<ref-law> sont soumises au principe de périodicité et ne sont admises que lorsqu'elles trouvent leur cause dans des événements ayant lieu durant la période de calcul (<ref-ruling> consid. 6.1; arrêts 2C_627/2014 du 8 janvier 2015 consid. 6.1; 2C_911/2013 du 26 août 2014 consid. 5.1.3; 2C_567/2012 du 15 mars 2013 consid. 6.2).
La possibilité de déduire du revenu les intérêts passifs est prévue à l'<ref-law>. Cette norme autorise en effet la défalcation, au titre de "Déductions générales", des intérêts passifs à concurrence du rendement imposable de la fortune au sens des art. 20, 20a et 21 LIFD, augmenté d'un montant de 50'000 francs. La déduction d'intérêts passifs suppose l'existence d'une dette pécuniaire; ce n'est que si une relation existe entre les intérêts et la dette qu'il peut être question d'intérêts passifs (<ref-ruling> consid. 2.1 et les références citées).
Selon la jurisprudence, les intérêts moratoires, les intérêts moratoires sur acomptes et les intérêts compensatoires négatifs, à l'instar des intérêts moratoires sur les rappels d'impôt constituent des "intérêts passifs" déductibles du revenu sur la base de l'<ref-law>. En effet, ils ont pour but de compenser le fait que la somme due au titre d'impôt ou d'acomptes d'impôt n'a pas été payée au moment où elle aurait dû l'être. Ils sont en lien avec la dette pécuniaire découlant de la taxation ou de l'obligation de verser des acomptes sur impôt et doivent pouvoir être déduits du revenu du contribuable (cf. arrêt 2C_258/2017 du 2 juillet 2018 consid. 6.6 non publié in <ref-ruling>). Ce point n'est d'ailleurs pas contesté en l'espèce.
3.2. Est en revanche litigieuse la question de savoir dans quelle période fiscale doivent être déduits du revenu soumis à l'impôt fédéral direct les intérêts moratoires prévus par le droit fédéral ainsi que les intérêts moratoires sur acomptes et les intérêts compensatoires négatifs prévus par le droit cantonal, ces derniers constituant également des intérêts passifs au sens de l'<ref-law> (consid. 3.1 ci-dessus).
Pour définir ce moment, l'Administration fiscale cantonale et la Cour de justice se sont fondées sur l'échéance des intérêts en cause, soit le moment où ils sont dus par le contribuable, alors que le recourant et le Tribunal administratif de première instance soutiennent qu'il aurait fallu prendre en considération pour chaque période fiscale les intérêts courus durant chaque période.
3.3. Les intérêts passifs étaient déjà déductibles du revenu imposable sous l'empire de l'arrêté du Conseil fédéral concernant la perception d'un impôt fédéral direct (AIFD). Selon l'art. 22 al. 1 let. d AIFD en effet, les personnes physiques pouvaient déduire les intérêts passifs "afférents à la période de calcul" (" die in der Berechnungsperiode aufgelaufenen Schuldzinsen"). La doctrine en avait déduit qu'il s'agissait des intérêts échus durant la période de calcul (Danielle Yersin, De quelques problèmes relatifs à la déduction des intérêts passifs et à la réalité de certaines dettes, in Archives 47 578, p. 580; Peter Locher, Kommentar zum DBG, I. Teil, 2001, n° 4 ad <ref-law> et les références citées). Il n'y a pas de raison de donner une portée différente à l'<ref-law>, comme cela ressort de la doctrine récente majoritaire (Peter Locher, ibidem; R. Zigerlig/G. Jud, Bundesgesetz über die direkte Bundesteuer (DBG), 2e éd., 2008, Zweifel/Athanas Ed., n° 12c ad <ref-law>; S. Hunziker/I. Mayer-Knobel, Bundesgesetz über die direkte Bundessteuer, 3e éd., Zweifel/Beusch Ed., 2017, n° 12c ad <ref-law> et les références citées). Avec la doctrine majoritaire, il convient par conséquent de lire l'<ref-law> en ce sens que sont déduits du revenu les intérêts passifs privés "échus" à concurrence du rendement imposable de la fortune au sens des art. 20, 20a et 21, augmenté d'un montant de 50'000 francs, l'adjectif "échus" signifiant ici que les intérêts passifs doivent être exigibles dans la période de calcul indépendamment du fait qu'ils sont effectivement payés ou non. En effet, ce n'est que s'ils sont exigibles qu'ils diminuent la capacité contributive de leur débiteur et qu'ils doivent être déduits du revenu imposable conformément à la théorie de l'accroissement net du patrimoine qui fonde le système fiscal suisse.
Il reste par conséquent à déterminer à quel moment sont exigibles, en lien avec l'<ref-law>, d'une part, les intérêts moratoires sur créance d'impôt fédéral direct exigés par le droit fédéral (let. A, consid. 4 ci-dessous) et, d'autre part, les intérêts moratoires, les intérêts moratoires sur acomptes et l'intérêt compensatoire négatif sur créance d'impôt cantonal et communal exigés par le droit cantonal et communal (let. B consid. 5 ci-dessous).
A. <ref-law> et intérêts moratoires sur créance d'impôt fédéral direct exigés par le droit fédéral
4.
4.1. Selon l'<ref-law>, en règle générale, l'impôt est échu au terme fixé par le Département fédéral des finances (terme général d'échéance). Il peut être perçu par acomptes (al. 1). Le terme d'échéance prévu est maintenu, même si le contribuable n'a reçu, à cette date, qu'un calcul provisoire de l'impôt ou qu'il a déposé une réclamation ou un recours contre la taxation (al. 5). En vertu de l'<ref-law>, l'impôt fédéral direct est perçu sur la base de la taxation. Lorsque la taxation n'est pas encore effectuée au terme d'échéance, l'impôt est perçu à titre provisoire (al. 1). Les impôts perçus à titre provisoire sont imputés sur les impôts dus selon la taxation définitive (al. 2). Si les montants perçus sont insuffisants, la différence est exigée; les montants perçus en trop sont restitués. Le DFF arrête les conditions auxquelles ces montants portent intérêt (al. 3).
Selon l'art. 1 de l'ordonnance du DFF du 10 décembre 1992 sur l'échéance et les intérêts en matière d'impôt fédéral direct (OEI; RS 642.124), le terme général d'échéance est fixé au 1er mars de l'année civile qui suit l'année fiscale. Un bordereau définitif ou provisoire est établi pour ce terme d'échéance, conformément à l'<ref-law>.
En application de l'<ref-law>, les impôts doivent être acquittés dans les 30 jours suivant l'échéance. L'<ref-law> prévoit que le débiteur de l'impôt qui n'a pas acquitté les montants dus dans les délais doit verser un intérêt moratoire fixé par le Département fédéral des finances (DFF). Si, à l'échéance, le débiteur de l'impôt n'a pas encore reçu notification du calcul de l'impôt, et qu'il n'est pas responsable de ce retard, l'intérêt ne commence à courir que 30 jours après la notification (<ref-law>). Selon l'art. 3 al. 1 let. a OEI, l'intérêt commence à courir 30 jours: a. après la notification du bordereau définitif ou provisoire. Le DFF fixe le taux d'intérêt moratoire pour chaque année civile et le publie dans un appendice à l'OEI (art. 3 al. 2 OEI, pour les années 2014 à 2017 : 3%).
4.2. En l'espèce, comme il ne ressort pas de l'arrêt attaqué que des bordereaux provisoires ont été notifiés au recourant et que ce dernier ne fait valoir aucun grief d'établissement arbitraire des faits sur ce point, les intérêts moratoires dus sur les créances d'impôt fédéral direct pour les périodes fiscales encore en cause ont commencé à courir 30 jours après la notification des bordereaux définitifs. La notification a eu lieu, pour la période fiscale 2014, le 21 janvier 2019, pour la période fiscale 2015, le 21 janvier 2019, pour la période fiscale 2016, le 23 janvier 2019 (pas de revenu imposable) et pour la période fiscale 2017, le 13 février 2019. Par conséquent avant ces dates, les intérêts moratoires sur impôt fédéral direct ne couraient pas et n'étaient de ce fait pas non plus échus ni exigibles. Ils ne pouvaient par conséquent pas être déduits des revenus imposables d'impôt fédéral direct des périodes fiscales respectives en cause, contrairement à ce que soutient le recourant. Le recours est rejet sur ce point.
B. <ref-law> et intérêts moratoires sur acomptes d'impôt cantonal et communal et intérêt compensatoire négatif sur créances d'impôt cantonal et communal exigés par le droit cantonal et communal
5.
Sont également déductibles du revenu imposable en matière d'impôt fédéral direct au sens de l'<ref-law> les intérêts moratoires sur acomptes d'impôt cantonal et communal et intérêt compensatoire négatif sur impôt cantonal et communal (cf. consid. 3.1 ci-dessus). Il convient par conséquent d'examiner à quel moment ceux-ci deviennent exigibles au regard de la législation cantonale autonome. En effet, hormis l'<ref-law>, la loi sur l'harmonisation fiscale ne contient pas de disposition qui réglemente cet aspect de la perception de l'impôt cantonal et communal (Martin E. Looser, Bundesgesetz über die Harmonisierung der direckten Steuern der Kantonal und Gemeinden, Zweifel/Beusch éd., 3e éd., Bâle 2017 n° 16 s. ad <ref-law>).
5.1. La loi genevoise du 28 juin 2008 relative à la perception et aux garanties des impôts des personnes physiques et des personnes morales (LPGIP; RSGE D 3 18) prévoit l'obligation de payer des acomptes durant la période fiscale (art. 5 LPGIP), notamment sur les impôts cantonaux et communaux annuels sur le revenu et la fortune des personnes physiques (art. 4 al. 1 LPGIP). Les acomptes sont perçus sur la base d'un calcul provisoire de l'impôt communiqué au contribuable sous la forme d'une facture d'acomptes (art. 4 al. 2 LPGIP). Ils sont échus le 10e jour de chaque mois, de février à novembre de l'année fiscale en ce qui concerne les personnes physiques. Ils doivent être payés dans le délai d'un mois à compter de leur échéance (art. 6 LPGIP). Un intérêt moratoire est perçu sur les acomptes payés tardivement ou impayés en totalité ou en partie. Il court dès l'expiration du délai de paiement de l'acompte concerné, jusqu'au paiement, respectivement et au plus tard jusqu'au terme général d'échéance (art. 6 al. et 3 LPGIP) et est facturé au contribuable lors de la notification du décompte final (art. 12 al. 2 du règlement relatif à la perception et aux garanties des impôts des personnes physiques et des personnes morales [RPGIP; RSGE D 3 18.01]).
Aux termes de l'art. 12 LPGIP, les impôts périodiques des personnes physiques sont échus le 31 mars de l'année civile qui suit l'année fiscale (al. 1), le terme général d'échéance étant maintenu si le contribuable n'a reçu, à cette date, aucune décision de taxation (al. 3). Selon l'art. 14 LPGIP, si, au terme général d'échéance, les montants perçus à titre provisoire pour l'année ou la période fiscale sont insuffisants par rapport à l'impôt fixé dans le bordereau de taxation, la différence est soumise à un impôt compensatoire (al. 1). Les intérêts compensatoires négatifs courent à partir du terme général d'échéance jusqu'à la date de notification du bordereau de taxation et du décompte final (al. 2). En cas de versements volontaires ou de transferts de crédits postérieurs au terme général d'échéance, la différence est rectifiée et les intérêts courent, durant la période visée à l'al. 2, pro rata temporis (al. 3). Ils sont facturés au compte du contribuable lors de la notification du décompte final (art. 15 al. 2 RPGIP). L'art. 18 LPGIP précise que le solde indiqué dans le décompte final est échu à la date de notification du décompte (al. 1), et doit être payé ou remboursé dans un délai de trente jours dès l'échéance (al. 3). Le solde du décompte final, en faveur de l'Etat, porte intérêt moratoire, s'il n'est pas payé à l'expiration du délai prévu à l'article 18, alinéa 2, jusqu'à la date du paiement (art. 20 LPGIP).
5.2. S'appuyant sur ces dispositions de droit cantonal, l'instance précédente a jugé que les intérêts moratoires sur acomptes sont facturés au compte du contribuable lors de la notification du décompte final. Il en va de même des intérêts compensatoires négatifs. Tous deux sont donc échus et dus à la notification dudit décompte (arrêt attaqué, consid. 9e, p. 14 s.). Quant à l'intérêt moratoire sur le solde du décompte final, il porte intérêt s'il n'est pas payé à l'expiration de 30 jours dès la notification du décompte final (art. 20 LPGIP).
Puis elle a constaté que les taxations 2014 à 2017 ont été accompagnées chacune d'un décompte final daté respectivement des 21 janvier, 23 janvier et 3 février 2019, puis d'un autre décompte final pour chacune d'entre elles, le 20 mai 2020, lors de la notification des bordereaux rectificatifs. Ces décomptes finaux, postérieurs aux années en cause, ne pouvaient donc aboutir à des déductions d'intérêts moratoires sur acomptes et d'intérêts compensatoires négatifs dans les revenus du contribuable pour les périodes de taxation 2014 à 2017, puisqu'ils n'étaient pas échus à ces périodes (arrêt attaqué, consid. 9e, p. 15).
5.3. En l'espèce, hormis un grief tiré de la violation du droit à l'égalité et à l'interdiction de l'arbitraire qui porte sur une autre question (cf. ci-dessous consid. 6), le recourant ne se plaint pas de ce que l'instance précédente aurait arbitrairement interprété puis appliqué de manière insoutenable le droit cantonal relatif à la détermination de l'échéance des intérêts passifs en cause. A défaut de griefs motivés conformément aux exigences accrues de l'<ref-law>, le Tribunal fédéral ne peut pas s'écarter de la conclusion à laquelle est arrivée l'instance précédente (Cf. consid. 5.2 ci-dessus). Il s'ensuit que les intérêts moratoires sur acomptes et les intérêts compensatoires négatifs en cause en l'espèce ne peuvent pas être déduits des revenus soumis à l'impôt fédéral direct des périodes fiscales 2014 à 2017.
Sous réserve du grief de violation de l'égalité de traitement qui sera traité plus bas (cf. ch. III ci-dessous), le recours est rejeté en matière d'impôt fédéral direct.
II. Impôt cantonal et communal
A. Déduction sur le revenu
6.
6.1. En vertu de l'<ref-law>, les dépenses nécessaires à l'acquisition du revenu et les déductions générales sont défalquées de l'ensemble des revenus imposables. Les déductions générales sont les intérêts passifs privés à concurrence du rendement imposable de la fortune au sens des art. 7 et 7a, augmenté d'un montant de 50 000 francs (<ref-law>). La teneur de l'art. 9 al. 1 et 2 let. a LHID est identique à celle de l'<ref-law>. Il s'ensuit que ces deux dispositions doivent être lues de la même manière (cf. consid. 3 ci-dessus).
6.2. L'art. 34 let. a la loi genevoise sur l'imposition des personnes physiques du 27 septembre 2009 (LIPP; RSGE D 3 08) prévoit que " sont déductibles les intérêts des dettes échus pendant la période déterminante à concurrence du rendement de la fortune augmenté de 50'000 fr., à l'exclusion des intérêts des prêts qu'une société de capitaux accorde à une personne physique la touchant de près ou ayant une participation déterminante à son capital et dont les conditions diffèrent de façon importante des clauses habituellement convenues dans les relations d'affaires entre tiers ". La teneur de cette disposition diffère de celle des <ref-law> et 9 al. 2 let. a LHID en ceci que les intérêts passifs déductibles doivent être "échus". Cette différence rédactionnelle n'emporte pas de traitement légal différent puisque l'ajout de l'adjectif échus correspond au véritable contenu des <ref-law> et 9 al. 2 let. a LHID (cf. consid. 3 et 6.1 ci-dessus).
Il s'ensuit que les considérants qui ont conduit au rejet du recours en matière d'impôt fédéral direct valent également en matière d'impôt cantonal et communal sur le revenu. Le recours est par conséquent rejeté sur ce point.
B. Déduction de la fortune imposable
7.
7.1. Selon les art. 13 al. 1 et 17 al.1 LHID, l'impôt sur la fortune a pour objet l'ensemble de la fortune nette, qui se détermine d'après son état à la fin de la période fiscale ou de l'assujettissement. La définition de la fortune nette imposable de l'<ref-law> s'impose aux cantons, qui ne peuvent soumettre à l'impôt un élément n'entrant pas dans celle-ci. La fortune nette s'entend comme la différence positive entre les actifs et les dettes du contribuable. Toutes les dettes peuvent être déduites, à la condition d'exister au moment déterminant et de ne pas être seulement potentielles (cf. arrêt 2C_555/2010 du 11 mars 2011, consid. 2.2; <ref-ruling> consid. 3.1 i. f. et les références citées).
Les art. 46 et 49 LIPP contiennent une réglementation analogue.
Sans heurter le contenu de l'<ref-law>, l'art. 56 LIPP précise que sont déduites de la fortune brute les dettes chirographaires ou hypothécaires justifiées par titres, extraits de comptes, quittances d'intérêts ou déclaration du créancier (art. 56 al. 1 LIPP) et que seules peuvent être déduites les dettes effectivement dues par le contribuable (art. 56 al. 2 1ère phr. LIPP). L'adverbe "effectivement" rappelle que la déduction n'a lieu que pour une dette qui existe et est due au moment déterminant (cf. <ref-ruling> consid. 3.3.2).
7.2. En l'espèce, il ressort des considérants relatifs à la déductibilité de tous les intérêts moratoires et compensatoires négatifs qu'ils n'étaient effectivement dus que postérieurement aux périodes fiscales en cause (cf. consid. 4 et 5 ci-dessus). Cela signifie que les dettes en résultant n'existaient pas encore durant ces périodes fiscales et, partant, qu'elles ne peuvent pas être déduites de la fortune imposable du contribuable à la fin de ces mêmes périodes fiscales.
Sous réserve du grief de violation de l'égalité de traitement qu'il convient encore d'analyser (cf. ch. III ci-dessous), le recours est rejeté en tant qu'il concerne l'impôt cantonal et communal sur le revenu et la fortune des périodes fiscales 2014 à 2017.
III. Droit à l'égalité entre intérêt moratoire sur rappel d'impôt et les intérêts en cause en l'espèce
8.
8.1. Invoquant les art. 8 et 9 Cst., le recourant soutient en vain que refuser la déduction des intérêts moratoires sur impôt fédéral direct, des intérêts moratoires sur acomptes et des intérêts compensatoires négatifs sur impôt cantonal et communal pour chaque période fiscale dans lesquelles ils ont commencé à courir revient à les traiter de façon dissemblable des intérêts moratoires sur rappel d'impôt. A son avis, ces derniers seraient, dans le canton de Genève, déductibles du revenu dans chacune des années fiscales sur lesquelles portent les rappels d'impôt conformément à la jurisprudence du Tribunal fédéral en la matière (arrêt 2C_258/2017 du 2 juillet 2018 consid. 6.8.1 non publié in <ref-ruling>), ce qui viole le droit à l'égalité et l'interdiction de l'arbitraire (sur la notion d'égalité, cf. <ref-ruling> consid. 9.1).
8.2. S'il est vrai qu'il s'agit dans les deux cas d'intérêts moratoires qui doivent être considérés comme des intérêts passifs, il n'en demeure pas moins comme l'a jugé l'instance précédente, que leur régime fiscal légal diffère. Le Tribunal fédéral a en effet jugé que le droit fédéral ne donnait pas d'indication sur la question de savoir dans quelle période fiscale devaient être déduits les intérêts moratoires sur les rappels d'impôt de sorte que les cantons conservaient sur cette question une marge de manoeuvre. Considérant que les intérêts moratoires sur rappel d'impôt au sens de l'<ref-law> ont la particularité d'être directement liés au montant du rappel d'impôt dû par le contribuable pour chaque période fiscale en cause, le Tribunal fédéral a jugé qu'il n'était pas insoutenable, au vu du droit fiscal du canton de Genève, d'admettre que le contribuable pouvait les déduire de son revenu dans chacune des années fiscales sur lesquelles portent les rappels d'impôt (arrêt 2C_258/2017 du 2 juillet 2018 consid. 6.8.1 non publié in <ref-ruling>). Il n'y a pas lieu de revenir sur cette jurisprudence particulière au régime du rappel d'impôt qui résulte d'un examen limité à l'arbitraire du droit cantonal autonome.
Il suffit de constater qu'à la différence des intérêts moratoires sur rappel d'impôt au sens de l'<ref-law>, le régime de déduction des intérêts moratoires sur impôt fédéral direct, des intérêts moratoires sur acomptes et des intérêts compensatoires négatifs sur impôt cantonal et communal découle du droit fédéral que le Tribunal fédéral examine librement (<ref-law>). De cet examen libre, effectué ci-dessus (consid. 3 à 5), il résulte que, non seulement, ces intérêts passifs ne sont pas directement liés à un rappel d'impôt, comme l'a jugé à juste titre l'instance précédente, mais encore que le moment de leur déduction correspond, comme rappelé ci-dessus, au moment où ils sont échus et exigibles en vertu des dispositions rappelées ci-dessus. Ces deux types d'intérêts moratoires ne sont par conséquent pas comparables. Le grief de violation du droit à l'égalité et de l'interdiction de l'arbitraire est rejeté
9.
Les considérants qui précèdent conduisent au rejet du recours en matière de droit public tant en matière d'impôt fédéral direct qu'en matière d'impôt cantonal et communal dans la mesure de leur recevabilité. Succombant, le recourant doit supporter les frais de la procédure fédérale (<ref-law>). Il n'est pas alloué de dépens (art. 68 al.1 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable en tant qu'il concerne l'impôt fédéral direct.
2.
Le recours est rejeté dans la mesure où il est recevable en tant qu'il concerne l'impôt cantonal et communal.
3.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au mandataire du recourant, à l'Administration fiscale cantonale du canton de Genève, à la Cour de justice de la République et canton de Genève, Chambre administrative, 4ème section, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 3 mars 2022
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
La Présidente : F. Aubry Girardin
Le Greffier : Dubey