Decision ID: 3eee4d97-275f-4246-96c7-f9fd73fb12ad
Year: 2010
Language: fr
Court: CH_BGer
Chamber: CH_BGer_002
Canton: CH
Region: Federation
Law Area: public_law

Faits:
A. X._ (ci-après aussi: l'intéressé), de nationalité suisse, était domicilié à Genève jusqu'en 2000. Début 2001, il a pris domicile et habite à Y._ en Haute-Savoie (France). Jusqu'en 2006, X._ a travaillé en Suisse en qualité de comptable. Il a été licencié avec effet au 31 octobre 2006. Parallèlement, il a exercé quelques activités en France, mais son revenu a été constitué pour environ 95 % de ses salaires suisses. Son épouse, avec laquelle il fait ménage commun, n'a pas exercé d'activité lucrative entre 2001 et 2007. Pendant cette période, les époux n'avaient pas d'enfant à charge.
Durant l'année 2001, X._ a perçu un salaire de 160'000 fr. sur lequel une retenue de 32'404 fr. 05 a été effectuée au titre d'impôts à la source 2001. Par lettres des 27 mars et 26 juin 2002, X._ a élevé réclamation contre cette taxation auprès de l'Administration fiscale cantonale, qui l'a rejetée par décision du 16 juillet 2002. Cette décision indiquait le délai et la voie de recours auprès de la Commission cantonale en matière d'impôts du canton de Genève (remplacée depuis le 1er janvier 2009 par la Commission cantonale de recours en matière administrative: ci-après toutes deux: Commission de recours). Par courrier du 18 juillet 2002, X._ a prié l'Administration fiscale cantonale de lui communiquer la structure du barème de l'impôt à la source pour les années 2000, 2001 et 2002. Il avait besoin de cette information pour se déterminer sur un éventuel recours et assurer sa défense et précisait par ailleurs que sa requête "[était] une simple demande de renseignements et qu'elle ne [devait] en aucun cas être considérée comme un recours". L'Administration fiscale cantonale lui a répondu par courrier du 3 septembre 2002. Le 14 novembre 2002, le contribuable a prié cette dernière de réexaminer son imposition 2001 à la lumière du nouveau barème d'imposition 2001 modifié par votation populaire. Par décision du 28 mars 2003, l'Administration fiscale cantonale a donné une suite favorable à cette demande et remboursé au contribuable un montant de 837 fr. 15. Le 3 février 2005, après de nombreux échanges avec les autorités, X._ a sollicité une fois encore, par écrit, le réexamen de son imposition 2001. Par décision du 10 février 2005, l'Administration fiscale cantonale a déclaré la taxation entrée en force. Par mémoire du 16 avril 2005, l'intéressé a déposé un recours contre la décision du 10 février 2005 auprès de la Commission de recours.
Durant l'année 2002, X._ a perçu un salaire de 159'880 fr. sur lesquels 29'314 fr. 15 ont été prélevés au titre d'impôts à la source 2002. Le 14 février 2003, le contribuable a formé réclamation contre cette imposition. Par bordereau rectificatif du 28 juillet 2003, l'Administration fiscale cantonale a refusé la déduction des frais effectifs de transport. Elle a admis la déduction des cotisations versées pour la constitution du 3ème pilier A et a remboursé à X._ la somme de 2'140 fr. Par mémoire du 16 avril 2005, l'intéressé a déposé un recours contre le bordereau du 28 juillet 2003 auprès de la Commission de recours.
Durant l'année 2003, X._ a perçu un salaire annuel de 160'415 fr. sur lequel ont été prélevés 31'521 fr. 55 d'impôts à la source 2003. Sur demande écrite de l'intéressé du 14 mars 2004, l'Administration fiscale cantonale a procédé par bordereau rectificatif du 30 août 2004 à la modification de la taxation initiale en admettant la déduction des cotisations versées pour la constitution du 3ème pilier A et remboursé la somme de 2'226 fr. 55. Par acte du 17 septembre 2004, complété par un courrier du 3 février 2005, l'intéressé a déposé une réclamation contre le bordereau rectificatif. Le 9 mars 2005, l'Administration fiscale cantonale a rejeté cette réclamation. Par mémoire du 16 avril 2005, l'intéressé a déposé un recours contre la décision du 9 mars 2005 auprès de la Commission de recours.
Durant l'année 2004, X._ a perçu un salaire annuel de 159'896 fr., sur lequel un montant de 31'579 fr. 45 a été retenu au titre d'impôts à la source 2004 selon l'attestation de l'employeur du 30 décembre 2004. Le 13 janvier 2005, X._ a sollicité la rectification de cette imposition. Il demandait que soient déduits ses frais effectifs de transport dûment prouvés (13'671 fr. au lieu de 700 fr.), ses primes effectives pour la constitution de son deuxième pilier (15'868 fr.), de son 3ème pilier A (6'077 fr.) et de la caisse maladie pour le couple (8'875 fr. au lieu de 3'880 fr.). Le 16 avril 2005, avant que l'Administration fiscale cantonale ne se prononce sur sa demande de rectification, l'intéressé a directement "recouru" auprès de la Commission de recours contre l'attestation du 30 décembre 2004. L'Administration fiscale cantonale a procédé à la rectification de la taxation le 2 mai 2005 uniquement pour les cotisations du 3ème pilier A et remboursé la somme de 2'222 fr. 20. Le 4 mai 2005, l'intéressé a déposé une réclamation. Par mémoire du 13 mai 2005, il a interjeté un recours contre la taxation auprès de la Commission de recours. Le 12 juillet 2005, l'Administration fiscale cantonale a rejeté la réclamation.
Durant l'année 2005, X._ a perçu un salaire annuel de 161'950 fr. sur lesquels 31'985 fr. 10 ont été prélevés au titre d'impôts à la source 2005 selon l'attestation de l'employeur du 5 février 2006. Par lettre du 29 janvier 2006, l'intéressé a demandé la rectification de son imposition. Il demandait que soient déduits ses frais effectifs de transport et de repas dûment prouvés (16'674 fr. 15), ses primes effectives pour la constitution de son deuxième pilier (16'101 fr.), les primes de son 3ème pilier A (6'192 fr.), les primes de la caisse maladie pour le couple (8'674 fr.), le rachat de son 2ème pilier (72'450 fr.), des dons (264 fr.), ses primes d'assurances-vie (4'022 fr.) et de frais médicaux (5'210 fr.). Par bordereau daté du 28 août 2006, admettant la déduction des primes du 3ème pilier A et les rachats du 2ème pilier, l'Administration fiscale cantonale a rectifié l'imposition 2005, fixé l'impôt dû à 8'830 fr. 65, au lieu de 31'985 fr. 10, et remboursé 23'596 fr. 50. Par mémoire du 21 septembre 2006, l'intéressé a interjeté un recours contre cette décision auprès de la Commission de recours.
Durant l'année 2006, X._ a perçu un revenu brut de 168'561 fr. (comprenant des indemnités de 8'960 fr. pour ses vacances 2005 et de 16'888 fr. pour ses vacances 2006) sur lequel une retenue de 37'757 fr. 65 a été effectuée au titre d'impôts à la source 2006 selon l'attestation de l'employeur du 30 janvier 2007. Le 8 mars 2007, X._ a élevé réclamation contre cette taxation. Il demandait que soient déduits ses frais effectifs de transport et de repas dûment prouvés (14'386 fr), ses primes effectives pour la constitution de son deuxième pilier (11'789 fr.), de son 3ème pilier A (6'192 fr.), de la caisse maladie pour le couple (9'443 fr. 20) ainsi que des primes d'assurances-vie (2591 fr. 05 fr.). Par décision du 25 juin 2007, admettant la déduction des primes du 3ème pilier A, l'Administration fiscale cantonale a procédé à une rectification, fixé l'impôt à 35'477 fr. 65 au lieu de 37'757 fr. 65 et remboursé 2'312 fr. 50. Par mémoire du 11 juillet 2007, l'intéressé a recouru contre la décision de l'Administration fiscale cantonale du 25 juin 2007 auprès de la Commission de recours. La Commission a transmis ce recours à l'Administration fiscale cantonale le 8 octobre 2007, du moment que celle-ci ne s'était pas prononcée sur l'intégralité des griefs avancés par le contribuable et que sa décision constituait une nouvelle taxation et non une décision motivée, rendue sur réclamation. X._ s'est opposé à cette démarche dans un courrier adressé à la commission le 18 octobre 2007. Suite à ce courrier, l'acte déposé par X._ le 11 juillet 2007 a été enregistré par la Commission de recours.
Durant l'année 2007, X._ a perçu de son ex-employeur une participation au bénéfice 2006 s'élevant à 16'908 fr. et une indemnité pour fin de rapports de services de 15'000 fr. Une retenue de 7'817 fr. 45 a été effectuée sur ce revenu total de 31'908 fr., au titre d'impôts à la source 2007 selon attestation de l'employeur du 20 mars 2007. L'intéressé a contesté cette retenue auprès de l'Administration fiscale cantonale par réclamation du 8 mai 2007. Le 11 juin 2007, cette dernière a répondu que la réclamation ne pourrait être examinée qu'au début de l'année suivante. Se prévalant du délai de 60 jours prévu à l'article 52 alinéa 1 de la loi genevoise sur la procédure administrative du 12 septembre 1985 (LPA; RSGE E 5 10), X._ a mis l'Administration fiscale cantonale en demeure de statuer, en lui fixant un délai au 9 juillet 2007. Le 3 juillet 2007, cette dernière a répondu que le contribuable ne pouvait déposer de réclamation contre son imposition à la source qu'en fin d'exercice, sauf en cas de départ définitif de Genève. Par courrier du 10 juillet 2007, l'intéressé a envoyé une nouvelle mise en demeure et imparti un ultime délai au 20 juillet 2007 pour se prononcer sur la réclamation litigieuse. Le 12 novembre 2007, il a saisi la Commission cantonale de recours pour déni de justice. La Commission de recours a accordé à l'Administration fiscale cantonale un délai de six mois pour répondre. L'intéressé a aussitôt contesté l'octroi de ce délai, considérant qu'il violait les principes de célérité et d'égalité des armes. La Commission de recours n'a pas réagi à ce courrier. Le 15 janvier 2008, l'Administration fiscale cantonale a procédé à une rectification, considéré que le revenu imposable 2007 était de 31'908 fr. (226'036 fr. pour le taux), fixé l'impôt à 7'769 fr. 60 et remboursé 47 fr. 95. Par acte du 6 février 2008, le contribuable a recouru auprès de la commission de recours contre cette décision.
B. B.a Par décision du 28 janvier 2008, la Commission de recours a rejeté les recours déposés par X._ les 16 avril 2005, 13 mai 2005 et 21 septembre 2006 contre les décisions rendues par l'Administration fiscale cantonale les 16 juillet 2002 (impôt 2001), 28 juillet 2003 (impôt 2002), 9 mars 2005 (impôt 2003), 12 juillet 2005 (impôt 2004) et 28 août 2006 (impôt 2005). Elle a décidé de laisser la question de la tardiveté ouverte pour les recours dirigés contre les décisions des 16 juillet 2002 (impôt 2001), 28 juillet 2003 (impôt 2002), 9 mars 2005 (impôt 2003), en raison de l'identité de la question de fond et de l'issue de la procédure. Le recours du 13 mai 2005 dirigé contre le bordereau du 2 mai 2005 (impôt 2004) était prématuré, la décision sur la réclamation déposée le 4 mai 2005 n'ayant été notifiée que le 12 juillet 2005. La décision sur réclamation du 12 juillet 2005, faute de recours, était entrée en force. Le recours contre la décision de rectification du 28 août 2006 (impôt 2005) était recevable, la question de savoir si cette rectification constituait une décision sur réclamation restant ouverte. Sur le fond, les décisions attaquées respectaient les dispositions des art. 83 ss de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) et 33 ss de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14). Elles ne violaient pas le droit à l'égalité de l'art. 8 Cst. du moment que la situation d'un résident sur territoire suisse, en particulier genevois, n'était pas comparable à celle d'un résident à l'étranger. L'imposition à la source des frontaliers ne créait pas de discrimination puisqu'elle s'appliquait de la même manière aux frontaliers nationaux qu'aux ressortissants étrangers de sorte qu'elle ne violait pas non plus l'art. 26 al. 1 de la Convention du 9 septembre 1966 entre la Confédération suisse et la République française en vue d'éviter les doubles impositions en matière d'impôts sur le revenu et sur la fortune (CDI-F; RS 0.672.934.91). L'art. 2 de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP, ou l'Accord; RS 0.142.112.681) interdisant toute discrimination en raison de la nationalité n'était pas non plus violé, compte tenu des barèmes et déductions proches de l'imposition directe ordinaire prévus par les dispositions régissant l'impôt à la source fédéral et cantonal. La Commission de recours a encore jugé qu'elle n'était pas compétente pour juger de la demande d'allocation d'une indemnité pour tort moral.
Le 1er mars 2008, X._ a interjeté recours auprès du Tribunal administratif genevois contre la décision rendue le 28 janvier 2008 par la Commission de recours. Il concluait à son annulation notamment pour violation du principe de non-discrimination.
B.b Par décision du 23 juin 2008, la Commission de recours a déclaré sans objet le recours déposé le 16 [recte: le 12] novembre 2007 par X._ pour déni de justice. L'Administration fiscale cantonale n'avait pas refusé de se prononcer ni tardé sans raison à répondre à la requête de l'intéressé. Elle avait en outre rendu sa décision le 15 janvier 2008. Elle rappelait qu'un recours concernant l'impôt à la source 2007 était encore pendant devant la Commission de recours.
Le 9 août 2008, X._ a interjeté recours (daté du 8 août 2008) auprès du Tribunal administratif contre la décision rendue le 23 juin 2008 par la Commission de recours. Il concluait à son annulation, à ce que soit constatée l'existence d'un déni de justice, tant de la part de l'Administration fiscale cantonale que de la Commission de recours pour l'ensemble des procédures d'impôt à la source des années 2001 à 2007, et à l'octroi d'une indemnité pour dommages et intérêts de 4'000 fr. "notamment pour les conséquences d'ordre psychologique et financier imputables à l'administration et à la commission, en raison de leurs comportements inadéquats à [son] égard".
B.c Par décision du 24 novembre 2008, après avoir joint les causes, la Commission de recours a partiellement admis le recours du 11 juillet 2007 dans la mesure où il était recevable en tant qu'il concernait l'impôt à la source 2006 et admis celui du 6 février 2008 en tant qu'il concernait l'impôt à la source 2007. Pour l'impôt 2006, en application de l'article 2 de la loi sur l'imposition dans le temps des personnes physiques du 31 août 2000 (LIPP-II; RSGE D 3 12), les indemnités de vacances, comme les participations au bénéfice n'étaient pas des revenus périodiques. Elles n'auraient donc pas dû être annualisées pour le calcul du taux, contrairement au salaire, qui constituait un tel revenu. L'impôt 2006 devait ainsi être fixé de la manière suivante: le salaire était de 127'833 fr., mais de 153'700 fr. pour le taux (soit 127'833/10x12). A ce revenu, il convenait d'ajouter, sans conversion, les indemnités pour les vacances 2005 et 2006 (8'960 fr. et 16'888 fr.) et la participation au bénéfice 2005 (14'880 fr.). De l'addition de ces montants, il fallait déduire les cotisations de 3ème pilier A, soit 6'192 fr. Le revenu 2006 déterminant était donc de 188'236 fr. imposable au taux de 21,60 % (barème applicable B: marié, sans enfants). Le bordereau devait être rectifié dans ce sens. S'agissant de l'égalité de traitement entre contribuables domiciliés à Genève et ceux résidant à l'étranger, elle renvoyait le recourant à sa décision du 28 janvier 2008. Ayant agi en personne, l'intéressé n'avait pas droit à une indemnité de procédure. Un émolument de 300 fr. était mis à sa charge. Pour l'impôt 2007, seuls les droits inconditionnels à une prestation pouvaient être considérés comme des revenus réalisés d'un point de vue fiscal. Il n'était pas démontré que l'intéressé avait eu, en 2006, un droit ferme sur les prestations reçues en 2007 (indemnités de 31'908 fr., soit une participation au bénéfice 2006 de 16'908 fr. et une indemnité pour fin de rapports de services de 15'000 fr.). En outre, les principes de périodicité et de capacité contributive s'opposaient à ce que le taux du revenu 2006 soit appliqué à des indemnités versées en 2007. Lesdites indemnités composaient donc le revenu 2007. Comme pour la taxation 2006, la participation aux bénéfices ne constituait pas un revenu périodique et devait être taxée sans conversion pour le taux. Il en allait de même pour la prime de licenciement. Ces revenus ne devant pas être annualisés, il convenait d'appliquer le taux retenu pour un revenu brut annuel de CHF 31'908.-, ce qui conduisait à une imposition nulle.
Le 29 décembre 2008, X._ a interjeté recours auprès du Tribunal administratif contre la décision rendue le 24 novembre 2008. Il ne concluait qu'à l'annulation partielle de cette dernière, relativement aux déductions qui lui ont été refusées, aux indemnités qu'il n'avait pas obtenues et à l'émolument auquel il avait été condamné.
C. C.a Par arrêt du 24 mars 2009 (ci-après: arrêt I), après avoir joint les causes, le Tribunal administratif a rejeté les recours déposés le 1er mars 2008 et le 29 décembre 2008 contre les décisions rendues le 28 janvier 2008 et le 24 novembre 2008 par la Commission de recours. L'intéressé n'avait pas d'intérêt digne de protection pour contester l'imposition 2007 ramenée à 0 fr. Il n'avait pas qualité pour demander que les frais de procédure soient mis à la charge de l'Etat. La demande d'indemnité pour tort moral n'était pas non plus recevable, le Tribunal administratif n'étant pas compétent pour statuer sur cette question. Le recours interjeté le 16 avril 2005 par l'intéressé auprès de la Commission de recours contre la décision sur réclamation du 16 juillet 2002 (impôt 2001) était irrecevable pour cause de tardiveté. La décision du 28 mars 2003 sur demande en reconsidération ne pouvait faire l'objet d'un recours qu'en tant qu'elle concernait le fait nouveau invoqué soit l'application du barème voté en 2002. Il n'y avait en outre aucun motif de révision. Le recours interjeté le 16 avril 2005 par l'intéressé auprès de la Commission de recours contre la décision sur réclamation du 28 juillet 2003 (impôt 2002) était irrecevable pour les mêmes motifs. Il en allait de même du recours interjeté le 16 avril 2005 (impôt 2003) contre la décision sur réclamation du 9 mars 2005 notifiée le jour même. Les recours déposés auprès de la Commission de recours contre les taxations relatives aux années 2004, 2005 et 2006 étaient en revanche recevables. Sur le fond, les art. 21 al. 2 ALCP et 26 CDI F autorisaient les distinctions fondées sur la résidence en matière d'imposition. Le système de l'imposition à la source n'était pas non plus contraire à l'art. 8 Cst. comme l'avait déjà jugé le Tribunal fédéral. Les griefs dirigés contre les émoluments de procédure de 1'000 fr. et 300 fr. mis à charge de l'intéressé par la Commission de recours et contre le refus de lui allouer une indemnité devaient être rejetés parce que l'intéressé n'avait pas obtenu gain de cause.
C.b Par arrêt du 24 mars 2009 également (ci-après: arrêt II), le Tribunal administratif a constaté que la Commission de recours avait violé le principe de célérité de la procédure et celui de l'égalité des armes et rejeté le recours daté du 8 août 2008 pour le surplus. L'Administration fiscale cantonale était fondée à ne pas entrer en matière sur la réclamation de l'intéressé contre la retenue d'impôt à la source 2007 avant le début de l'année 2008. Cette dernière s'étant exécutée le 15 janvier 2008, deux mois après le dépôt de la requête pour retard injustifié comme le commandait le droit cantonal, le délai de sept mois que la Commission de recours avait pris pour statuer ne constituait pas un déni de justice. En revanche, le délai de six mois qu'elle avait accordé à l'Administration fiscale cantonale pour répondre violait le principe de célérité et d'égalité des armes. Les griefs dirigés contre l'émolument de procédure de 250 fr. mis à charge de l'intéressé par la Commission de recours et contre le refus de lui allouer une indemnité devaient être rejetés parce que l'intéressé n'avait pas obtenu gain de cause. La demande d'indemnité pour tort moral était irrecevable.
D. Agissant par la voie du recours en matière de droit public (2C_319/2009) contre l'arrêt I, X._ formule dix-sept conclusions à l'adresse du Tribunal fédéral auquel il demande en substance d'annuler l'arrêt précité et de renvoyer la cause pour nouvelle décision dans le sens des considérants. Il se plaint de la violation des art. 5 al. 4, 8 al. 1 et 2, 9, 29 al. 1 et 2, 127 al. 1 et 2 et 190 Cst., 2, 7 let. a, 11 al. 2, 16 al. 1 et 2 ALCP ainsi que 9 al. 2 annexe I ALCP.
Agissant par la voie du recours en matière de droit public (2C_321/2009) contre l'arrêt II, X._ formule dix conclusions à l'adresse du Tribunal fédéral auquel il demande en substance d'annuler l'arrêt précité. Il se plaint de la violation des art. 9 et 29 al. 1 et 2 Cst.
Le Tribunal administratif et l'Administration fédérale des contributions ont renoncé à déposer des observations sur le recours 2C_319/2009, tandis que l'Administration fiscale cantonale conclut à son rejet sous suite de frais.
Le Tribunal administratif et la Commission de recours ont renoncé à déposer des observations sur le recours 2C_321/2009 tandis que l'Administration fédérale des contributions et l'Administration fiscale cantonale concluent à son rejet sous suite de frais.

Considérant en droit:
1. Dirigés contre deux arrêts rendus le même jour par la même instance cantonale, les deux recours concernent le même recourant ainsi qu'un état de fait similaire et exposent une argumentation qui se recoupe sur certains aspects. Il se justifie dès lors de joindre les causes par économie de procédure et de statuer sur les deux recours dans un seul arrêt (art. 24 PCF, applicable en vertu du renvoi de l'art. 71 de la loi du 17 juin 2005 sur le Tribunal fédéral [LTF; RS 173.110]).
I. De la recevabilité des recours
2. 2.1 Les recours sont dirigés contre des décisions finales (art. 90 LTF) rendues dans des causes de droit public (art. 82 let. a LTF) par une autorité cantonale judiciaire supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF), sans qu'aucune des exceptions prévues à l'art. 83 LTF ne soit réalisée, de sorte que, sous réserve des exigences légales de motivation et des motifs exposés ci-dessous (consid. 2.2), la voie du recours en matière de droit public est en principe ouverte.
2.2 Selon la jurisprudence, l'objet de la contestation qui peut être portée devant le Tribunal fédéral est déterminé par la décision attaquée (arrêts 2D_144/2008 du 23 mars 2009, consid. 3 et 2C_669/2008 du 8 décembre 2008, consid. 4.1 et les références citées) et par les conclusions des parties (art. 107 al. 1 LTF). Le recourant ne peut par conséquent pas prendre des conclusions allant au-delà de l'objet du litige.
En l'espèce, dans l'arrêt I, le Tribunal administratif a déclaré irrecevable le recours interjeté le 16 avril 2005 par le recourant auprès de la Commission de recours contre la décision sur réclamation du 16 juillet 2002 (impôt 2001), celle du 28 juillet 2003 (impôt 2002) et celle du 9 mars 2005 (impôt 2003). A ce stade de la procédure par conséquent, seule la question de la recevabilité du recours du 16 avril 2005 peut être portée devant le Tribunal fédéral qui n'a pas à examiner le fond de la contestation. Dans la mesure où le recourant demande au Tribunal fédéral de dire que, pour les années 2001, 2002 et 2003, il avait le droit de faire valoir ses frais effectifs, il prend des conclusions (n° 8, 9 et 10 du mémoire de recours 2C_319/2009) sur le fond qui ne sont pas recevables.
La taxation de la période fiscale 2007 ne fait pas non plus l'objet de la contestation, ce que le recourant admet (cf. n° 8 de l'exposé des faits essentiels du mémoire de recours 2C_319/2009). Cette taxation a par ailleurs été ramenée à zéro, de sorte que le recourant n'a plus d'intérêt actuel digne de protection (art. 89 al. 1 let. c LTF) à faire valoir pour cette période de taxation. Par conséquent, les griefs du recourant en relation avec la procédure et la validité de l'imposition 2007 sont irrecevables. Il en va ainsi notamment du grief par lequel il soutient qu'il était arbitraire de la part du Tribunal administratif d'autoriser l'Administration fiscale cantonale à refuser de statuer sur sa réclamation du 8 mai 2007 concernant la période fiscale 2007 avant le mois de janvier 2008.
3. 3.1 Le Tribunal fédéral statue sur la base des faits constatés par l'autorité précédente (cf. art. 105 al. 1 LTF), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 2 LTF). La notion de "manifestement inexacte" de l'art. 97 LTF correspond à celle d'arbitraire au sens de l'art. 9 Cst. (ATF 133 III 393 consid. 7.1 p. 398). Selon l'art. 99 al. 1 LTF, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente. Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
Le recourant reproche au Tribunal administratif d'avoir retenu dans l'arrêt I qu'il était de nationalité suisse. Il produit pour la première fois devant le Tribunal fédéral une photocopie de sa carte d'identité, établissant sa nationalité française. Il s'agit d'une preuve nouvelle irrecevable. A cela s'ajoute que le Tribunal administratif n'a pas établi les faits de manière manifestement inexacte sur ce point, puisque le recourant a lui-même allégué détenir la nationalité suisse dans le mémoire de recours qu'il avait adressé le 13 mai 2005 à la Commission de recours. Le Tribunal administratif pouvait donc se fonder sans arbitraire sur ce fait. Dans ces conditions, il n'est pas possible de s'écarter sur ce point des constatations de fait du Tribunal administratif.
3.2 D'après l'art. 106 al. 1 LTF, le Tribunal fédéral applique le droit d'office. Par conséquent, il examine en principe librement l'application du droit fédéral, qui comprend le droit international, ainsi que la conformité du droit cantonal harmonisé et son application par les instances cantonales aux dispositions de la loi fédérale sur l'harmonisation fiscale. D'après l'art. 106 al. 2 LTF en revanche, le Tribunal fédéral n'examine la violation de droits fondamentaux ainsi que celle des dispositions de droit cantonal et intercantonal que si ces griefs ont été invoqués et motivés. Il en va de même lorsque les dispositions de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (ci-après: LHID ou loi sur l'harmonisation fiscale; RS 642.14) laissent une certaine marge de manoeuvre aux cantons, l'examen de l'interprétation du droit cantonal étant alors limité à la violation des droits fondamentaux (ATF 134 II 207 consid. 2 p. 209 s.). Dans ces conditions, l'art. 106 al. 2 LTF exige que l'acte de recours contienne, à peine d'irrecevabilité, un exposé succinct des droits constitutionnels ou des principes juridiques violés et précise en quoi consiste la violation. Lorsqu'il est saisi d'un recours, le Tribunal fédéral n'a donc pas à vérifier de lui-même si l'arrêt entrepris est en tous points conforme au droit et à l'équité. Il n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours (ATF 134 I 65 consid. 1.3 p. 67; 134 V 138 consid. 2.1 p. 143).
II. Des griefs liés à la procédure d'imposition à la source
4. Invoquant l'art. 9 Cst., le recourant reproche au Tribunal administratif d'être tombé dans l'arbitraire en déclarant irrecevable le recours du 16 avril 2005 dirigé contre la décision sur réclamation du 16 juillet 2002 (impôt 2001), celle du 28 juillet 2003 (impôt 2002) et celle du 9 mars 2005 (impôt 2003).
4.1 D'après l'art. 49 al. 1 de la loi du 4 octobre 2001 de procédure fiscale du canton de Genève (LPFisc; RSGE D 3 17), le contribuable peut s'opposer à la décision sur réclamation du département en s'adressant, dans les 30 jours à compter de la notification de la décision attaquée, à la commission cantonale de recours en matière administrative. L'article 41 s'applique par analogie (art. 49 al. 4 LPFisc). L'art. 41 al. 1 et 3 LPFisc prévoit que le délai commence à courir le lendemain de la notification, qu'il est considéré comme respecté si la réclamation est remise au département, à un office de poste suisse ou à une représentation diplomatique ou consulaire suisse à l'étranger le dernier jour ouvrable du délai au plus tard et que, passé le délai de trente jours, une réclamation tardive n'est recevable que si le contribuable établit que, par suite de service militaire, de service civil, de maladie, d'absence du pays ou pour d'autres motifs sérieux, il a été empêché de présenter sa réclamation en temps utile et qu'il l'a déposée dans les 30 jours après la fin de l'empêchement.
Selon la jurisprudence (arrêt 8C_898/2009 du 4 décembre 2009 consid. 2 et les références citées), par empêchement non fautif d'accomplir un acte de procédure, il faut comprendre non seulement l'impossibilité objective ou la force majeure, mais également l'impossibilité subjective due à des circonstances personnelles ou une erreur excusable. Une erreur est excusable, en particulier, lorsqu'elle découle d'un renseignement erroné sur lequel l'administré pouvait se fonder au regard des circonstances, conformément au droit à la protection de la bonne foi (art. 9 Cst.; cf. arrêt 1C_152/2008 du 17 juin 2008, consid. 2.1 et les références citées; ATF 112 Ia 305 consid. 3 p. 310, 111 Ia 355 et les références). Ces principes valent également lorsque le renseignement erroné ne porte pas sur les voies de droit comme telles (autorité de recours, moyen de droit, délai de recours), mais concernent les circonstances pertinentes pour l'utilisation de ces voies de droit, notamment la date de la notification de la décision attaquable (arrêt B 107/01 du 23 juillet 2003, consid. 2.2).
Enfin, la maladie peut constituer un empêchement non fautif. Pour cela, il faut que l'intéressé ait non seulement été empêché d'agir lui-même dans le délai, mais encore de charger un tiers d'accomplir les actes de procédure nécessaires (arrêt I 854/06 du 5 décembre 2006 , consid. 2.3; ATF 119 II 87 consid. 2a, 112 V 255 s. consid. 2a et les références).
4.2 En l'espèce, déposé le 16 avril 2005, le recours était manifestement tardif, la décision sur réclamation attaquée la plus récente ayant été notifiée le 9 mars 2005. Le Tribunal administratif a en outre jugé sans arbitraire que les très nombreux échanges de correspondances à propos des barèmes d'impôt à la source dont le recourant ignorait la structure ne constituaient pas une cause empêchant de déposer un recours. Ces écritures ne contenaient aucun élément qui permettaient au recourant de croire que le délai de recours contre les décisions sur réclamation n'avait pas commencé à courir. Si le recourant estimait ne pas connaître suffisamment le droit, il devait s'adresser à un mandataire professionnel. Il aurait aussi pu se plaindre, le cas échéant, d'un défaut de motivation. Au demeurant, cela ne l'empêchait pas de recourir dans le délai légal contre cette décision. C'est par conséquent également en vain que le recourant reproche aux autorités fiscales de n'avoir pas répondu immédiatement à ses demandes de renseignement.
Le recourant soutient encore qu'en lui écrivant dans un courrier du 9 mars 2005 que "la décision Schumacker de la cour européenne de justice [...] constitue évidemment une base importante pour l'étude des cas particuliers", l'Administration fiscale cantonale l'aurait amené à croire de bonne foi qu'un arrangement pourrait être rapidement trouvé et que le dépôt d'un recours formel n'était pas nécessaire. La position du recourant ne saurait être suivie sur ce point. En effet, une telle phrase exprime une opinion générale et ne comporte aucune promesse à l'adresse de ce dernier, puisqu'elle ne fait pas référence à sa situation mais uniquement à "l'étude des cas particuliers". Il s'ensuit que le contenu du courrier du 9 mars 2005 ne permet pas de restituer le délai pour recourir contre la décision sur réclamation du 9 mars 2005 ni évidemment pour recourir contre les décisions sur réclamation antérieures à ce courrier.
Le recourant fait aussi valoir en vain qu'il a eu de graves problèmes de santé depuis l'automne 2003 et durant l'année 2004 qui l'ont amené à subir une opération chirurgicale fin janvier 2004. Ces périodes ne se recoupent pas avec les dates auxquelles ont été rendues les décisions sur réclamation des 16 juillet 2002, 28 juillet 2003 et 9 mars 2005, de sorte que le recourant ne saurait s'en prévaloir pour obtenir une restitution de délai. Au demeurant, il ne démontre pas avoir respecté le délai légal de 30 jours dès la fin de ses ennuis de santé pour déposer le recours ou les recours qu'il entendait interjeter contre ces décisions.
Les griefs qui précèdent doivent être rejetés.
5. Selon le recourant, le Tribunal administratif aurait méconnu divers motifs de révision prévus par l'art. 55 al. 1 let. b LPFisc.
5.1 Conformément à l'art. 51 LHID, l'art. 55 LPFisc prévoit qu'une décision ou un prononcé entré en force peut être révisé en faveur du contribuable, à sa demande ou d'office, notamment lorsque l'autorité qui a statué n'a pas tenu compte de faits importants ou de preuves concluantes qu'elle connaissait ou devait connaître ou qu'elle a violé de quelque autre manière l'une des règles essentielles de la procédure (let. b). Il s'agit d'une norme de droit cantonal harmonisé, dont le Tribunal fédéral examine librement le respect par les autorités judiciaires cantonales (cf. consid. 3.2 ci-dessus).
5.2 Le recourant soutient qu'en faisant obstruction à ses demandes de renseignement, l'Administration fiscale cantonale aurait violé des règles essentielles de procédure, ce qui lui ouvrirait la voie de la révision. Ce grief doit être rejeté. D'une part, le recourant ne cite aucune règle de procédure qui aurait, le cas échéant, été violée, et d'autre part, il est établi qu'aucun reproche ne peut être formulé à l'encontre des autorités fiscales sous cet angle (cf. consid. 4.2 ci-dessus).
5.3 Le recourant soutient encore que l'Accord aurait dû être appliqué d'office, ce que le Tribunal administratif aurait méconnu. Il s'agirait à son avis d'un motif de révision. Cette opinion ne saurait être suivie. Le recourant confond la situation de l'autorité qui a statué sans tenir compte de faits importants ou de preuves concluantes qu'elle connaissait ou devait connaître (art. 55 LPFisc) avec celle de l'autorité qui n'aurait, le cas échéant, pas pris en compte une règle de droit applicable autre qu'une règle essentielle de procédure. Parce qu'elle ne concerne pas la méconnaissance d'un fait, mais la mauvaise application du droit de fond, la dernière hypothèse n'ouvre pas la voie de la révision (Hugo Casanova, Änderungen rechtskräftiger Verfügungen und Entscheide, Archives 61, p. 447, p. 450 et les références citées). Le justiciable ne peut se plaindre de la mauvaise application du droit matériel que par les voies de droit ordinaires.
En l'espèce, le recourant a aussi et à juste titre choisi de déposer un recours en matière de droit public. C'est cette voie de droit qui est ouverte pour se plaindre de la violation de l'Accord et non pas la voie de la révision.
En refusant de procéder à la révision de la taxation d'impôt à la source 2002, le Tribunal administratif n'a par conséquent pas violé l'art. 55 LPFisc.
6. Invoquant les art. 9 et 29 al. 2 Cst., le recourant se plaint de la violation de son droit d'être entendu. Il critique en réalité des retards injustifiés et des dénis de justice (art 29 al. 1 Cst.) de la part du Tribunal administratif, de la Commission de recours et de l'Administration fiscale cantonale (mémoire de recours 2C_319/2009, n° 19; mémoire de recours 2C_321/2009, n° 10 ss).
6.1 Le retard injustifié à statuer est une forme particulière du déni de justice prohibé par l'art. 29 al. 1 Cst. Il y a retard injustifié à statuer lorsque l'autorité administrative ou judiciaire compétente ne rend pas la décision qu'il lui incombe de prendre dans le délai prévu par la loi ou dans un délai que la nature de l'affaire ainsi que toutes les autres circonstances font apparaître comme raisonnable (ATF 131 V 407 consid. 1.1 p. 409 et les références). Entre autres critères sont notamment déterminants le degré de complexité de l'affaire, l'enjeu que revêt le litige pour l'intéressé ainsi que le comportement de ce dernier et celui des autorités compétentes (ATF 130 I 312 consid. 5.2 p. 332; 125 V 188 consid. 2a p. 191). Il n'y a pas de déni de justice ou de retard injustifié si l'autorité a statué sur ce qui était demandé, mais dans un sens qui déplaît au recourant (B. Corboz, Commentaire romand de la LTF, n° 6 ad art. 94 LTF).
6.2 Le droit de procédure genevois prévoit des délais dans lesquels les décisions sur réclamation et sur recours doivent être prises: en cas de réclamation, l'art. 52 LPA prévoit que la nouvelle décision doit être prise dans les 60 jours dès la réception de la réclamation (al. 1). En cas de recours, les juridictions administratives doivent statuer dans l'année qui suit le dépôt du mémoire de recours (art. 77 al. 1 LPA). Si les circonstances l'exigent, l'autorité respectivement les juridictions administratives peuvent statuer dans un délai plus long. Les parties doivent toutefois être informées par écrit de cet ajournement et de ses raisons avant l'expiration du premier délai (art. 52 al. 2 et 77 al. 2 LPA). Lorsque le recourant se plaint d'un déni de justice ou d'un retard injustifié, la juridiction doit statuer dans le délai de deux mois dès le dépôt du recours (art. 77 al. 3 LPA). Ces dispositions trouvent application en procédure d'imposition à la source (cf. art. 27A de la loi du 23 septembre 2004 sur l'imposition à la source des personnes physiques et morales [LISP; RSGE D 3 20] et 2 LPFisc).
6.3 Selon le recourant, le Tribunal administratif aurait commis un déni de justice en ne se prononçant pas sur sa demande en révision de la taxation d'impôt à la source pour 2002 (cf. mémoire 2C_319/2009, n° 19) et en ne se prononçant pas sur ses demandes de dommages-intérêts pour tort moral et frais et dépens formulées dans ses recours des 1er mars 2008 et 29 décembre 2008 (cf. mémoire 2C_319/2009, n° 166 et 167). Ayant jugé qu'aucun cas de révision n'était réalisé (cf. arrêt I, consid. 6) et que "les demandes d'indemnités devaient être rejetées" (cf. arrêt I, consid. 29), le Tribunal administratif a par conséquent statué sur les demandes du recourant, y compris celle tendant à l'octroi d'une indemnité pour tort moral, ce qui exclu le déni de justice.
Selon le recourant encore, bien que dûment saisi par mémoire de recours daté du 8 août 2008, le Tribunal administratif aurait refusé de statuer sur la plainte pour retard injustifié dans les procédures d'impôt à la source 2001 à 2007 qu'il avait formulée par écrit à l'encontre de la Commission de recours (mémoire de recours 2C_321/2009, n° 10 ss et 16 ss). Il ressort de l'arrêt II que le Tribunal administratif a précisé que le litige dont il était saisi par recours du 8 août 2008 portait exclusivement sur la question de savoir si, pour la taxation 2007, l'Administration puis la Commission avaient commis un déni de justice à l'égard du recourant respectivement en refusant de statuer sur la réclamation après une mise en demeure puis en statuant dans un délai de sept mois (arrêt II, consid. 2). Le recourant ayant expressément indiqué dans son recours daté du 8 août 2008 (cf. page de garde) adressé au Tribunal administratif qu'il déposait plainte contre la Commission de recours pour retards injustifiés dans les procédures couvrant l'ensemble des années fiscales 2001 à 2007, cette restriction de l'objet du litige constitue un déni de justice formel, ce qu'il y a lieu de constater.
La conclusion du recourant tendant à faire constater que la Commission de recours a violé son devoir de célérité et le principe de l'égalité des armes dans la procédure concernant les recours des 13 mai 2005, 20 septembre 2006 et 9 juillet 2007 suppose que soient connus des faits que le Tribunal administratif n'a précisément pas établis dans l'arrêt II. Le Tribunal fédéral ne saurait par conséquent garder la cause et juger lui-même les griefs formulés à l'appui de cette conclusion (art. 107 al. 2 LTF). La cause doit être renvoyée au Tribunal administratif pour qu'il rende une décision sur ce point.
7. Selon le recourant, le Tribunal administratif est tombé dans l'arbitraire en déclarant irrecevable la demande en dommages-intérêts pour tort moral formulée dans son recours du 9 août 2008 (cf. mémoire de recours 2C_321/2009, n° 49 ss).
7.1 D'après l'art. 1er de la loi genevoise du 24 février 1989 sur la responsabilité de l'Etat et des communes (LREC; RSGE A 2 40), l'Etat de Genève et les communes du canton sont tenus de réparer le dommage résultant pour des tiers d'actes illicites commis soit intentionnellement, soit par négligence ou imprudence dans l'exercice de leurs fonctions par des magistrats qui les représentent. Le Tribunal de première instance est compétent pour statuer sur les demandes fondées sur la présente loi (art. 7 LREC).
7.2 S'appuyant sur ces dispositions, le Tribunal administratif a déclaré irrecevable la demande en dommage-intérêts que le recourant a formulée directement devant lui "notamment pour les conséquences d'ordre psychologique et financier imputables à l'administration et à la Commission, en raison de leur comportements inadéquats à [son] égard", ce que le recourant conteste en se prévalant d'un arrêt rendu le 10 juillet 2007 par le Tribunal fédéral en matière d'égalité entre femmes et hommes.
Dans cette affaire (ATF 133 II 257), le Tribunal fédéral a jugé que la personne lésée par une discrimination pouvait faire valoir les droits spécifiques de l'art. 5 al. 1 à 4 de la loi fédérale du 24 mars 1995 sur l'égalité entre femmes et hommes (Loi sur l'égalité, LEg; RS 151.1) et, cumulativement, les prétentions en dommages-intérêts et en réparation du tort moral réservées à l'art. 5 al. 5 LEg. Ces prétentions avaient le même fondement que les droits énoncés aux alinéas 1 à 4, si bien que le lésé devait pouvoir faire valoir toutes ces prétentions dans la procédure ouverte contre la décision discriminatoire. Le fait de renvoyer le lésé à faire valoir ses prétentions en dommages-intérêts devant une autre autorité constituait en outre une application arbitraire de l'art. 56G de la loi genevoise du 22 novembre 1941 sur l'organisation judiciaire (LOJ/GE; RSGE E 2 05), aux termes duquel le Tribunal administratif est compétent pour statuer sur les prétentions de nature pécuniaire fondées sur la loi sur l'égalité.
Le recourant n'expose pas en quoi sa situation en matière fiscale serait comparable à celle d'une personne qui se plaint d'un comportement discriminatoire au sens de la loi fédérale sur l'égalité entre femmes et hommes et n'indique pas quelles dispositions d'organisation judiciaire le Tribunal administratif aurait méconnues. Ne répondant pas aux exigences de motivation de l'art. 106 al. 2 LTF, son grief est irrecevable.
8. Le recourant reproche au Tribunal administratif d'avoir confirmé dans ses arrêts I et II les émoluments au paiement desquels la Commission de recours l'a condamné (cf mémoires de recours 2C_319/2009 n° 154 ss et 2C_321/2009 n° 52 ss).
8.1 En matière d'impôt fédéral, l'art 144 LIFD prévoit que les frais de la procédure devant la commission cantonale de recours sont mis à la charge de la partie qui succombe; lorsque le recours est partiellement admis, ils sont répartis proportionnellement (al. 1). La commission cantonale de recours peut renoncer à prononcer des frais lorsque des circonstances spéciales le justifient (art. 144 al. 3 LIFD). Le montant des frais de la procédure devant la commission cantonale de recours est fixé par la législation cantonale (art. 144 al. 5 LIFD). L'art. 52 LPFisc contient des dispositions cantonales similaires, qui n'appartiennent toutefois pas au droit fiscal harmonisé (Klaus A. Vallender, Bundesgesetz über die Harmonisierung der direkten Steuern der Kantone und Gemeinden, Zweifel/Athanas Ed., 2e éd. 2002, n° 21 ad art. 50 LHID).
8.2 En l'espèce, le recourant ayant succombé dans les procédures de recours devant la Commission cantonale de recours, c'est à bon droit que le Tribunal administratif a confirmé qu'il devait s'acquitter d'un émolument de justice pour la partie de la procédure devant la Commission de cantonale de recours qui concernait l'impôt fédéral direct.
Pour le surplus, le recourant n'expose pas dans les formes requises par l'art. 106 al. 2 LTF en quoi le Tribunal administratif aurait, le cas échéant, appliqué de manière arbitraire l'art. 52 LPFisc ainsi que le tarif des émoluments de justice applicable devant la Commission de recours.
Le recourant soutient que le montant des frais de procédure que la Commission de recours a mis à sa charge rendrait impossible dans la pratique voire excessivement difficile l'exercice de ses droits, ce qui constituerait une discrimination indirecte et violerait le principe d'effectivité (sur cette notion: cf. ATF 130 V 132 consid. 3 p. 135 et les références citées). Dans la mesure où le recourant, de nationalité suisse, peut se prévaloir des droits prévus dans l'Accord (cf. consid. 11 ci-dessous), son grief doit être rejeté. En effet, dans le canton de Genève, selon l'art. 143A LOJ/GE, applicable à la procédure administrative en vertu de l'art. 10 al. 2 LPA, le président du Tribunal de première instance accorde l'assistance juridique sur demande à toute personne physique dont la fortune ou les revenus ne sont pas suffisants pour couvrir les frais d'une procédure administrative relevant de la compétence des juridictions du canton, ou pour lui assurer l'aide et les conseils d'un avocat ou d'un avocat stagiaire lorsque ceux-ci sont nécessaires (al. 1). Le recourant ne démontre pas que l'assistance judiciaire lui aurait été refusée, quand bien même il n'aurait pas disposé des ressources nécessaires pour défendre utilement ses droits, ce qui est loin d'être sa situation puisqu'il a perçu durant les années en cause un revenu de l'ordre de 160'000 fr. par année. Dans ces conditions, il a admis être en mesure de s'acquitter des émoluments judiciaires et pouvoir saisir la juridiction administrative sans difficultés excessives. Le recourant confond du reste les questions liées à une éventuelle avance de frais de justice, dont le montant le cas échéant excessif pourrait entraver l'accès à la justice, avec l'obligation après avoir succombé de payer les frais de justice.
Enfin, le recourant soutient en vain qu'il aurait dû être mis au bénéfice d'une pratique de la Commission cantonale de recours qui propose au justiciable de retirer son recours sans frais après avoir pris connaissance de la réponse de l'autorité intimée (cf. mémoire de recours 2C_321/2009 n° 55). Non seulement il ne démontre pas que la Commission aurait appliqué arbitrairement le droit cantonal, mais encore, il laisse entendre qu'il aurait été d'accord de retirer son recours, ce que les nombreuses procédures que ce dernier a ouvertes contre les autorités fiscales cantonales depuis 2001 démentent. Ce grief est également rejeté.
III. De la validité de l'imposition à la source des périodes fiscales 2004 à 2006
9. 9.1 En vertu de l'art. 17 CDI-F, sous réserve d'exceptions qui ne trouvent pas application en l'espèce, les salaires, traitements et autres rémunérations similaires qu'un résident d'un Etat contractant reçoit au titre d'un emploi salarié ne sont imposables que dans cet Etat, à moins que l'emploi ne soit exercé dans l'autre Etat contractant. Si l'emploi y est exercé, les rémunérations reçues à ce titre sont imposables dans cet autre Etat.
9.2 En l'espèce, le recourant réside en France, mais il a exercé durant les années fiscales en cause un emploi salarié en Suisse. C'est par conséquent à bon droit que les rémunérations qu'il a reçues en Suisse à ce titre sont imposables en Suisse. Les dispositions de l'Accord du 11 avril 1983 entre le Conseil fédéral suisse (au nom des cantons de Berne, Soleure, Bâle-Ville, Bâle-Campagne, Vaud, Valais, Neuchâtel et Jura) et le Gouvernement de la République française relatif à l'imposition des rémunérations des travailleurs frontaliers (FF 1983 II 559 s.) ne trouvent en effet pas d'application dans le canton de Genève.
10.
10.1 Le droit fiscal suisse distingue le régime ordinaire d'imposition du revenu de celui de l'imposition à la source. Ce dernier n'est applicable que dans les cas prévus par les art. 83 ainsi que 91 à 97 LIFD (art. 32 et 35 LHID). L'art. 83 LIFD (art. 32 LHID) concerne les travailleurs étrangers domiciliés ou en séjour en Suisse qui ne sont pas au bénéfice d'un permis d'établissement. Ces derniers sont soumis à un assujettissement illimité au sens de l'art. 3 LIFD (art. 32 al. 3 LHID). Les art. 91 à 97 LIFD (art. 35 LHID) concernent en particulier les travailleurs qui ne sont ni domiciliés ni en séjour en Suisse. Ceux-ci sont soumis à un assujettissement limité au sens de l'art. 5 al. 1 let. a LIFD (art. 35 al. 1 let. a in fine LHID). Tel est le cas du recourant en l'espèce.
10.2 Dans le régime d'imposition ordinaire, l'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques y compris les prestations en nature (art. 16 LIFD; art. 7 LHID). L'imposition ordinaire ne frappe toutefois que le revenu net qui se calcule en défalquant du total des revenus imposables les déductions générales et les frais mentionnés aux art. 26 à 33a LIFD (cf. art. 25 LIFD, art. 9 al. 1 1ère phr. LHID, art. 1 de la loi sur l'imposition des personnes physiques Détermination du revenu net - Calcul de l'impôt et rabais d'impôt - Compensation des effets de la progression à froid [LIPP-V; RSGE D 3 16]).
Lorsqu'il exerce une activité lucrative dépendante, le contribuable peut déduire notamment les frais de transport (art. 26 al. 1 let. a LIFD, art. 9 al. 1 LHID; art. 3 al. 1 LIPP-V), les frais supplémentaires de repas pris hors du domicile et du travail par équipes (art. 26 al. 1 let. b LIFD; art. 9 LHID; art. 3a al. 1 LIPP-V) ainsi que les autres frais indispensables à l'exercice de la profession (art. 26 al. 1 let. c LIFD; art. 9 LHID; art. 3 al. 1 LIPP-V). Ces frais sont estimés forfaitairement (art. 26 al. 2 LIFD; art. 3 al. 1 LIPP-V). D'après l'art. 26 al. 2 LIFD, le contribuable peut justifier de montants plus élevés en matière de frais de transport et de frais indispensables à l'exercice de la profession. Cela vaut également en droit cantonal malgré la lettre de l'art. 3 al. 1 LIPP-V, qui semble exclure la justification de frais plus élevés (cf. sur ce point ATF 128 II 66 consid. 4b p. 71 in fine). L'ordonnance du Département fédéral des finances du 10 février 1993 sur la déduction des frais professionnels des personnes exerçant une activité lucrative dépendante en matière d'impôt fédéral direct règle les détails (RS 642.118.1).
Ce même contribuable peut aussi déduire les intérêts passifs (art. 33 al. 1 lettres a et b LIFD; 9 al. 2 let. a LHID; 6 al. 1 LIPP-V), les charges durables et les rentes viagères (art. 33 al. 1 let. b LIFD; 9 al. 2 let. b LHID; 6 al. 2 LIPP-V), les pensions alimentaires (art. 33 al. 1 let. c LIFD; 9 al. 2 let. c LHID; 5 LIPP-V), les cotisations au 1er et 2ème pilier (art. 33 al. 1 let. d LIFD; 9 al. 2 let. d LHID; 2 lettres a et b LIPP-V), les cotisations au 3ème pilier A (art. 33 al. 1 let. e LIFD; 9 al. 2 let. e LHID; 2 let. c LIPP-V), les primes de certaines assurances et les intérêts de capitaux d'épargne (art. 33 lettres f et g ainsi que 212 LIFD, 9 al. 2 lettres f et g LHID et 2 let. a et d ainsi que 4 al. 1 LIPP-V), les frais de maladie, accident et handicap (art. 33 lettres h et hbis LIFD, 9 al. 2 let. h et hbis LHID et 4 al. 2 LIPP-V) ainsi que les déductions sociales telles que prévues par les art. 213 et 214 LIFD (cf. ATF 133 II 305), 9 al. 4 LHID et 14 LIPP-V.
10.3 Les travailleurs qui, sans être domiciliés ni en séjour en Suisse, y exercent une activité lucrative dépendante pendant de courtes périodes, durant la semaine ou comme frontaliers, sont soumis à l'impôt à la source sur le revenu de leur activité, conformément aux art. 83 à 86 LIFD. L'impôt est calculé sur le revenu brut, qui comprend tous les revenus provenant d'une activité pour le compte d'autrui, y compris les revenus accessoires (art. 84 LIFD). L'Administration fédérale des contributions établit le barème des retenues d'après les taux de l'impôt sur le revenu des personnes physiques et fixe, en accord avec l'autorité cantonale, les taux qui doivent être incorporés dans le barème cantonal au titre de l'impôt fédéral direct (art. 85 al. 1 et 2 LIFD). La retenue comprend par conséquent les impôts fédéral, cantonal et communal, les mêmes modalités de retenue à la source étant imposées aux cantons par les art. 2 al. 1 let. c, 32 à 34 LHID (art. 2 ss LISP). L'impôt à la source se substitue à l'impôt fédéral direct perçu selon la procédure ordinaire (art . 99 LIFD) et par conséquent aussi à l'impôt cantonal et communal perçu selon la procédure ordinaire.
D'après l'art 86 LIFD, le barème tient compte des frais professionnels (art. 26 LIFD) et des primes et cotisations d'assurances (art. 33, al. 1, let. d, f et g LIFD) sous forme de forfait, ainsi que des charges de famille du contribuable (art. 35 et 36 LIFD). D'entente avec les cantons, l'Administration fédérale des contributions règle le détail du calcul et de l'application des barèmes ainsi que du prélèvement de l'impôt à la source dans les cas spéciaux. Elle règle en particulier l'octroi individuel de déductions qui ne sont pas déjà contenues forfaitairement dans le barème, mais prévues à l'art. 33 LIFD (cf. consid. 10.2 ci-dessus) pour les cas sans procédure de taxation ordinaire ultérieure (art. 2 let. e de l'ordonnance du 19 octobre 1993 sur l'imposition à la source dans le cadre de l'impôt fédéral direct [ordonnance sur l'imposition à la source, OIS; RS 642.118.2]). Il convient par conséquent d'examiner le droit cantonal pour connaître l'ampleur des déductions individuelles qui ne sont pas déjà contenues forfaitairement dans le barème (cf. pour le canton de Fribourg: ATA du 12 mars 1999 in RF 1999 769 ss).
Dans le canton de Genève, d'après l'art. 4 du règlement d'application de la loi sur l'imposition à la source des personnes physiques et morales [RISP; RSGE D 3 20.01]), sur demande du contribuable, l'Administration fiscale cantonale admet, comme déductions supplémentaires au forfait, a) les versements à une institution de prévoyance professionnelle pour le rachat d'années d'assurance et la finance d'entrée, ainsi qu'à une institution reconnue de prévoyance individuelle liée au sens et dans les limites admises par le droit fédéral et cantonal en matière de prévoyance, b) les pensions alimentaires et les contributions d'entretien et c) les frais de garde au sens et dans les limites admises par le droit cantonal.
10.4 Il résulte des considérants qui précèdent que le contribuable imposé à la source dans le canton de Genève au titre de travailleur qui n'est ni domicilié ni en séjour en Suisse, ne peut pas, contrairement au contribuable soumis au régime d'imposition ordinaire, obtenir la déduction de ses dépenses effectives en matière de frais professionnels (art. 26 LIFD) ni la déduction des primes et cotisations d'assurances effectives - dans les limites du droit fédéral (art. 33, al. 1, let. d, f et g LIFD) -, puisque ces dépenses sont déjà comprises forfaitairement dans le barème. Il ne peut en outre obtenir des déductions supplémentaires que pour des postes limitativement énumérés par l'art. 4 RISP, qui ne correspondent pas aux déductions prévues par les art. 33 LIFD et 9 LHID.
10.5 Dans le cas du recourant, l'Administration fiscale cantonale puis la Commission de recours n'ont admis la déduction supplémentaire, pour les années 2004, 2005 et 2006, que des primes de prévoyance du 3e pilier A respectivement des montants destinés au rachat d'années d'assurance du 2ème pilier, à l'exclusion des primes ordinaires de prévoyance professionnelle du deuxième pilier, des primes d'assurances-vie, des cotisations d'assurances-maladie et accident ainsi que des frais effectifs d'acquisition du revenu, notamment les frais de déplacement entre le lieu de séjour en France et le lieu de travail à Genève, dont le recourant avait dûment demandé la déduction.
11. Le recourant ne se plaint pas de la violation de la loi sur l'impôt fédéral direct ni de la loi sur l'harmonisation fiscale ni du droit cantonal. Il considère en revanche que le système d'imposition à la source pratiqué dans le canton de Genève constitue une violation de l'art. 2 ALCP, de l'art. 9 al. 2 annexe I ALCP et de l'art. 8 al. 1 Cst., parce qu'il ne prend pas en compte les déductions qu'il pourrait obtenir dans un régime d'imposition ordinaire.
11.1 L'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes est entré en vigueur le 1er juin 2002. Le but de l'Accord étant de "réaliser la libre circulation des personnes entre les Etats membres (cf. Préambule), il convient d'examiner si le recourant de nationalité suisse résidant en France peut se prévaloir contre les autorités fiscales suisses de l'interdiction de discrimination de l'art. 2 ALCP et du droit à l'égalité de traitement prévu par l'art. 9 al. 2 annexe I ALCP.
11.2 Conformément à la jurisprudence de la Cour de justice des Communautés européennes rendue jusqu'au 21 juin 1999 (art. 16 al. 2, 1ère phrase, ALCP; en application de l'art. 12 du Traité instituant les Communautés européennes [TCE], depuis le 1er décembre 2009: art. 18 du Traité sur le fonctionnement de l'Union européenne [JO C 115 du 9 mai 2008]; cf. Pingel-Lenuzza, Commentaire article par article des Traités UE et CE, Bâle, Genève, Munich, Paris, Bruxelles 2000, n° 9 ad art. 12 TCE et les références citées), les dispositions de l'Accord ne trouvent application qu'en présence d'un élément d'extranéité.
11.3 Selon la jurisprudence constante de la Cour de justice des communautés sur la question, les dispositions du Traité en matière de libertés ne peuvent être interprétées de manière à exclure du bénéfice du droit communautaire les propres ressortissants d'un État membre déterminé lorsque ceux-ci, par leur comportement, se trouvent, à l'égard de leur État d'origine, dans une situation assimilable à celle de tout autre sujet bénéficiant des droits et libertés garantis par le traité (arrêt (de la CJCE) du 27 juin 1996 C-107/94 Asscher, Rec. 1996 I-3089 point 32 et les nombreuses références). Cela signifie qu'un ressortissant d'un Etat membre doit avoir fait usage des droits et libertés reconnus par l'Accord pour être fondé à se prévaloir des dispositions correspondantes dudit Accord, ce que l'art. 2 ALCP énonce expressément en interdisant toute discrimination "dans l'application et conformément aux dispositions des annexes I, II et III de l'Accord". Un ressortissant d'un Etat membre peut par conséquent invoquer l'art. 2 ALCP et l'art. 9 al. 2 annexe I ALCP pour se plaindre de discrimination contre son propre Etat national, pour autant qu'il ait fait usage des droits et libertés reconnus par l'Accord et ses annexes, comme le Tribunal fédéral a déjà eu l'occasion de préciser (cf. arrêt 2A.768/2006 du 23 avril 2007 consid. 3.3; ATF 130 II 137 consid. 4 p. 145 ss, qui confirme l'ATF 129 II 249; Yvo Hangartner, Der Grundsatz der Nichtdiskriminierung wegen der Staatsangehörigkeit im Freizügigkeitsabkommen der Schweiz mit der Europäischen Gemeinschaft, AJP 3/2003 257 ss, p. 262 s.; Astrid Epiney, Das Verbot der Diskriminierung aus Gründen der Staatsangehörigkeit im Personenfreizügigkeits-abkommen, SJZ 105(2009), 25 ss, p. 28 et 30 et les nombreuses références citées; cf. pour les questions fiscales: arrêt Asscher, point 33). Cela résulte également des principaux arrêts de la Cour de justice des communautés européennes en matière de fiscalité directe (arrêts (de la CJCE) du 8 mai 1990 C-175/88 Biehl, Rec. 1990 I-1779 point 14; du 14 février 1995 C-279/93 Schumacker, Rec. 1995 I-225 point 28 ; du 11 août 1995 C-80/94 Wielockx, Rec. 1995 I-2493 points 2 et 12; du 27 juin 1996 C-107/94 Asscher, Rec. 1996 I-3089 point 33; du 14 septembre 1999 C-391/97 Gschwind, Rec. 1999 I-5451 points 9 et 12; du 16 mai 2000 C-87/99 Zurstrassen, Rec. 2000 I-3337 point 8).
11.4 En l'espèce, en résidant depuis 2000 avec son épouse en France au moins au titre de personne n'exerçant pas d'activité économique au sens de l'art. 24 annexe I ALCP (cf. aussi art. 1 let. c ALCP), le recourant se trouve à l'égard de la Suisse, dans une situation assimilable à celle de tout autre sujet invoquant le bénéfice des droits et libertés garantis par l'Accord et ses annexes. Le recourant, de nationalité suisse, peut par conséquent se prévaloir des art. 2 ALCP et 9 al. 2 annexe I ALCP contre son Etat d'origine.
12. L'Accord contient un certain nombre de dispositions qui concernent les questions de fiscalité directe: il s'agit des art. 2 et 21 ALCP ainsi que 5 et 9 al. 2 annexe I ALCP.
D'après l'art. 2 ALCP, les ressortissants d'une partie contractante qui séjournent légalement sur le territoire d'une autre partie contractante ne sont pas, dans l'application et conformément aux dispositions des annexes I, II et III de cet accord, discriminés en raison de leur nationalité. Cette disposition pose le principe de l'égalité de traitement sous la forme négative d'une interdiction de discrimination directe ou indirecte. L'art. 9 al. 2 annexe I ALCP formule ce même principe en faveur des travailleurs salariés tandis que l'art. 15 al. 2 annexe I ALCP l'énonce en faveur des indépendants. Ces dispositions prévoient que le travailleur salarié respectivement l'indépendant et les membres de leur famille visés à l'art. 3 de cette annexe bénéficient sur le territoire d'une autre partie contractante des mêmes avantages fiscaux et sociaux que les travailleurs salariés nationaux et les membres de leur famille.
Le principe de non-discrimination de l'art. 2 ALCP correspondant à l'art. 12 TCE (depuis le 1er décembre 2009: art. 18 du Traité sur le fonctionnement de l'Union européenne) et celui de l'art. 9 al. 2 annexe I ALCP à l'art. 7 du Règlement (CEE) n° 1612/68 du Conseil, du 15 octobre 1968, relatif à la libre circulation des travailleurs à l'intérieur de la Communauté (JO L 257 du 19 octobre 1968), il convient de tenir compte de la jurisprudence pertinente de la Cour de justice des communautés européennes antérieure au 21 juin 1999 (art. 16 al. 2 ALCP), sous réserve des cautèles prévues par l'art. 21 ALCP.
13.
13.1 La jurisprudence communautaire en matière de fiscalité directe constitue un des cas d'application des règles générales d'égalité de traitement qui prohibent non seulement les discriminations ostensibles fondées sur la nationalité (discriminations directes), mais encore toutes formes dissimulées de discrimination qui, par application d'autres critères de distinction, aboutissent en fait au même résultat (discriminations indirectes): à moins qu'elle ne soit objectivement justifiée et proportionnée à l'objectif poursuivi, une disposition de droit national doit, selon cette jurisprudence, être considérée comme indirectement discriminatoire dès lors qu'elle est susceptible, par sa nature même, d'affecter davantage les ressortissants d'autres Etats membres que les ressortissants nationaux et qu'elle risque, par conséquent, de défavoriser plus particulièrement les premiers (arrêt (de la CJCE) du 12 février 1974, 152/73, Sotgiu, Rec. 1974 p. 153 point 11). En effet, la Cour de justice des communautés européennes a jugé que, si la fiscalité directe relève de la compétence des États membres, il n'en demeure pas moins que ces derniers doivent l'exercer dans le respect du droit communautaire. Ils doivent, par conséquent, s'abstenir de toute discrimination ostensible ou déguisée fondée sur la nationalité (arrêts Schumacker, points 21 et 26; Wielockx, point 16; Asscher, point 36; Zurstrassen, point 18).
13.2 Selon la Cour, en règle générale, la situation des résidents et celle des non-résidents dans un État n'est pas comparable. En effet, le revenu perçu sur le territoire d'un État par un non-résident ne constitue le plus souvent qu'une partie de son revenu global, centralisé au lieu de sa résidence, et sa capacité contributive personnelle tenant compte de l'ensemble de ses revenus et de sa situation personnelle et familiale peut s'apprécier le plus aisément à l'endroit où il a le centre de ses intérêts personnels et patrimoniaux, qui correspond en général à sa résidence habituelle (arrêts Schumacker, points 31 et 32; Gschwind, point 22; Zurstrassen, point 21). Par conséquent, le fait pour un État membre de ne pas faire bénéficier un non-résident de certains avantages fiscaux qu'il accorde au résident n'est, en règle générale, pas discriminatoire, compte tenu des différences objectives entre la situation des résidents et celle des non-résidents, tant du point de vue de la source des revenus que de la capacité contributive personnelle ou de la situation personnelle et familiale.
13.3 La Cour a toutefois précisé qu'il peut y avoir discrimination au sens du traité entre résidents et non-résidents si, nonobstant leur résidence dans des États membres différents, il est établi que, au regard de l'objet et du contenu des dispositions nationales en cause, les deux catégories de contribuables se trouvent dans une situation comparable. Tel est le cas lorsque le non-résident ne perçoit pas de revenu significatif dans l'État de sa résidence et tire l'essentiel de ses ressources imposables d'une activité exercée dans l'État d'emploi. En effet, dans ces conditions, l'État de résidence n'est pas en mesure de lui accorder les avantages résultant de la prise en compte de sa situation personnelle et familiale, de telle sorte qu'il n'existe entre un tel non-résident et un résident exerçant une activité salariée comparable aucune différence de situation objective de nature à fonder une différence de traitement en ce qui concerne la prise en considération, aux fins de l'imposition, de la situation personnelle et familiale du contribuable (arrêts Schumacker, points 36 et 37 et Gschwind, points 26 et 27).
La Cour a notamment jugé en ce sens que le contribuable non-résident, qui perçoit la totalité ou la quasi-totalité de ses revenus dans l'Etat où il exerce ses activités professionnelles mais n'a pas le droit de constituer une réserve-vieillesse déductible dans les mêmes conditions fiscales que le contribuable résident, subit une discrimination (arrêt Wielockx, point 22).
13.4 Le principe de non-discrimination n'a toutefois pas une portée absolue en droit communautaire.
L'art. 39 al. 3 TCE réserve en effet l'ordre public, la sécurité publique et la santé publique. En matière fiscale, en revanche, cette réserve ne joue pratiquement pas de rôle. D'emblée, par conséquent, on peut considérer que l'art. 5 annexe I ALCP, qui prévoit une réserve générale similaire, ne joue en pratique pas non plus de rôle dans la présente cause (Pascal Hinny, Vom Saisonnier zum EG-Kurzaufenthalter, Unzulänglichkeiten der Schweizer Quellensteuer-ordnung, in Festschrift für Peter Gauch, Tercier/Amstutz/Koller/Schmid/Stöckli Ed., Zurich 2004, p. 801 ss, p. 811).
Dans un arrêt isolé (arrêt (de la CJCE) du 28 janvier 1990 C-204/90 Bachmann, Rec. 1990 I-2161), la Cour a admis qu'une législation belge puisse légitimement subordonner la déduction des primes d'assurances-vieillesse, décès, maladie et invalidité à la condition qu'elles soient versées en Belgique et non pas dans l'Etat membre d'origine du contribuable dans le but de sauvegarder la cohérence du système fiscal, dont la conception appartient à chaque Etat membre. Cette réserve de nature purement jurisprudentielle, bien qu'invoquée par la suite par d'autres Etats membres, n'a pas été reconduite dans les arrêts ultérieurs (arrêt Wielockx et arrêt du 28 avril 1998 C-118/96 Safir, Rec. 1998 I-1897 cf. à ce sujet: Pascal Hinny, Tendenzen der (Grundfreiheiten-)Rechtsprechung des EuGH auf dem Gebiet des Steuerrechts, IFF Forum für Steuerrecht 2009 p. 77 ss, p. 82). La Cour n'a pas non plus admis de réserves à l'interdiction de discrimination qui seraient fondées sur la volonté d'un Etat membre d'éviter une progressivité de l'impôt moindre due à l'assujettissement limité (arrêt Biehl, point 15, cf. Pascal Hinny, Tendenzen, loc. cit.). En l'état de la jurisprudence de la Cour rendue jusqu'au 21 juin 1999, il n'y a par conséquent guère de motifs qui permettent à une législation nationale de discriminer les travailleurs salariés communautaires en matière de fiscalité directe.
13.5 La doctrine suisse a résumé la jurisprudence relative aux contribuables non résidents assujettis à l'impôt à la source en raison d'un rattachement économique en ces termes: les contribuables résidant à l'étranger qui réalisent l'essentiel de leur revenu (plus de 90 %) en Suisse doivent être qualifiés de quasi-résidents et être traités comme des contribuables résidents, de manière à ce que leur situation personnelle et familiale soit dûment prise en considération. L'Etat de résidence ne pouvant pas prendre ces éléments en considération, c'est en effet l'Etat où ils sont assujettis de manière limitée qui est seul en mesure de le faire (Andrea Pedroli, Commentaire romand de l'impôt fédéral direct, n° 28 ad Intro. aux art. 83 - 101 LIFD et les références citées; Yves Noël, Biehl, Schumacker ... et la Suisse: l'impôt à la source au scanner de la jurisprudence communautaire, in Mélanges Walter Ryser, Locher/Rolli/Spori Ed., Berne 2005, p. 155 s.).
14. En matière fiscale toutefois, l'acquis communautaire relatif aux art. 2 ALCP et 9 al. 2 annexe I ALCP, dont il est tenu compte en application de l'art. 16 al. 2 ALCP, est soumis aux dispositions de l'art. 21 ALCP.
14.1 L'art. 21 al. 1 ALCP prévoit que les dispositions des accords bilatéraux entre la Suisse et les Etats membres de la Communauté européenne en matière de double imposition ne sont pas affectées par les dispositions de l'Accord. En particulier les dispositions de l'Accord ne doivent pas porter atteinte à la définition du travailleur frontalier selon les accords de double imposition. Cette disposition reprend le contenu de l'arrêt Gilly, selon lequel les Etats membres sont libres de définir, notamment au moyen du critère de la nationalité, les facteurs de rattachement aux fins de la répartition de la compétence fiscale en vue d'éliminer les doubles impositions, sans que ces différenciations ne soient considérées comme constitutives de discriminations prohibées (arrêt du 12 mai 1998, C-336/96, Gilly, Rec. 1998 p. I-2793, points 24 et 30; cf. sur la question: Jean-Marc Rivier, L'égalité devant l'impôt des travailleurs suisses et étrangers, Archives 71 p. 97, p. 117 ss; Pascal Hinny, Das Diskriminierungsverbot des Personenverkehrsabkommens im Schweizer Steuerrecht, IFF Forum für Steuerrecht 2004, p. 165 ss, p. 174 s).
En l'espèce, l'attribution à la Suisse du droit d'imposer la rémunération du recourant provenant de son emploi salarié en Suisse en application de l'art. 17 CDI-F n'est, à bon droit, pas mise en cause par les parties, notamment sous l'angle de la définition du travailleur frontalier.
14.2 D'après l'art. 21 al. 2 ALCP, aucune disposition de l'Accord ne peut être interprétée de manière à empêcher les parties contractantes d'établir une distinction, dans l'application des dispositions pertinentes de leur législation fiscale, entre les contribuables qui ne se trouvent pas dans des situations comparables, en particulier en ce qui concerne leur lieu de résidence.
Dans son Message relatif à l'approbation des accords sectoriels entre la Suisse et la CE du 23 juin 1999 (FF 1999 5440), le Conseil fédéral explicite la portée de l'art. 21 al. 2 ALCP. Selon lui, dès que la situation de deux contribuables est comparable du point de vue de leur résidence (il n'est pas nécessaire qu'elle soit effectivement identique), la clause de non-discrimination prévue dans l'Accord doit être observée (FF 1999 p. 5657). Il précise en outre que "pour déterminer si la perception d'impôt à la source sur des revenus d'activités lucratives en Suisse de citoyens de l'UE, mais ne possédant pas de titre de séjour, n'est pas contraire à la clause de non-discrimination de l'Accord et des dispositions correspondantes de l'annexe, il convient d'examiner la jurisprudence de la Cour européenne de justice. En relation avec l'art. 48 du traité de la CEE, la Cour a également été saisie de la question de l'égalité de traitement, lors de l'imposition de personnes non domiciliées dans un Etat" et fait expressément référence à l'arrêt Schumacker (FF 1999 p. 5658). Comme la Cour de justice des communautés européennes a fait usage de la même terminologie que celle de l'art. 21 al. 2 ALPC dans cet arrêt ("dans une situation comparable", arrêt Schumacker, point 34), force est d'admettre que l'art. 21 al. 2 ALCP constitue un renvoi à la jurisprudence de la Cour de justice des communautés européennes telle qu'elle a été développée jusqu'au 21 juin 1999 sans réserve aucune. La doctrine partage cette constatation (Jean-Marc Rivier, op. cit., p. 120 ss; Pascal Hinny, Das Diskriminierungsverbot, op. cit., p. 165 ss, p. 179 ss, 186 et les références à la doctrine suisse).
14.3 D'après l'art. 21 al. 3 ALCP, aucune disposition de l'Accord ne fait obstacle à l'adoption ou l'application par les parties contractantes d'une mesure destinée à assurer l'imposition, le paiement et le recouvrement effectif des impôts ou à éviter l'évasion fiscale conformément aux dispositions de la législation fiscale nationale d'une partie contractante ou aux accords visant à éviter la double imposition liant la Suisse, d'une part, et un ou plusieurs Etats membres de la Communauté européenne, d'autre part, ou d'autres arrangements fiscaux. L'art. 21 al. 3 ALCP réserve l'application par les parties contractantes de mesures destinées à assurer l'imposition, le paiement et le recouvrement effectif des impôts ou à éviter l'évasion fiscale conformément aux dispositions de la législation fiscale nationale d'une partie contractante. Selon la doctrine, la perception à la source aux fins de garantie est autorisée par cette disposition (Pascal Hinny, Das Diskriminierungsverbot, op. cit., p. 165 ss, p. 185).
15.
15.1 Durant les années 2004 à 2006, le recourant, qui résidait en France, a perçu en Suisse la quasi-totalité - plus de 90 % - des revenus du couple. Il s'est trouvé donc objectivement dans la même situation, en ce qui concerne l'impôt sur le revenu, qu'un travailleur résident de Suisse qui exerce la même activité lucrative. En l'espèce, par conséquent, la discrimination, contraire aux règles posées par les art. 2 ALCP et 9 al. 2 annexe I ALCP, consiste en ce que le recourant n'a pas pu faire valoir toutes les déductions accordées aux travailleurs résidents de Suisse, en particulier, il n'a pas eu la possibilité de faire valoir les dépenses effectives pour les frais de transport entre son lieu de résidence et son lieu de travail (cf. consid. 11 ci-dessus) en raison des limites posées par la législation fédérale et cantonale en matière d'imposition à la source. Cette constatation rejoint celle de la doctrine majoritaire (Yves Noël, op. cit., p. 141 ss, p. 155 s., 162 s. et 166; Pascal Hinny, Personenverkehrsabkommen und Schweizer Quellensteuerordnung, IFF Forum für Steuerrecht 2004 p. 251 ss, p. 265 s.; Le même, Das Diskriminierungsverbot, op. cit. p. 165 ss, p. 184 s.; Andrea Pedroli, op. cit., n° 26 ss ad Intro. aux art. 83 - 101 LIFD; Jean-Marc Rivier, op. cit, p. 122).
15.2 Il est vrai que le Message du Conseil fédéral arrive à une conclusion différente. Constatant, en ce qui concerne les travailleurs domiciliés à l'étranger, que les lois fiscales en vigueur en Suisse prévoient une imposition à la source sur le revenu, non seulement pour les étrangers mais aussi pour les citoyens suisses, lorsqu'ils exercent une activité lucrative dépendante seulement pendant de courtes périodes, durant la semaine ou comme frontalier, le Conseil fédéral en déduit que, pour cette catégorie de personnes, le principe de l'égalité de traitement ne se pose pas (FF 1999 p. 5657 s.). Ce raisonnement est erroné, du moment que l'art. 2 ALCP ne prohibe pas uniquement les discriminations ostensibles fondées sur la nationalité (discriminations directes), mais encore toutes formes dissimulées de discriminations qui, par application d'autres critères de distinction, aboutissent en fait au même résultat (discriminations indirectes). Il a en outre été démontré ci-dessus que ce sont non seulement les ressortissants des pays de l'Union européenne, mais également les ressortissants suisses, qui ont fait usage d'un des droits et libertés garantis par l'Accord, qui peuvent se prévaloir de l'art. 2 ALCP (ainsi que 9 al. 2 annexe I ALCP) à l'encontre de la Suisse (cf. consid. 11 ci-dessus).
16.
16.1 Aux termes de l'art. 190 Cst., ni le Tribunal fédéral ni aucune autre autorité ne peuvent refuser d'appliquer une loi fédérale ou le droit international. Ni l'art. 190 Cst. ni l'art. 5 al. 3 Cst. n'instaurent de rang hiérarchique entre les normes de droit international et celles de droit interne. Lorsqu'une contradiction insurmontable entre les deux ordres juridiques est constatée, le Tribunal fédéral s'en tient à sa jurisprudence (ATF 125 II 417 consid. 4d p. 424), selon laquelle le droit international public l'emporte en principe sur le droit interne, spécialement lorsque la norme internationale a pour objet la protection des droits de l'homme (ATF 122 II 485 consid. 3a p. 487), mais également en dehors de toute question de protection des droits de l'homme (ATF 122 II 234 consid. 4e p. 239), de sorte qu'une disposition légale de droit interne contraire ne peut trouver d'application.
Le Tribunal fédéral a constaté dans cette même ligne que l'art. 9 al. 2 annexe I ALCP et l'interdiction de discrimination l'emportait sur le droit interne contraire et avait un effet direct (en matière de droit des étrangers: ATF 131 II 352 consid. 1.3.1 p. 355; arrêt 2A.7/2004 du 2 août 2004, consid. 4.1; en matière d'assurances sociales: ATF 133 V 367 consid. 11 p. 386 ss et les références citées).
16.2 Il s'ensuit que l'interdiction de discrimination ancrée aux art. 2 ALCP et 9 al. 2 annexe I ALCP est directement applicable et l'emporte sur les dispositions contraires des lois fédérales sur l'impôt fédéral direct et sur l'harmonisation fiscale. Cette même interdiction l'emporte aussi sur le droit cantonal contraire. Il en résulte que le recourant doit se voir appliquer, lors de son imposition à la source admise par l'art. 21 al. 3 ALCP, le même régime de déductions fiscales que les contribuables résidents en Suisse soumis au régime d'imposition ordinaire pour les périodes fiscales 2004, 2005 et 2006.
16.3 Au vu de l'issue de la procédure il n'est pas nécessaire d'examiner les autres griefs du recourant, notamment celui de violation de l'art. 8 Cst., qui deviennent sans objet.
Le recours 2C_319/2009 est admis sur ce point et la cause renvoyée au Tribunal administratif pour nouvelle décision dans le sens des considérants.
17. Les considérants qui précèdent conduisent à l'admission partielle du recours 2C_319/2009 dans la mesure où il est recevable. L'arrêt I rendu le 24 mars 2009 est annulé en tant qu'il concerne les périodes fiscales 2004, 2005 et 2006. La cause est renvoyée au Tribunal administratif du canton de Genève pour nouvelle décision au sens des considérants. Le recours est rejeté pour le surplus.
Le recours 2C_321/2009 est partiellement admis. Il est constaté que le Tribunal administratif a commis un déni de justice en restreignant l'arrêt II du 24 mars 2009 à la seule période fiscale 2007. La cause est renvoyée au Tribunal administratif du canton de Genève pour nouvelle décision au sens des considérants sur les périodes fiscales 2001 à 2006. Le recours est rejeté pour le surplus.
Devant le Tribunal fédéral, le recourant, qui n'obtient que partiellement gain dans les deux causes qu'il a introduites, supporte un émolument judiciaire réduit (art. 66 al. 1 LTF).
Le recourant a plaidé dans sa propre affaire devant le Tribunal fédéral sans l'assistance d'un mandataire professionnel. Il n'a pas droit à des dépens (art. 68 al. 1 LTF; ATF 133 III 439 consid. 4 p. 446). La conclusion du recourant tendant à l'allocation de 7'500 fr. au titre de tort moral est irrecevable. En effet, les arrêts de la Cour de justice, que ce dernier cite à l'appui de ces conclusions (cf. mémoire de recours 2C_319/2009 n° 15), concernent l'obligation des Etats membres de réparer le dommage subi par un particulier en cas de violation d'une norme communautaire. Ce dommage doit être réparé selon les conditions de fond et de forme du droit national (Pierre Roseren, Commentaire article par article des Traités UE et CE, Bâle, Genève, Munich, Paris, Bruxelles 2000, n° 7 s. ad art. 228 TCE [actuellement art. 260 du Traité sur le fonctionnement de l'union européenne] et les références citées). Le recourant n'a manifestement pas respecté ces formes en l'espèce.