Faits:
A. A.a A._ et son épouse B._ sont tous deux ressortissants suisses. Ils ont deux filles, nées en 1984 et 1995.
Depuis 1996, A._ est cadre supérieur auprès de C._ SA, à D._. B._ travaille depuis 1991 pour la Banque E._ à Genève. Selon les contrats de travail qui lient l'un et l'autre des époux à leurs employeurs respectifs, ils ne sont pas autorisés à prendre domicile hors de Suisse.
Depuis 1993, les époux A.B._ sont propriétaires d'une maison sise à F._, en Haute-Savoie (France).
A.b Le 26 mars 2000, les époux A.B._ ont élevé réclamation à l'encontre de la taxation 1999-2000 établie par les autorités fiscales genevoises et demandé notamment la déduction de leurs frais de déplacement, puisqu'ils devaient parcourir quotidiennement 40 kilomètres pour se rendre de F._ à leur lieu de travail à Genève. Cette réclamation ainsi que le recours subséquent des époux A.B._ ont été rejetés et la taxation est devenue définitive. Les autorités ont retenu que les intéressés étaient domiciliés dans le canton de Genève, de sorte que les frais de déplacement n'étaient admis qu'à hauteur des frais nécessaires pour leurs trajets dans ce canton.
A.c En remplissant leur déclaration fiscale 2002, 2003 et 2004, les époux A.B._ ont mentionné qu'ils étaient domiciliés avec leurs enfants à Genève, rue ***.
Le 22 mars 2006, le service de l'impôt à la source de l'Administration fiscale cantonale a écrit à A._ à l'adresse de son employeur pour lui réclamer une attestation relative à la scolarisation d'une de ses filles. Celui-ci a produit l'attestation requise et souligné qu'il résidait à Genève, de sorte qu'il ne pouvait être assimilé à un travailleur frontalier. Dans le cadre d'un entretien avec un fonctionnaire de l'Administration fiscale cantonale qui a eu lieu le 20 avril 2006, A._ a expliqué que, depuis le 1er janvier 2005, il habitait avec sa famille chez G._, chemin ****, à H._.
B. Par trois décisions du 22 mai 2006, l'Administration fiscale cantonale a informé les contribuables qu'elle avait procédé à la rectification de l'impôt sur leur revenu, perçu à la source pour les années 2002, 2003 et 2004. Après déduction des montants déjà versés au titre de l'impôt cantonal et communal ainsi que de l'impôt fédéral direct, il restait un solde de CHF 41'064.40 pour 2002, de CHF 31'062.60 pour 2003 et de CHF 35'669.70 pour 2004 à acquitter.
Le 22 juin 2006, les époux A.B._ ont déposé une réclamation contre les trois décisions précitées. Ils faisaient valoir qu'ils avaient certes déménagé à plusieurs reprises, mais qu'ils avaient toujours conservé le centre de leurs intérêts à Genève. Du 1er janvier 2002 au 31 janvier 2003, ils avaient vécu dans un appartement mis à leur disposition par une amie de B._, rue ***, à Genève. Du 1er février 2003 au 31 décembre 2004, ils avaient habité avec cette amie dans la maison de son père qui venait de décéder, chemin *****, à I._.
Le 3 octobre 2006, l'Administration fiscale cantonale a rejeté la réclamation et confirmé les taxations à la source de 2002 à 2004, en considérant que les époux A.B._ étaient domiciliés en France.
Les époux A.B._ ont recouru contre cette décision auprès de la Commission cantonale de recours en matière d'impôt fédéral direct, qui est devenue, le 1er janvier 2009, la Commission cantonale de recours en matière administrative (ci-après la Commission de recours) puis, depuis le 1er janvier 2011, le Tribunal administratif de première instance.
La Commission de recours a rendu sa décision le 9 novembre 2009. Elle a admis le recours et renvoyé le dossier à l'Administration fiscale cantonale pour nouvelle taxation, les intéressés ayant démontré qu'ils étaient domiciliés à Genève durant les années 2002 à 2004.
L'Administration fiscale cantonale a recouru contre cette décision auprès du Tribunal administratif, devenu depuis le 1er janvier 2011 la Chambre administrative de la Cour de justice (ci-après la Cour de justice).
Après un double échange d'écritures et une audience de comparution personnelle et d'enquête, la Cour de justice a rendu son arrêt le 6 décembre 2011. Elle a admis le recours de l'Administration fiscale cantonale, annulé la décision de la Commission de recours du 9 novembre 2009 et rétabli les taxations des époux A.B._ pour l'impôt à la source 2002 à 2004.
C. Par acte du 30 janvier 2012, A._ et B._ déposent un recours en matière de droit public au Tribunal fédéral contre l'arrêt de la Cour de justice du 6 décembre 2011. Ils concluent à l'annulation de l'arrêt précité sous suite de frais et dépens. Ils requièrent à titre principal le renvoi de la cause à l'Administration fiscale cantonale pour nouvelle taxation selon le régime ordinaire pour les années 2002 à 2004, subsidiairement son renvoi à la Cour de justice pour nouvelle décision au sens des considérants.
L'Administration fiscale cantonale a conclu au rejet du recours. La Cour de justice a déclaré persister dans les considérants et le dispositif de son arrêt. Elle a par ailleurs indiqué que son arrêt du 6 décembre 2011 avait fait l'objet d'une demande d'interprétation. Quant à l'Administration fédérale des contributions, elle a conclu au rejet du recours et à la confirmation de l'arrêt du 6 décembre 2011.
Par ordonnance du 20 février 2012, le Président de la IIe Cour de droit public a accordé au recours l'effet suspensif sollicité.
Les recourants ont déposé une ultime détermination le 16 avril 2012. Le Tribunal fédéral a demandé à la Cour de justice de lui communiquer une copie de la demande d'interprétation dont elle était saisie, ce qui a été fait le 8 mai 2012.
Par arrêt du 5 juin 2012, la Cour de justice a rejeté la demande en interprétation formée par les époux A.B._.

Considérant en droit:
1. 1.1 Le recours porte sur une décision finale (art. 90 LTF) rendue par une autorité judiciaire supérieure ayant statué en dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF), dans une cause de droit public (art. 82 let. a LTF) et qui ne tombe pas sous le coup d'une clause d'exception de l'article 83 LTF. Le recours en matière de droit public est par conséquent ouvert (cf. aussi art. 73 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]). Le recours a par ailleurs été déposé en temps utile et dans les formes requises (cf. art. 42 al. 1 et 2 et art. 100 al. 1 LTF).
1.2 Aux termes de l'art. 89 al. 1 LTF, a qualité pour former un recours en matière de droit public quiconque a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire (let. a), est particulièrement atteint par la décision attaquée (let. b) et a un intérêt digne de protection à l'annulation ou à la modification de celle-ci (let. c). L'intérêt digne de protection consiste en l'utilité pratique que l'admission du recours apporterait au recourant (cf. <ref-ruling> consid. 1.3.1 p. 252).
Dans la mesure où l'arrêt attaqué astreint les recourants à des prestations fiscales qu'ils contestent, leur intérêt à recourir doit être reconnu. En outre, la question de leur domicile fiscal n'est pas sans pertinence dans leurs relations avec leur employeur respectif. Les conditions de l'art. 89 al. 1 LTF sont donc remplies. Le recours est par conséquent recevable.
2. D'après l'art. 106 al. 1 LTF, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral ainsi que la conformité du droit cantonal harmonisé et de son application par les instances cantonales aux dispositions de la loi fédérale sur l'harmonisation fiscale. Cependant, lorsque les dispositions de la loi sur l'harmonisation fiscale laissent une certaine marge de manoeuvre aux cantons, l'examen de l'interprétation du droit cantonal est limité à l'arbitraire (cf. <ref-ruling> consid. 2 p. 209 s.), dont la violation doit être motivée conformément aux exigences accrues de l'art. 106 al. 2 LTF.
3. Les recourants invoquent une violation du droit d'être entendu. Ils reprochent à la Cour de justice d'avoir décidé du sort de la cause sans entendre en qualité de témoin K._, un ancien collègue de la recourante, dont l'audition, aux yeux des recourants, devait permettre d'apporter la preuve qu'ils étaient domiciliés à Genève de 2002 à 2004.
3.1 Le droit d'être entendu est une garantie constitutionnelle de nature formelle ancrée à l'art. 29 al. 2 Cst., dont la violation entraîne l'annulation de la décision attaquée sans égard aux chances de succès du recours sur le fond (cf. <ref-ruling> consid. 2.6.1 p. 285), de sorte qu'il convient de commencer par son examen.
Le droit d'être entendu découlant de l'art. 29 al. 2 Cst. ne comprend pas le droit d'obtenir l'audition de témoins. En effet, l'autorité peut mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (cf. <ref-ruling> consid. 2.1 p. 429).
3.2 En l'espèce, la Cour de justice a estimé que l'audition de J._, directement impliquée en qualité de locataire principale des logements dont il était allégué qu'ils auraient été sous-loués et mis à la disposition des recourants, était plus pertinente que celle de K._, ancien collègue de la recourante. Elle a par conséquent entendu la première et renoncé à l'audition du second. Cette argumentation fait sens, le litige portant sur l'existence d'un domicile fiscal des recourants à Genève. En considérant l'audition de J._ comme suffisamment pertinente pour lui permettre de se forger une opinion définitive sans entendre encore K._, la Cour de justice a procédé à une appréciation anticipée des preuves qui ne peut être qualifiée d'arbitraire. Le recours doit dès lors être rejeté sur ce point.
4. 4.1 Le litige porte exclusivement sur le point de savoir si les recourants doivent ou non être imposés à la source compte tenu de leur domicile fiscal. Il convient de rappeler que le domicile fiscal des recourants a donné lieu à discussion. Pour la période fiscale 1999-2000, l'Administration fiscale cantonale a considéré qu'ils étaient domiciliés à Genève, à L._, alors que les époux A.B._ prétendaient résider à F._, en France, et demandaient à pouvoir déduire les frais relatifs à leurs déplacements quotidiens de 40 kilomètres. Ce litige s'est soldé par un arrêt de la Commission de recours du 4 décembre 2002, rejetant le recours des contribuables et considérant qu'ils étaient domiciliés dans le canton de Genève. Cette décision est devenue définitive. Par la suite, pour la période fiscale 2002 à 2004, l'Administration fiscale cantonale a estimé que les époux A.B._ étaient domiciliés en France et les a taxés à la source. Cette période fait l'objet de la présente procédure. Depuis 2005, l'Administration fiscale cantonale admet que les recourants ont leur domicile fiscal à Genève et sont soumis à une imposition ordinaire.
Le présent litige trouve ainsi son origine dans la décision de l'Administration fiscale cantonale assujettissant les recourants à l'impôt à la source pour les années 2002 à 2004 au motif qu'ils avaient leur domicile fiscal en France pendant cette période. Les recourants, de leur côté, allèguent que leur domicile fiscal a toujours été dans le canton de Genève, de sorte qu'ils sont soumis à la taxation ordinaire sur le revenu et la fortune pour les années 2002 à 2004.
4.2 Les personnes physiques sont assujetties à l'impôt à raison du rattachement personnel lorsque, au regard du droit fiscal, elles sont domiciliées dans le canton (cf. art. 3 al. 1 LHID et art. 2 al. 1 de l'ancienne loi genevoise du 22 septembre 2000 sur l'imposition des personnes physiques - Objet de l'impôt - Assujettissement à l'impôt [aLIPP-I; RS-GE D 3 11], qui reste applicable à la présente affaire en vertu de l'art. 72 al. 1 de la loi genevoise du 27 septembre 2009 sur l'imposition des personnes physiques [RS-GE D 3 08]). Par ailleurs, en application de l'art. 7 de la loi genevoise du 23 septembre 1994 sur l'imposition à la source des personnes physiques et morales (LISP; RS-GE D 3 20), qui correspond à l'art. 5 al. 1 let. a LHID, les travailleurs qui, sans être domiciliés ni en séjour en Suisse, y exercent une activité lucrative dépendante, sont soumis à l'impôt à la source sur le revenu de cette activité.
Il convient donc, pour établir si les recourants sont soumis à une taxation ordinaire ou à la source, de déterminer si leur domicile fiscal se trouvait en Suisse ou en France entre 2002 et 2004.
4.3 Par domicile fiscal, on entend en principe le domicile civil, c'est-à-dire le lieu où l'intéressé réside avec l'intention de s'y établir durablement ou le lieu où se situe le centre de ses intérêts (cf. art. 3 al. 2 LHID et art. 2 al. 2 aLIPP-I; arrêt 2C_969/2010 du 3 août 2011 consid. 3.1). Selon la jurisprudence du Tribunal fédéral, ce lieu se détermine en fonction de l'ensemble des circonstances objectives, et non en fonction des déclarations du contribuable; dans cette mesure, il n'est pas possible de choisir librement un domicile fiscal (cf. <ref-ruling> consid. 4.1 p. 35 s.).
Le Tribunal fédéral a par ailleurs retenu que, en matière de droit fiscal international, il ne suffit pas, pour admettre la constitution d'un nouveau domicile, d'avoir coupé les liens avec le domicile antérieur; il faut au contraire s'être constitué un nouveau domicile fiscal. Ainsi, dans la règle, selon le principe de la rémanence du domicile fiscal, le contribuable qui abandonne son domicile suisse pour se rendre à l'étranger conserve son domicile fiscal au lieu de son ancien domicile tant qu'il ne s'en est pas constitué un nouveau au lieu de sa nouvelle installation. La notion du domicile fiscal reste ainsi très proche de celle du droit civil et l'art. 24 al. 1 CC, qui prévoit que toute personne conserve son domicile aussi longtemps qu'elle ne s'en est pas créé un nouveau, s'applique par analogie en matière de droit fiscal international (cf. arrêts 2A.475/2003 du 26 juillet 2004 consid. 2.2.; 2A.337/2000 du 6 février 2001 consid. 2c; 2A.388/1998 du 3 mai 2000 consid. 5a; confirmés récemment in arrêt 2C_614/2011 du 4 mai 2012 consid. 3.3 destiné à la publication).
Dans le cas d'espèce, les recourants avaient leur domicile fiscal à Genève durant les périodes précédant les années 2002 à 2004 et ils ont été soumis à la taxation ordinaire. Ce sont d'ailleurs les autorités fiscales genevoises elles-mêmes qui ont insisté pour faire reconnaître la résidence genevoise des contribuables pour la période fiscale 1999-2000. En vertu des principes précités, ce domicile persiste tant que les contribuables ne s'en sont pas constitué un nouveau au lieu de leur nouvelle installation. Il s'agit d'examiner si tel est le cas en fonction des éléments de fait à disposition de la Cour de justice.
4.4 En matière fiscale, il appartient à l'autorité d'établir les faits qui justifient l'assujettissement et qui augmentent la taxation, tandis que le contribuable doit prouver les faits qui diminuent la dette ou la suppriment (cf. arrêt 2A.374/2006 du 30 octobre 2006 consid. 4.3). En ce qui concerne le domicile, cela implique qu'il appartient à l'autorité d'apporter les éléments de fait nécessaires pour établir le domicile fiscal déterminant pour l'assujettissement (cf. arrêt 2C_627/2011 du 7 mars 2012 consid. 4.2). Quand des indices clairs et précis rendent vraisemblable l'état de fait établi par l'autorité, il revient ensuite au contribuable de réfuter, preuves à l'appui, les faits avancés par celle-ci (cf. arrêt 2C_484/2009 du 30 septembre 2010 consid. 3.3). La procédure de taxation est ainsi caractérisée par la collaboration réciproque de l'autorité fiscale et du contribuable (cf. arrêt 2A.374/2006 du 30 octobre 2006 consid. 4). Savoir si un fait est ou non prouvé relève des faits, alors que la répartition du fardeau de la preuve est une question de droit (cf. <ref-ruling> consid. 5 p. 327; arrêt 5A.118/2012 du 20 avril 2012 consid. 3.2).
4.5 S'agissant de la période litigieuse allant de 2002 à 2004, l'Administration cantonale a retenu qu'il existait un faisceau d'indices suffisants pour admettre que les contribuables étaient domiciliés en France durant ces années. Dans sa décision du 9 novembre 2009, la Commission de recours a admis le recours des contribuables, retenant, à l'inverse des autorités fiscales, que ceux-ci avaient démontré qu'ils étaient domiciliés à Genève durant cette période et que l'Administration cantonale, à qui le fardeau de la preuve incombait, n'avait pas établi que le domicile fiscal des contribuables se situait en France. Pour sa part, la Cour de justice a considéré qu'il appartenait aux contribuables d'établir que leur domicile se situait à Genève. Faute pour eux d'être parvenus à apporter cette preuve, elle a conclu, sur la base des faits à sa disposition, que les recourants n'avaient pas démontré l'existence d'un domicile fiscal à Genève, de sorte que le recours de l'Administration fiscale devait être admis.
4.6 Le raisonnement de la Cour de justice, qui impose aux contribuables d'apporter la preuve qu'ils sont toujours domiciliés dans le canton de Genève, viole les règles sur la répartition du fardeau de la preuve et partant est contraire au droit. En effet, il appartenait aux autorités fiscales de démontrer que les recourants, dont elles avaient constaté qu'ils avaient leur domicile fiscal dans le canton de Genève jusqu'en 2001, étaient domiciliés fiscalement en France depuis 2002 puisqu'elles se fondaient sur cet élément pour augmenter leur taxation. Or, l'arrêt attaqué ne contient aucune constatation de fait qui permettrait de conclure de manière certaine que les recourants auraient fait de la France le centre de leurs intérêts entre 2002 et 2004, étant rappelé qu'avant 2002 et depuis 2005, il n'est pas contesté qu'ils sont domiciliés fiscalement en Suisse. Dans un tel contexte et comme l'avait retenu la Commission de recours, force est d'admettre que l'Administration fiscale, à qui la preuve incombait, n'a pas démontré que les contribuables se seraient constitués un nouveau domicile à l'étranger entre 2002 et 2004. Par conséquent, il convient d'admettre le maintien de leur domicile fiscal en Suisse. Il en découle que les recourants, ayant conservé leur domicile fiscal dans le canton de Genève de 2002 à 2004, y sont soumis à la taxation ordinaire pour cette période.
4.7 Le recours doit par conséquent être admis et l'arrêt attaqué annulé. La cause sera renvoyée à l'Administration fiscale cantonale pour qu'elle procède à une taxation ordinaire des recourants pour les années 2002 à 2004. Il y a également lieu de renvoyer l'affaire à la Cour de justice pour qu'elle procède à une nouvelle répartition des frais et dépens de la procédure qui s'est déroulée devant elle, le Tribunal fédéral renonçant à faire usage de l'art. 67 LTF.
5. Succombant, le canton de Genève, dont l'intérêt pécuniaire est en cause (cf. arrêt 2C_648/2009 du 29 mars 2010 consid. 6 non publié à l'<ref-ruling>), doit supporter les frais judiciaires (cf. art. 66 al. 1 et 4 LTF). Il versera en outre aux recourants une indemnité à titre de dépens (cf. art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis.
2. L'arrêt de la Cour de justice du 6 décembre 2011 est annulé. La cause est renvoyée à l'Administration fiscale cantonale pour qu'elle procède à une taxation ordinaire des recourants pour les années 2002 à 2004.
3. L'affaire est renvoyée à la Cour de justice afin qu'elle fixe à nouveau les frais et dépens de la procédure qui s'est déroulée devant elle.
4. Les frais judiciaires, arrêtés à CHF 4'000.-, sont mis à la charge du canton de Genève.
5. Le canton de Genève versera aux recourants une indemnité de CHF 5'000.- à titre de dépens.
6. Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre administrative, 2ème section, et à l'Administration fédérale des contributions.
Lausanne, le 25 juillet 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Beti