Faits: A. A.a A._ et son épouse B._ sont tous deux ressortissants suisses. Ils ont deux filles, nées en 1984 et 1995. Depuis 1996, A._ est cadre supérieur auprès de C._ SA, à D._. B._ travaille depuis 1991 pour la Banque E._ à Genève. Selon les contrats de travail qui lient l'un et l'autre des époux à leurs employeurs respectifs, ils ne sont pas autorisés à prendre domicile hors de Suisse. Depuis 1993, les époux A.B._ sont propriétaires d'une maison sise à F._, en Haute-Savoie (France). A.b Le 26 mars 2000, les époux A.B._ ont élevé réclamation à l'encontre de la taxation 1999-2000 établie par les autorités fiscales genevoises et demandé notamment la déduction de leurs frais de déplacement, puisqu'ils devaient parcourir quotidiennement 40 kilomètres pour se rendre de F._ à leur lieu de travail à Genève. Cette réclamation ainsi que le recours subséquent des époux A.B._ ont été rejetés et la taxation est devenue définitive. Les autorités ont retenu que les intéressés étaient domiciliés dans le canton de Genève, de sorte que les frais de déplacement n'étaient admis qu'à hauteur des frais nécessaires pour leurs trajets dans ce canton. A.c En remplissant leur déclaration fiscale 2002, 2003 et 2004, les époux A.B._ ont mentionné qu'ils étaient domiciliés avec leurs enfants à Genève, rue ***. Le 22 mars 2006, le service de l'impôt à la source de l'Administration fiscale cantonale a écrit à A._ à l'adresse de son employeur pour lui réclamer une attestation relative à la scolarisation d'une de ses filles. Celui-ci a produit l'attestation requise et souligné qu'il résidait à Genève, de sorte qu'il ne pouvait être assimilé à un travailleur frontalier. Dans le cadre d'un entretien avec un fonctionnaire de l'Administration fiscale cantonale qui a eu lieu le 20 avril 2006, A._ a expliqué que, depuis le 1er janvier 2005, il habitait avec sa famille chez G._, chemin ****, à H._. B. Par trois décisions du 22 mai 2006, l'Administration fiscale cantonale a informé les contribuables qu'elle avait procédé à la rectification de l'impôt sur leur revenu, perçu à la source pour les années 2002, 2003 et 2004. Après déduction des montants déjà versés au titre de l'impôt cantonal et communal ainsi que de l'impôt fédéral direct, il restait un solde de CHF 41'064.40 pour 2002, de CHF 31'062.60 pour 2003 et de CHF 35'669.70 pour 2004 à acquitter. Le 22 juin 2006, les époux A.B._ ont déposé une réclamation contre les trois décisions précitées. Ils faisaient valoir qu'ils avaient certes déménagé à plusieurs reprises, mais qu'ils avaient toujours conservé le centre de leurs intérêts à Genève. Du 1er janvier 2002 au 31 janvier 2003, ils avaient vécu dans un appartement mis à leur disposition par une amie de B._, rue ***, à Genève. Du 1er février 2003 au 31 décembre 2004, ils avaient habité avec cette amie dans la maison de son père qui venait de décéder, chemin *****, à I._. Le 3 octobre 2006, l'Administration fiscale cantonale a rejeté la réclamation et confirmé les taxations à la source de 2002 à 2004, en considérant que les époux A.B._ étaient domiciliés en France. Les époux A.B._ ont recouru contre cette décision auprès de la Commission cantonale de recours en matière d'impôt fédéral direct, qui est devenue, le 1er janvier 2009, la Commission cantonale de recours en matière administrative (ci-après la Commission de recours) puis, depuis le 1er janvier 2011, le Tribunal administratif de première instance. La Commission de recours a rendu sa décision le 9 novembre 2009. Elle a admis le recours et renvoyé le dossier à l'Administration fiscale cantonale pour nouvelle taxation, les intéressés ayant démontré qu'ils étaient domiciliés à Genève durant les années 2002 à 2004. L'Administration fiscale cantonale a recouru contre cette décision auprès du Tribunal administratif, devenu depuis le 1er janvier 2011 la Chambre administrative de la Cour de justice (ci-après la Cour de justice). Après un double échange d'écritures et une audience de comparution personnelle et d'enquête, la Cour de justice a rendu son arrêt le 6 décembre 2011. Elle a admis le recours de l'Administration fiscale cantonale, annulé la décision de la Commission de recours du 9 novembre 2009 et rétabli les taxations des époux A.B._ pour l'impôt à la source 2002 à 2004. C. Par acte du 30 janvier 2012, A._ et B._ déposent un recours en matière de droit public au Tribunal fédéral contre l'arrêt de la Cour de justice du 6 décembre 2011. Ils concluent à l'annulation de l'arrêt précité sous suite de frais et dépens. Ils requièrent à titre principal le renvoi de la cause à l'Administration fiscale cantonale pour nouvelle taxation selon le régime ordinaire pour les années 2002 à 2004, subsidiairement son renvoi à la Cour de justice pour nouvelle décision au sens des considérants. L'Administration fiscale cantonale a conclu au rejet du recours. La Cour de justice a déclaré persister dans les considérants et le dispositif de son arrêt. Elle a par ailleurs indiqué que son arrêt du 6 décembre 2011 avait fait l'objet d'une demande d'interprétation. Quant à l'Administration fédérale des contributions, elle a conclu au rejet du recours et à la confirmation de l'arrêt du 6 décembre 2011. Par ordonnance du 20 février 2012, le Président de la IIe Cour de droit public a accordé au recours l'effet suspensif sollicité. Les recourants ont déposé une ultime détermination le 16 avril 2012. Le Tribunal fédéral a demandé à la Cour de justice de lui communiquer une copie de la demande d'interprétation dont elle était saisie, ce qui a été fait le 8 mai 2012. Par arrêt du 5 juin 2012, la Cour de justice a rejeté la demande en interprétation formée par les époux A.B._.