Faits: A. Le 2 novembre 2005, l'Administration fiscale du canton de Genève a averti les époux B.X._ et A.X._ de l'ouverture à leur encontre de procédures en rappel d'impôt pour l'impôt fédéral direct des périodes fiscales 1995/96 à 1999/2000 et pour l'impôt cantonal et communal (ci-après: ICC) des années 2000 et 2001-A. Le 13 décembre 2005, l'Administration fiscale cantonale a informé les contribuables prénommés que la procédure concernant l'ICC de la période fiscale 2000 était achevée. Elle leur a adressé un bordereau de rappel d'impôt comportant un supplément d'impôt de 1'547'020 fr. 70 et des intérêts de retard de 249'199 fr. 25. L'Administration fiscale cantonale s'est en outre réservé le droit d'infliger une amende pour la période fiscale en question. Le 13 janvier 2006, A.X._ a formé une réclamation à l'encontre de ce bordereau. A la demande du contribuable, l'Administration fiscale cantonale a organisé une réunion concernant les procédures de rappel d'impôt, qui s'est tenue le 25 novembre 2008 en ses locaux. Ont participé à cette séance le contribuable et son conseil, ainsi que, pour l'Administration fiscale cantonale, C._, directeur du Service du contrôle, D._, expert-contrôleur et E._, contrôleuse. Selon le "rapport d'entretien", document interne établi le même jour, A.X._ a à cette occasion notamment relevé que les demandes de sûretés se rapportant à sa maison étaient disproportionnées et abusives; il a considéré à ce propos que E._ était vindicative et de mauvaise foi. Celle-ci a pour sa part rappelé que le Tribunal administratif avait estimé, dans le cadre d'une autre procédure, que le séquestre était proportionné. C._ a confirmé les mesures prises, en ajoutant qu'il était loisible au contribuable de soumettre à l'Administration fiscale cantonale une proposition raisonnable en vue de régler la situation. Dans un courrier du 17 décembre 2008 adressé à E._, le conseil du contribuable a relevé ce qui suit: "Lors de l'entretien précité du 25 novembre 2008, vous avez affirmé que, comme les droits du fisc genevois afférents aux revenus réalisés pendant les années civiles antérieures, et tout particulièrement en 1993 et 1994, sont frappés de prescription, la taxation ne peut qu'être maintenue. J'ai immédiatement souligné, et répète par la présente, qu'une autorité administrative ne peut pas se 'rattraper' en taxant sans justification une période parce que les périodes antérieures sont prescrites". Par deux décisions sur réclamation du 19 décembre 2008, signées par D._ et E._, l'Administration fiscale cantonale a notifié aux contribuables un bordereau rectificatif de rappel d'impôt ICC 2000 ainsi qu'un bordereau rectificatif de rappel d'impôt ICC 2000 fondé sur l'ancien art. 17 al. 6 de la loi genevoise sur les contributions publiques du 9 novembre 1887 (LCP - RS/GE D 3 05; disposition abrogée avec effet au 1er janvier 2001). A la même date, l'Administration fiscale cantonale a adressé aux contribuables, pour l'ICC 2000, un bordereau d'amende de 1'158'668 fr., qui correspondait au montant de l'impôt soustrait. L'amende était fondée sur le fait que A.X._ n'avait pas déclaré certains revenus provenant d'une activité lucrative. Ce bordereau portait la signature de D._ et E._. Le 13 janvier 2009, l'Administration fiscale cantonale a informé les contribuables que les décisions du 19 décembre 2008 étaient annulées. Le 14 janvier 2009, l'Administration fiscale cantonale a rendu trois nouvelles décisions, signées par D._ et E._, et notifié aux contribuables un nouveau bordereau rectificatif de rappel d'impôt ICC 2000 ainsi qu'un nouveau bordereau d'amende relatif à l'ICC 2000 d'un montant de 1'175'050 fr. Elle a par ailleurs annulé le bordereau de taxation ICC 2001-A. Dans un courrier du 19 janvier 2009 adressé à E._, le conseil du contribuable a notamment exposé avoir de très sérieuses raisons de douter de l'objectivité de l'Administration. La collaboratrice prénommée n'avait en particulier pas démenti avoir tenu, lors de l'entretien du 25 novembre 2008, les propos résumés dans son courrier du 17 décembre 2008. Le 3 février 2009, A.X._ a formé réclamation contre le bordereau d'amende ICC 2000 du 14 janvier 2009. Il a demandé la récusation de E._, D._t et C._ et, compte tenu de la position hiérarchique de ce dernier, de l'ensemble des collaborateurs du Service du contrôle. Par décision du 8 avril 2009, le directeur général de l'Administration fiscale cantonale, F._, a rejeté la demande de récusation. L'en-tête de cette décision comportait la mention "N/réf. : XXX/XX/xxxx/xxx". B. Par acte du 20 avril 2009, le contribuable a déféré ce prononcé au Tribunal administratif du canton de Genève. Il a notamment fait valoir qu'à en juger par les initiales figurant dans l'en-tête de cette décision, celle-ci avait été prise par les personnes même dont la récusation était demandée, de sorte qu'elle devait être annulée. Par décision du 27 octobre 2009, le Tribunal administratif a déclaré le recours irrecevable et l'a transmis à la Commission cantonale de recours en matière administrative (ci-après: la Commission cantonale de recours) comme objet de sa compétence. La Commission cantonale de recours a rejeté le recours par décision du 26 janvier 2010. Par acte du 1er mars 2010, le contribuable a recouru contre cette décision auprès du Tribunal administratif, qui a rejeté le recours par arrêt du 22 juin 2010. Examinant d'abord si le prononcé du 8 avril 2009 était conforme aux dispositions légales sur la récusation, cette autorité a relevé que F._ avait affirmé avoir pris seul cette décision, certes après s'être entretenu avec E._, D._ et C._, en vue d'établir les faits. La seule mention des initiales des personnes précitées dans l'en-tête de la décision ne suffisait pas à admettre que celles-ci avaient participé à son élaboration. Les juges cantonaux ont ensuite confirmé que la demande de récusation du 3 février 2009 était tardive. C. Agissant par la voie du recours en matière de droit public, A.X._ demande au Tribunal fédéral d'annuler la décision du 22 juin 2010 et de renvoyer le dossier au Tribunal administratif pour nouvelle décision dans le sens des considérants, sous suite de frais et dépens. Il dénonce une violation des art. 57bis de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14), 48 LIFD (recte: LHID), 6 CEDH, des règles sur la composition de l'autorité, de celles sur le fardeau de la preuve, ainsi que du droit à la preuve découlant du droit d'être entendu et se plaint de formalisme excessif. L'autorité précédente s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. L'Administration fiscale cantonale s'en remet à justice en ce qui concerne la recevabilité du recours et conclut à son rejet sur le fond.