Faits:
A. Le 2 novembre 2005, l'Administration fiscale du canton de Genève a averti les époux B.X._ et A.X._ de l'ouverture à leur encontre de procédures en rappel d'impôt pour l'impôt fédéral direct des périodes fiscales 1995/96 à 1999/2000 et pour l'impôt cantonal et communal (ci-après: ICC) des années 2000 et 2001-A.
Le 13 décembre 2005, l'Administration fiscale cantonale a informé les contribuables prénommés que la procédure concernant l'ICC de la période fiscale 2000 était achevée. Elle leur a adressé un bordereau de rappel d'impôt comportant un supplément d'impôt de 1'547'020 fr. 70 et des intérêts de retard de 249'199 fr. 25. L'Administration fiscale cantonale s'est en outre réservé le droit d'infliger une amende pour la période fiscale en question.
Le 13 janvier 2006, A.X._ a formé une réclamation à l'encontre de ce bordereau.
A la demande du contribuable, l'Administration fiscale cantonale a organisé une réunion concernant les procédures de rappel d'impôt, qui s'est tenue le 25 novembre 2008 en ses locaux. Ont participé à cette séance le contribuable et son conseil, ainsi que, pour l'Administration fiscale cantonale, C._, directeur du Service du contrôle, D._, expert-contrôleur et E._, contrôleuse. Selon le "rapport d'entretien", document interne établi le même jour, A.X._ a à cette occasion notamment relevé que les demandes de sûretés se rapportant à sa maison étaient disproportionnées et abusives; il a considéré à ce propos que E._ était vindicative et de mauvaise foi. Celle-ci a pour sa part rappelé que le Tribunal administratif avait estimé, dans le cadre d'une autre procédure, que le séquestre était proportionné. C._ a confirmé les mesures prises, en ajoutant qu'il était loisible au contribuable de soumettre à l'Administration fiscale cantonale une proposition raisonnable en vue de régler la situation.
Dans un courrier du 17 décembre 2008 adressé à E._, le conseil du contribuable a relevé ce qui suit:
"Lors de l'entretien précité du 25 novembre 2008, vous avez affirmé que, comme les droits du fisc genevois afférents aux revenus réalisés pendant les années civiles antérieures, et tout particulièrement en 1993 et 1994, sont frappés de prescription, la taxation ne peut qu'être maintenue. J'ai immédiatement souligné, et répète par la présente, qu'une autorité administrative ne peut pas se 'rattraper' en taxant sans justification une période parce que les périodes antérieures sont prescrites".
Par deux décisions sur réclamation du 19 décembre 2008, signées par D._ et E._, l'Administration fiscale cantonale a notifié aux contribuables un bordereau rectificatif de rappel d'impôt ICC 2000 ainsi qu'un bordereau rectificatif de rappel d'impôt ICC 2000 fondé sur l'ancien art. 17 al. 6 de la loi genevoise sur les contributions publiques du 9 novembre 1887 (LCP - RS/GE D 3 05; disposition abrogée avec effet au 1er janvier 2001).
A la même date, l'Administration fiscale cantonale a adressé aux contribuables, pour l'ICC 2000, un bordereau d'amende de 1'158'668 fr., qui correspondait au montant de l'impôt soustrait. L'amende était fondée sur le fait que A.X._ n'avait pas déclaré certains revenus provenant d'une activité lucrative. Ce bordereau portait la signature de D._ et E._.
Le 13 janvier 2009, l'Administration fiscale cantonale a informé les contribuables que les décisions du 19 décembre 2008 étaient annulées.
Le 14 janvier 2009, l'Administration fiscale cantonale a rendu trois nouvelles décisions, signées par D._ et E._, et notifié aux contribuables un nouveau bordereau rectificatif de rappel d'impôt ICC 2000 ainsi qu'un nouveau bordereau d'amende relatif à l'ICC 2000 d'un montant de 1'175'050 fr. Elle a par ailleurs annulé le bordereau de taxation ICC 2001-A.
Dans un courrier du 19 janvier 2009 adressé à E._, le conseil du contribuable a notamment exposé avoir de très sérieuses raisons de douter de l'objectivité de l'Administration. La collaboratrice prénommée n'avait en particulier pas démenti avoir tenu, lors de l'entretien du 25 novembre 2008, les propos résumés dans son courrier du 17 décembre 2008.
Le 3 février 2009, A.X._ a formé réclamation contre le bordereau d'amende ICC 2000 du 14 janvier 2009. Il a demandé la récusation de E._, D._t et C._ et, compte tenu de la position hiérarchique de ce dernier, de l'ensemble des collaborateurs du Service du contrôle.
Par décision du 8 avril 2009, le directeur général de l'Administration fiscale cantonale, F._, a rejeté la demande de récusation. L'en-tête de cette décision comportait la mention "N/réf. : XXX/XX/xxxx/xxx".
B. Par acte du 20 avril 2009, le contribuable a déféré ce prononcé au Tribunal administratif du canton de Genève. Il a notamment fait valoir qu'à en juger par les initiales figurant dans l'en-tête de cette décision, celle-ci avait été prise par les personnes même dont la récusation était demandée, de sorte qu'elle devait être annulée.
Par décision du 27 octobre 2009, le Tribunal administratif a déclaré le recours irrecevable et l'a transmis à la Commission cantonale de recours en matière administrative (ci-après: la Commission cantonale de recours) comme objet de sa compétence.
La Commission cantonale de recours a rejeté le recours par décision du 26 janvier 2010.
Par acte du 1er mars 2010, le contribuable a recouru contre cette décision auprès du Tribunal administratif, qui a rejeté le recours par arrêt du 22 juin 2010. Examinant d'abord si le prononcé du 8 avril 2009 était conforme aux dispositions légales sur la récusation, cette autorité a relevé que F._ avait affirmé avoir pris seul cette décision, certes après s'être entretenu avec E._, D._ et C._, en vue d'établir les faits. La seule mention des initiales des personnes précitées dans l'en-tête de la décision ne suffisait pas à admettre que celles-ci avaient participé à son élaboration. Les juges cantonaux ont ensuite confirmé que la demande de récusation du 3 février 2009 était tardive.
C. Agissant par la voie du recours en matière de droit public, A.X._ demande au Tribunal fédéral d'annuler la décision du 22 juin 2010 et de renvoyer le dossier au Tribunal administratif pour nouvelle décision dans le sens des considérants, sous suite de frais et dépens. Il dénonce une violation des art. 57bis de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14), 48 LIFD (recte: LHID), 6 CEDH, des règles sur la composition de l'autorité, de celles sur le fardeau de la preuve, ainsi que du droit à la preuve découlant du droit d'être entendu et se plaint de formalisme excessif.
L'autorité précédente s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. L'Administration fiscale cantonale s'en remet à justice en ce qui concerne la recevabilité du recours et conclut à son rejet sur le fond.

Considérant en droit:
1. 1.1 L'arrêt attaqué constitue une décision incidente notifiée séparément et portant sur une demande de récusation, de sorte qu'il peut faire l'objet d'un recours immédiat au Tribunal fédéral en vertu de l'<ref-law>.
La détermination de la voie de droit ouverte à l'encontre d'une décision incidente dépend de la cause au fond (arrêt 2C_239/2010 du 30 juin 2010 consid. 1.2; cf. aussi <ref-ruling> consid. 2.2). En l'occurrence, la décision litigieuse a été rendue dans le cadre d'une procédure en soustraction d'impôt cantonal et communal. Comme ce domaine relève du droit public et qu'aucune des exceptions prévues à l'<ref-law> n'est réalisée, la voie du recours en matière de droit public est ouverte sur la base de l'<ref-law>. La soustraction d'impôt étant une matière harmonisée aux <ref-law>, la voie du recours en matière de droit public est donc aussi réservée par l'<ref-law> (cf. <ref-ruling> ss).
La voie du recours en matière de droit public étant ouverte sur le fond, elle l'est aussi à l'égard de la décision incidente litigieuse en l'espèce.
1.2 Déposé en temps utile (cf. <ref-law>) et en la forme prévue par la loi (cf. <ref-law>), le recours est dirigé contre une décision rendue par une autorité cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF). Par ailleurs, il a été interjeté par le contribuable destinataire de la décision attaquée et qui a un intérêt digne de protection à son annulation ou sa modification (cf. <ref-law>). Il est donc en principe recevable.
1.3 D'après l'<ref-law>, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral ainsi que la conformité du droit cantonal harmonisé et de son application par les instances cantonales aux dispositions de la loi fédérale sur l'harmonisation fiscale. Selon l'<ref-law>, en revanche, le Tribunal fédéral n'examine la violation de dispositions de droit cantonal que si ces griefs ont été soulevés et motivés. Il en va de même lorsque les dispositions de la loi sur l'harmonisation fiscale laissent une certaine marge de manoeuvre aux cantons, l'examen de l'interprétation du droit cantonal étant alors limité à l'arbitraire (<ref-ruling> consid. 2 p. 209 s.).
1.4 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), à moins que les faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). S'agissant de l'appréciation des preuves et des constatations de fait, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 1.3, 134 I 140 consid. 5.4). Le recourant doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 5.2.2 p. 322; <ref-ruling> consid 1.4 p. 400; <ref-ruling> consid. 1.4 p. 254/255). En particulier, le Tribunal de céans n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (ATF <ref-ruling> consid 1.4 p. 400; <ref-ruling> consid. 1.4 p. 254/255; <ref-ruling> consid. 6.2 p. 288).
2. En l'occurrence, la récusation des collaborateurs de l'Administration fiscale cantonale est régie par le droit cantonal, dans les limites du droit constitutionnel. La loi fédérale sur l'harmonisation étant muette à cet égard, les griefs qui s'y rapportent sont mal fondés.
3. 3.1 Dans un grief de nature formelle, qu'il convient d'examiner en premier lieu, le recourant fait valoir qu'à partir du moment où il avait mis en lumière des indices de ce que les personnes en cause avaient participé à la prise de la décision du 8 avril 2009 portant sur leur propre récusation, il appartenait à l'Administration fiscale cantonale d'apporter la preuve du contraire. En retenant que la participation de ces personnes n'était pas établie, au motif que le recourant n'avait pas démontré celle-ci à satisfaction de droit, l'autorité précédente aurait violé les règles sur le fardeau de la preuve ainsi que son droit à la preuve découlant de son droit d'être entendu.
3.2 L'autorité précédente a estimé en substance que la seule mention des initiales des collaborateurs concernés n'impliquaient pas nécessairement que ceux-ci avaient pris part à l'élaboration de la décision. Elle a donné plus de poids aux déclarations du directeur de de l'Administration fiscale cantonale, qui a signé ce prononcé, et retenu que celui-ci avait pris seul la décision. Ce faisant, les juges cantonaux n'ont pas fait supporter le fardeau de la preuve au recourant ni agi de manière à affecter son droit d'être entendu, mais ils ont procédé à une appréciation des preuves. Or, le recourant ne fait pas valoir d'une façon satisfaisant aux exigences de motivation rappelées ci-dessus (consid. 1.4) que cette appréciation serait arbitraire.
Dans ces conditions, les griefs soulevés en relation avec la mention des initiales des collaborateurs sont mal fondés en tant qu'ils sont recevables.
4. 4.1 Le recourant soutient qu'en confirmant le caractère tardif de sa demande de récusation du 3 février 2009, l'autorité précédente a consacré un formalisme excessif. Selon lui, le défaut de récusation des personnes en cause entraîne une composition incorrecte de l'autorité appelée à statuer sur sa réclamation, en violation de l'art. 6 CEDH. Cela serait d'autant plus grave que, dans le canton de Genève, l'autorité de réclamation est la seule à examiner le prononcé d'une amende pour soustraction fiscale avec un plein pouvoir de cognition.
4.2 La jurisprudence a tiré de l'art. 29 al. 1 Cst. le principe de l'interdiction du déni de justice formel qui comprend la prohibition de tout formalisme excessif. Un tel formalisme existe lorsque la stricte application des règles de procédure ne se justifie par aucun intérêt digne de protection, devient une fin en soi, complique sans raison objective la réalisation du droit matériel ou entrave de manière inadmissible l'accès aux tribunaux. Le Tribunal fédéral examine cette question librement (<ref-ruling> consid. 2.1 p. 9; <ref-ruling> consid. 5.4.1 p. 183 s.; <ref-ruling> consid. 2a p. 142).
4.3 Même dans le domaine du droit pénal fiscal, où l'art. 6 CEDH est applicable, la récusation des membres d'une autorité administrative cantonale n'est pas régie par cette disposition - qui règle l'accès à un tribunal et la procédure devant celui-ci -, mais par le droit cantonal et l'art. 29 al. 1 Cst. (cf. arrêt 2P.50/1992 du 21 septembre 1993 consid. 8, in StE 1994 B 101.8 no 12 et Gerold Steinmann, in Die schweizerische Bundesverfassung, 2e éd., 2008, no 18 ad art. 29 Cst.). Or, le recours ne contient aucune motivation sous l'angle de ces dispositions, dont il n'y a pas lieu d'examiner d'office la violation (cf. consid. 1.3 ci-dessus).
Le recourant se prévaut tout au plus du principe de l'interdiction du formalisme excessif, mais on ne voit pas en quoi le fait d'avoir considéré sa demande de récusation comme tardive serait constitutif d'un tel formalisme. Il est en effet de jurisprudence constante qu'un motif de récusation doit être invoqué dès que possible, à défaut de quoi le plaideur est réputé avoir renoncé à s'en prévaloir et voit son droit se périmer (<ref-ruling> consid. 3.4 p. 211 s. et les arrêts cités). En l'occurrence, le recourant avait connaissance du motif de récusation invoqué à compter du 25 novembre 2008, date de l'entretien lors duquel E._ aurait eu une attitude prétendument partiale. Il n'a formulé sa demande de récusation que le 3 février 2009, en même temps qu'il déposait une réclamation contre le bordereau d'amende du 14 janvier 2009, la décision ayant été entre-temps rendue. Dans ces conditions, il n'était nullement formaliste de qualifier sa demande de récusation de tardive, étant précisé que les allégations du recourant selon lesquelles il aurait été "prématuré et incongru" de faire cette demande plus tôt, parce qu'il se trouvait alors en pourparlers avec l'Administration fiscale cantonale, ne sont pas convaincantes.
Les griefs soulevés par le recourant doivent ainsi être rejetés.
5. Vu ce qui précède, le recours doit être rejeté dans la mesure où il est recevable.
Succombant, le recourant doit supporter un émolument judiciaire (cf. <ref-law>). Il n'y a pas lieu d'allouer des dépens (cf. art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Des frais judiciaires de 2'000 fr. sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, à l'Administration fiscale cantonale, à la Commission cantonale de recours en matière administrative et au Tribunal administratif du canton de Genève, 1ère section.
Lausanne, le 15 novembre 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Zünd Vianin