Faits:
A. Le 24 octobre 1997, la banque X._ a déposé plainte pénale notamment contre A._ pour gestion déloyale, diminution effective de l'actif au préjudice des créanciers et gestion fautive. Le 10 novembre 1998, la banque Y._ et la banque Z._ se sont jointes à la procédure en qualité de plaignantes. Le 20 décembre 2004, A._ a été renvoyé devant le Tribunal pénal économique du canton de Fribourg pour diminution effective de l'actif au préjudice des créanciers, éventuellement gestion déloyale ou gestion fautive et avantages accordés à certains créanciers. Par jugement du 13 février 2007, ce tribunal l'a reconnu coupable de complicité de gestion fautive et il l'a acquitté des chefs de prévention de diminution effective de l'actif au préjudice des créanciers et de gestion déloyale. Il l'a ainsi condamné à une peine pécuniaire de 90 jours-amende, le jour-amende étant fixé à 250 fr., avec sursis pendant deux ans.
Par arrêt du 4 juin 2009, la Cour d'appel pénal du Tribunal cantonal fribourgeois a admis le recours de A._ en ce sens qu'elle l'a acquitté des chefs de prévention de diminution effective de l'actif au préjudice des créanciers, de gestion fautive et de gestion déloyale. Statuant sur recours du Ministère public de l'Etat de Fribourg, la Cour de droit pénal du Tribunal fédéral a annulé cet arrêt, considérant en substance que la violation du principe d'accusation constatée par la Cour d'appel ne devait pas conduire automatiquement à un acquittement (arrêt 6B_657/2009 du 13 août 2009). Statuant à nouveau par arrêt du 9 mars 2010, la Cour d'appel a annulé le jugement du 13 février 2007 et renvoyé la cause au Tribunal pénal économique pour nouveau jugement.
B. Par courrier du 10 juin 2010, le Président du Tribunal pénal économique, B._, a annoncé aux parties que le nouveau jugement serait rendu par les mêmes juges qui avaient statué le 13 février 2007. A._ a alors formé une demande de récusation, que le Président du Tribunal pénal économique a transmise au Tribunal cantonal. Ce tribunal ayant décliné sa compétence le 22 septembre 2010, la demande de récusation en cause a été renvoyée au Tribunal pénal économique, qui l'a admise par jugement du 9 novembre 2010.
Par mandat du 16 décembre 2010, notifié le 20 décembre 2010, A._ a été cité à comparaître aux débats du Tribunal pénal économique début février 2011. Ce mandat indiquait la composition du tribunal et impartissait "un délai au 4 janvier 2011 non prolongeable" pour requérir l'administration d'autres preuves, indiquer de manière précise l'objet de celles-ci et faire connaître, sous peine de déchéance, les questions préliminaires qu'il entendait soulever. Par courrier du 22 décembre 2010, le mandataire de A._ a requis une prolongation de ce délai au motif que son client serait absent à l'étranger pendant les fêtes, du 25 décembre 2010 au 8 janvier 2011, et qu'il n'aurait donc pas le temps nécessaire pour préparer avec lui l'administration des preuves et les questions préliminaires. Le 4 janvier 2011, le Président du Tribunal pénal économique a confirmé que le délai était non prolongeable.
Le 17 janvier 2011, A._ a demandé la récusation du Président du Tribunal pénal économique, B._, et éventuellement celle des autres juges de ce tribunal. Il reprochait au premier d'avoir refusé de statuer sur sa demande de prolongation de délai et de lui avoir imparti un délai insuffisant pour la préparation de sa défense. Il sollicitait la récusation des autres juges du Tribunal pénal économique dans la mesure où leurs relations contractuelles avec les institutions bancaires parties à la procédure allaient au-delà d'une simple gestion d'un compte bancaire. Le 27 janvier 2011, il a précisé que la requête de récusation visait le président B._, le juge C._ et le greffier ad hoc D._. Par arrêt du 31 janvier 2011, la Chambre pénale du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal) a déclaré la demande de récusation irrecevable parce que tardive.
C. Par jugement du 11 février 2011, le Tribunal pénal économique a reconnu A._ coupable de gestion fautive et l'a condamné à une peine pécuniaire de 60 jours-amende, le jour-amende étant fixé à 250 fr., avec sursis pendant deux ans.
D. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal cantonal du 31 janvier 2011 et d'admettre la demande de récusation du 17 janvier 2011, subsidiairement de renvoyer la cause au Tribunal pénal économique pour nouvelle décision. Il se plaint d'une violation des art. 58 et 59 du Code de procédure pénale suisse du 5 octobre 2007 (CPP; RS 312.0) en relation avec l'art. 29 Cst. Il se plaint également d'une violation de son droit d'être entendu. Le Ministère public de l'Etat de Fribourg a présenté des observations. Le Tribunal cantonal et C._ y ont renoncé. B._ et D._ se réfèrent aux déterminations qu'ils avaient produites devant l'instance précédente. Le recourant a présenté des observations complémentaires.

Considérant en droit:
1. Conformément aux art. 78 et 92 al. 1 LTF, une décision prise en dernière instance cantonale relative à la récusation d'un magistrat dans la procédure pénale peut faire immédiatement l'objet d'un recours en matière pénale. Dans le canton de Fribourg, la Chambre pénale du Tribunal cantonal est l'autorité compétente pour statuer définitivement sur les demandes de récusation visant les tribunaux de première instance (<ref-law> en relation avec l'art. 64 let. c de la loi cantonale du 31 mai 2010 sur la justice [LJ; RSF 130.1]). L'auteur de la demande de récusation a qualité pour recourir (<ref-law>). Il a agi dans le délai de trente jours prescrit à l'<ref-law>. Compte tenu du pouvoir de décision du Tribunal fédéral, défini à l'<ref-law>, les conclusions tendant à l'annulation de la décision attaquée et à l'admission de la demande de récusation, voire au renvoi de la cause au Tribunal pénal économique, sont recevables.
2. Dans un grief de nature formelle qu'il convient d'examiner en premier lieu, le recourant se plaint d'une violation de son droit d'être entendu. Il allègue qu'il n'a pas pu se prononcer sur les déterminations des juges et du greffier visés par la demande de récusation.
2.1 Tel qu'il est garanti à l'art. 29 al. 2 Cst., le droit d'être entendu comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, le droit de consulter le dossier, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuve pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 5.1 p. 293; <ref-ruling> consid. 2.2 p. 504 s.; <ref-ruling> consid. 2b p. 56 et les arrêts cités). Le droit de consulter le dossier s'étend à toutes les pièces décisives (<ref-ruling> consid. 3.2 p. 494; <ref-ruling> consid. 2a p. 227 et les références citées). Il en découle notamment que l'autorité qui verse au dossier de nouvelles pièces dont elle entend se prévaloir dans son jugement est tenue en principe d'en aviser les parties, même si elle estime que les documents en question ne contiennent aucun nouvel élément de fait ou de droit (<ref-ruling> consid. 2c p. 100, confirmé par l'<ref-ruling> consid. 3).
2.2 En l'occurrence, le recourant affirme, sans être contredit sur ce point, que les déterminations des juges et du greffier visés par la demande de récusation lui ont été transmises par fax le vendredi 28 janvier 2011 vers 16 h 30. Le jugement attaqué ayant été rendu le lundi suivant 31 janvier 2011, il est exact que le recourant n'a pas eu l'occasion de se déterminer sur les pièces en question. Cette manière de procéder serait problématique si l'autorité avait statué sur la demande de récusation (cf. arrêt 1P.245/2006 du 12 juillet 2006 consid. 2 et les références citées). Cependant, la requête a été déclarée irrecevable. Les explications des personnes visées par la demande de récusation ont donc perdu toute portée et il n'était pas nécessaire de donner au recourant l'occasion de se déterminer à leur sujet. Dans ces conditions, dès lors que la demande de récusation était irrecevable pour cause de tardiveté (cf. infra consid. 3), l'autorité intimée pouvait statuer sans inviter le recourant à se déterminer sur le fond. Ce premier moyen doit donc être rejeté.
3. Le recourant conteste par ailleurs que le caractère tardif d'une demande de récusation entraîne l'irrecevabilité de celle-ci. Il se plaint à cet égard d'une violation des art. 58 et 59 CPP en relation avec l'art. 29 Cst.
3.1 Aux termes de l'<ref-law>, "lorsqu'une partie entend demander la récusation d'une personne qui exerce une fonction au sein d'une autorité pénale, elle doit présenter sans délai à la direction de la procédure une demande en ce sens, dès qu'elle a connaissance du motif de récusation". La formulation de cette disposition est semblable à celle de l'<ref-law>, qui prévoit que la partie doit présenter la demande "dès qu'elle a connaissance du motif de récusation". Selon la jurisprudence relative à cette disposition, la partie doit agir sans délai dès qu'elle a en main tous les éléments propres à fonder une demande de récusation. En effet, selon la pratique constante, celui qui omet de se plaindre immédiatement de la prévention d'un magistrat et laisse le procès se dérouler sans intervenir agit contrairement à la bonne foi et voit son droit se périmer (<ref-ruling> consid. 4.3.1; <ref-ruling> consid. 4.3 p. 496; <ref-ruling> consid. 4.3 p. 75; <ref-ruling> consid. 3c p. 253 s.; <ref-ruling> consid. 2 p. 122). Ce principe, qui s'applique de manière générale en matière de récusation, vaut également dans le cadre de la LTF (arrêt 1B_277/2008 du 13 novembre 2008 consid. 2 et les références citées; FLORENCE AUBRY GIRARDIN, in Commentaire LTF, 2009, n. 12 ad <ref-law>).
3.2 En l'espèce, le recourant entend contester cette jurisprudence relative à l'<ref-law>. Il soutient que l'irrecevabilité d'une requête de récusation tardive ne pourrait être prononcée que sur la base d'une loi au sens formel instaurant un délai précis pour déposer une telle requête. Il perd cependant de vue que l'<ref-law> donne des indications suffisamment claires à cet égard, puisqu'il prévoit que la partie qui entend demander la récusation doit présenter sa requête "sans délai" et "dès qu'elle a connaissance du motif de récusation". On ne voit pas pourquoi il serait nécessaire d'instaurer un délai précis en jours, comme le soutient le recourant, le législateur ayant expressément prévu que la requête devait être présentée "sans délai". Il convient donc uniquement de déterminer si la requête du recourant respectait ces exigences.
3.3 Le 20 décembre 2010, à réception du mandat le citant à comparaître aux débats du Tribunal pénal économique, le recourant a eu connaissance de la composition de ce tribunal. Les motifs relatifs aux éventuelles relations des juges et du greffier avec les banques parties à la procédure, auraient donc pu être présentés à ce moment-là. Ils ne l'ont été que le 17 janvier 2011, de sorte que la requête est manifestement tardive sur ce point. C'est en vain que le recourant se prévaut de son ignorance des relations exactes entre les personnes visées par la demande de récusation et les banques impliquées dans la procédure. En effet, il n'en savait pas plus au moment du dépôt de ladite requête, puisque c'est uniquement lorsque les juges et le greffier se sont déterminés sur celle-ci qu'il a été informé sur ce point. Le recourant avait d'ailleurs pris le soin de demander la récusation des autres juges et du greffier "éventuellement", en attendant d'en savoir plus grâce aux explication de ces derniers. Rien ne justifiait donc d'attendre le 17 janvier 2011 pour soulever ce motif de récusation. Quant au motif pris d'éventuelles erreurs du président du tribunal - en raison du fait qu'il aurait imparti un délai insuffisant et commis un déni de justice en refusant de statuer sur la demande de prolongation de celui-ci - il était déjà connu à réception du mandat précité. Cet acte prévoyait en effet clairement que le délai imparti au 4 janvier 2011 était "non prolongeable", de sorte qu'il est contraire aux règles de la bonne foi de requérir néanmoins une prolongation et d'attendre le refus - logique et prévisible - du juge compétent pour se plaindre ensuite d'un déni de justice et de la brièveté du délai en question. Enfin, la réponse du juge en question le 4 janvier 2011 n'apporte rien de nouveau à cet égard, puisque le magistrat se borne à confirmer que le délai imparti n'était pas prolongeable, ce que l'intéressé savait déjà le 20 décembre 2010.
Enfin, c'est également en vain que le recourant tente de se prévaloir de son absence à l'étranger pour cause de vacances durant les fêtes de fin d'année. Il allègue en effet avoir été absent du 25 décembre 2010 au 8 janvier 2011, de sorte qu'il pouvait réagir avant - ce qu'il a d'ailleurs fait en demandant une prolongation de délai le 22 décembre 2010 - ou immédiatement après son retour. Quoi qu'il en soit, le recourant était représenté par un mandataire professionnel et il ne prétend pas que ce dernier ait été empêché d'agir pour lui durant son absence. En définitive, le fait d'avoir attendu le 17 janvier 2011 pour déposer une demande de récusation fondée sur des motifs connus le 20 décembre 2010 ne respecte manifestement pas les exigences de l'<ref-law>. Dans ces conditions, c'est à juste titre que le Tribunal cantonal a déclaré la demande de récusation irrecevable.
3.4 La requête ayant été déclarée irrecevable à bon droit, il n'y a pas lieu d'examiner le bien-fondé des motifs de récusation soulevés, ce que le Tribunal cantonal s'est au demeurant dispensé de faire à juste titre.
4. Il s'ensuit que le recours doit être rejeté. Le recourant, qui succombe, doit supporter les frais de la présente procédure (<ref-law>). Il n'y a pas lieu d'allouer des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, aux intimés, au Ministère public de l'Etat de Fribourg et au Tribunal cantonal du canton de Fribourg, Chambre pénale.
Lausanne, le 4 mai 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Fonjallaz Rittener