Faits:
A. Par ordonnance du 6 août 2010, A._ a été renvoyé en jugement devant le Tribunal pénal économique du canton de Fribourg (ci-après: le Tribunal pénal économique) notamment pour faux dans les titres et obtention frauduleuse d'une constatation fausse. Par lettre du 15 mars 2011, le Président du Tribunal pénal économique a informé le Président suppléant dudit Tribunal (ci-après: le Président suppléant), X._, qu'il se récusait en application de l'art. 56 let. b du code de procédure pénale du 5 octobre 2007 (CPP; RS 312.0). Il avait en effet déjà jugé B._, qui avait été renvoyé en jugement en tant que coauteur pour les mêmes faits que ceux reprochés à A._. Le 7 avril 2011, le Président suppléant a adressé à celui-ci une citation à comparaître en qualité de prévenu. Cette citation mentionnait la composition du tribunal et en particulier, comme moyen de preuve, l'audition de B._ comme témoin. Elle était accompagnée d'un questionnaire à remplir dans les dix jours par le prévenu, "afin de déterminer le montant du jour-amende selon l'<ref-law>". Le 18 avril 2011, A._ a demandé la récusation du Président suppléant et des assesseurs mentionnés dans la composition du tribunal figurant sur la citation à comparaître. Le Président suppléant et ses assesseurs se sont opposés à la requête de récusation.
Par arrêt du 10 mai 2011, la Chambre pénale du Tribunal cantonal du canton de Fribourg (ci-après: la Chambre pénale) a rejeté la demande de récusation.
B. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler cet arrêt, d'admettre la récusation du Président suppléant et des assesseurs du Tribunal pénal économique figurant sur la citation à comparaître du 7 avril 2011. Il conclut subsidiairement au renvoi de la cause à la Chambre pénale pour qu'elle nomme un autre président et d'autres assesseurs.
La Chambre pénale renonce à formuler des observations. Le Tribunal pénal économique et le Ministère public du canton de Fribourg concluent au rejet du recours.
C. Par ordonnance du 18 mai 2011, le Président de la Ire Cour de droit public a rejeté la demande d'effet suspensif, présentée par le recourant.

Considérant en droit:
1. Conformément aux art. 78 et 92 al. 1 LTF, une décision relative à la récusation d'un juge pénal peut faire immédiatement l'objet d'un recours en matière pénale. Le recourant, auteur de la demande de récusation, a qualité pour agir (<ref-law>). Il a agi dans le délai de trente jours prescrit à l'<ref-law>. La décision attaquée est rendue en dernière instance cantonale, au sens de l'<ref-law>. Il y a donc lieu d'entrer en matière sur le fond.
2. Le mémoire de recours doit contenir les conclusions et les motifs à l'appui de celles-ci (<ref-law>) sous peine d'irrecevabilité. Les conclusions doivent indiquer sur quels points la décision est attaquée et quelles sont les modifications demandées (<ref-ruling> consid. 3.1 et les arrêts cités). Les motifs doivent exposer succinctement en quoi l'acte attaqué viole le droit (<ref-law>). Pour satisfaire à ces exigences, le recourant doit discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 3.3 p. 60; <ref-ruling> consid. 1.4.2 p. 254; <ref-ruling> consid. 1.4 p. 287).
3. Le recourant se plaint d'une violation des art. 30 al. 1 Cst., 6 par. 1 CEDH et 56 let. f CPP ainsi que d'une application arbitraire des art. 7 et 155 de la loi fribourgeoise d'organisation judiciaire du 22 novembre 1949 (LOJ; RSF 131.0.1). Il soutient qu'à la lecture de la lettre du 15 mars 2011 que le Président du Tribunal pénal économique a adressée au Président suppléant, les magistrats du Tribunal pénal économique ont pris connaissance de la culpabilité de B._ et ont ainsi préjugé l'affaire pour laquelle le recourant est cité à comparaître. Il en veut pour preuve la formulation du questionnaire annexé à la citation à comparaître, lequel doit être retourné "afin de déterminer le montant du jour-amende selon l'<ref-law>".
3.1 Selon les art. 6 par. 1 CEDH et 30 al. 1 Cst., toute personne dont la cause doit être jugée dans une procédure judiciaire a droit à ce que sa cause soit portée devant un tribunal établi par la loi, compétent, indépendant et impartial.
L'art. 56 let. f CPP impose la récusation de toute personne exerçant une fonction au sein d'une autorité pénale lorsque d'autres motifs, notamment un rapport d'amitié étroit ou d'inimitié avec une partie ou son conseil juridique, sont de nature à la rendre suspecte de prévention. A l'instar de l'art. 34 al. 1 let. e LTF, cette disposition a la portée d'une clause générale recouvrant tous les motifs de récusation non expressément prévus aux lettres précédentes de l'<ref-law> (arrêt 1B_131/ 2011 du 2 mai 2011 consid. 3.1). Elle permet d'exiger la récusation d'un magistrat dont la situation ou le comportement est de nature à faire naître un doute sur son impartialité (<ref-ruling> consid. 3a p. 73). Elle tend notamment à éviter que des circonstances extérieures à la cause ne puissent influencer le jugement en faveur ou au détriment d'une partie. Elle n'impose pas la récusation seulement lorsqu'une prévention effective du juge est établie, car une disposition interne de sa part ne peut guère être prouvée; il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Seules les circonstances constatées objectivement doivent être prises en considération; les impressions purement individuelles d'une des parties au procès ne sont pas décisives (<ref-ruling> consid. 3.2.1 p. 608; <ref-ruling> consid. 4.2 p. 21; <ref-ruling> consid. 1.1 p. 25; <ref-ruling> consid. 2b p. 198).
3.2 En l'espèce, dans sa lettre du 15 mars 2011, le Président du Tribunal pénal économique a expliqué pourquoi il se récusait. Il a relevé qu'il avait jugé B._ en procédure simplifiée le 23 février 2011 et l'avait condamné pour faux dans les titres commis dans l'exercice de fonctions publiques, obtention frauduleuse d'une constatation fausse et faux dans les titres. Il a précisé que B._ avait été renvoyé en tant que coauteur pour les faits qui sont également reprochés à A._. Il a ajouté que "les déclarations des deux prévenus sont contradictoires", qu'"admettre la version des faits de l'un revient à exclure la version présentée par l'autre" et que le tribunal qu'il présidait avait "dû se pencher sur l'état de fait contradictoire, du fait qu'il a eu à apprécier librement si la sanction proposée pour B._ était appropriée". Ces indications ne sont nullement de nature à préjuger de l'affaire. Le fait pour les magistrats du Tribunal pénal économique d'avoir lu ce courrier qui leur était adressé ne constitue pas un motif de récusation. Le recourant ne cherche d'ailleurs pas à contredire les motifs retenus dans la décision attaquée et ne fait valoir aucun élément concret qui permettrait de retenir que le Juge X._ et les assesseurs du Tribunal pénal économique soient tentés d'examiner la cause avec un préjugé défavorable à son égard. Son argumentation - pour autant qu'elle réponde aux exigences de motivation de l'<ref-law> - n'est pas objectivement de nature à faire douter de l'impartialité des magistrats mis en cause.
Par ailleurs, la formulation usuelle de la citation à comparaître ainsi que le questionnaire y annexé ne constituent pas non plus des faits susceptibles de mettre en cause l'impartialité des juges du Tribunal pénal économique. La Chambre pénale a relevé à cet égard que ce questionnaire était régulièrement joint aux citations adressées aux prévenus, afin de permettre au juge, cas échéant, de disposer au dossier des éléments de fait nécessaires à une application correcte de l'<ref-law>.
4. Le recourant se plaint encore du fait qu'un des assesseurs n'est pas domicilié dans la circonscription judiciaire concernée. Ce grief doit être d'emblée rejeté, dans la mesure où, à teneur de l'art. 33 LOJ, la juridiction du Tribunal pénal économique s'étend à l'ensemble du territoire cantonal. Dès lors, les juges assesseurs doivent être domiciliés dans le canton, ce qui est le cas en l'espèce.
5. Le recourant se borne enfin à prétendre que l'audition de B._, condamné dans la même cause viole l'<ref-law>, sans préciser en quoi consiste cette violation. Faute de satisfaire aux exigences minimales de motivation de l'<ref-law>, ce grief est irrecevable. L'argument selon lequel un des magistrats a utilisé la langue allemande lors de sa prise de position sur la demande de récusation n'est pas plus pertinent, dans la mesure où l'intéressé n'en a pas demandé la traduction. C'est dès lors à bon droit que la demande de récusation a été écartée.
6. Sur le vu de ce qui précède, le recours est rejeté, dans la mesure de sa recevabilité. Conformément à l'<ref-law>, les frais judiciaires sont mis à la charge du recourant. Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté, dans la mesure de sa recevabilité.
2. Les frais judiciaires, arrêtés à 2'000 francs, sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Tribunal pénal économique, au Ministère public et à la Chambre pénale du Tribunal cantonal du canton de Fribourg.
Lausanne, le 8 juillet 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Fonjallaz Tornay Schaller