Faits: A. Par ordonnance du 6 août 2010, A._ a été renvoyé en jugement devant le Tribunal pénal économique du canton de Fribourg (ci-après: le Tribunal pénal économique) notamment pour faux dans les titres et obtention frauduleuse d'une constatation fausse. Par lettre du 15 mars 2011, le Président du Tribunal pénal économique a informé le Président suppléant dudit Tribunal (ci-après: le Président suppléant), X._, qu'il se récusait en application de l'art. 56 let. b du code de procédure pénale du 5 octobre 2007 (CPP; RS 312.0). Il avait en effet déjà jugé B._, qui avait été renvoyé en jugement en tant que coauteur pour les mêmes faits que ceux reprochés à A._. Le 7 avril 2011, le Président suppléant a adressé à celui-ci une citation à comparaître en qualité de prévenu. Cette citation mentionnait la composition du tribunal et en particulier, comme moyen de preuve, l'audition de B._ comme témoin. Elle était accompagnée d'un questionnaire à remplir dans les dix jours par le prévenu, "afin de déterminer le montant du jour-amende selon l'art. 34 CP". Le 18 avril 2011, A._ a demandé la récusation du Président suppléant et des assesseurs mentionnés dans la composition du tribunal figurant sur la citation à comparaître. Le Président suppléant et ses assesseurs se sont opposés à la requête de récusation. Par arrêt du 10 mai 2011, la Chambre pénale du Tribunal cantonal du canton de Fribourg (ci-après: la Chambre pénale) a rejeté la demande de récusation. B. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler cet arrêt, d'admettre la récusation du Président suppléant et des assesseurs du Tribunal pénal économique figurant sur la citation à comparaître du 7 avril 2011. Il conclut subsidiairement au renvoi de la cause à la Chambre pénale pour qu'elle nomme un autre président et d'autres assesseurs. La Chambre pénale renonce à formuler des observations. Le Tribunal pénal économique et le Ministère public du canton de Fribourg concluent au rejet du recours. C. Par ordonnance du 18 mai 2011, le Président de la Ire Cour de droit public a rejeté la demande d'effet suspensif, présentée par le recourant.