Faits:
A. A._ fait l'objet d'une instruction pénale pour des actes de vol en bande et par métier, subsidiairement recel. Le 25 avril 2003, Me C._ a été désignée en qualité d'avocate d'office du prénommé. Par décision du 11 juin 2003, donnant suite à une requête de A._ en ce sens, le juge d'instruction du Valais central (ci-après: le juge d'instruction) lui a désigné Me B._ en qualité d'avocat d'office.
B. Le 2 juillet 2010, Me E._ a requis sa désignation à la place de Me B._, en accord avec ce dernier. Il alléguait qu'il connaissait bien A._ pour avoir défendu ses intérêts dans une procédure de droit d'asile et qu'il avait également défendu son beau-père, décédé depuis. Il se prévalait également du fait qu'il pourrait communiquer en allemand avec le prénommé.
Par décision du 16 septembre 2010, le juge d'instruction a rejeté cette requête, au motif qu'il n'était ni allégué ni démontré que Me B._ exécutait mal son mandat d'office. Il relevait en outre que Me E._ avait déjà été l'avocat de feu D._, prévenu dans la même procédure pénale, de sorte qu'il ne pouvait pas défendre aujourd'hui les intérêts du "fils du défunt".
A._ a contesté cette décision auprès du Juge de l'autorité de plainte du Tribunal cantonal du canton du Valais (ci-après le Tribunal cantonal). Par décision du 30 septembre 2010, cette autorité a déclaré la plainte de A._ irrecevable, faute de motivation suffisante.
C. A._ demande au Tribunal fédéral d'annuler cette décision et de désigner Me E._ en qualité d'avocat d'office. Il se plaint en substance d'arbitraire (art. 9 Cst.). Le juge d'instruction, le Procureur du Valais central et le Tribunal cantonal ont renoncé à se déterminer. Me B._ a présenté des observations, au terme desquelles il conclut à l'admission du recours.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 43; <ref-ruling> consid. 1 p. 331 et les arrêts cités). Toutefois, lorsque les conditions de recevabilité ne ressortent pas à l'évidence de la décision attaquée ou du dossier, le recourant est tenu d'exposer en quoi elles sont réunies, sous peine d'irrecevabilité (art. 42 al. 1 et 2 LTF; <ref-ruling> consid. 1 p. 356 et les références).
1.1 La contestation portant sur une décision relative à la défense d'office en matière pénale, le recours au Tribunal fédéral est régi par les <ref-law>. Formé en temps utile (<ref-law>) contre une décision prise en dernière instance cantonale (<ref-law>) et qui touche le recourant dans ses intérêts juridiquement protégés (art. 81 al. 1 let. a et b ch. 1 LTF), le recours est recevable comme recours en matière pénale.
1.2 La décision par laquelle le juge refuse un changement de défenseur d'office ou rejette une requête tendant à la désignation d'un défenseur d'office constitue une décision incidente, qui ne met pas fin à la procédure (<ref-ruling> consid. 1a p. 209; <ref-ruling> consid. 2b p. 278 s.). Selon l'<ref-law>, une telle décision peut faire l'objet d'un recours devant le Tribunal fédéral si elle peut causer un préjudice irréparable. Conformément à la pratique développée sous l'empire de l'art. 87 al. 2 OJ, il doit s'agir d'un dommage de nature juridique (<ref-ruling> consid. 4 p. 338; 139 consid. 4 p. 141; Message concernant la révision totale de l'organisation judiciaire fédérale du 28 février 2001, FF 2001 p. 4131).
1.2.1 Selon la jurisprudence, le refus de désigner un avocat d'office au prévenu est susceptible de lui causer un dommage irréparable au sens de l'<ref-law> (<ref-ruling> consid. 4 p. 338; <ref-ruling> consid. 1.1 p. 283; <ref-ruling> consid. 1.1 p. 131). En revanche, la décision ayant pour objet de refuser un changement de défenseur d'office n'entraîne en principe aucun préjudice juridique, car le prévenu continue d'être assisté par le défenseur désigné et l'atteinte à la relation de confiance n'empêche en règle générale pas dans une telle situation une défense efficace (<ref-ruling> consid. 4 p. 339). L'existence d'un tel dommage ne peut être admise que dans des circonstances particulières faisant craindre que l'avocat d'office désigné ne puisse pas défendre efficacement les intérêts du prévenu, par exemple en cas de conflit d'intérêts ou de carences manifestes de l'avocat désigné (<ref-ruling> consid. 1.2 p. 263; arrêt 1B_237/2007 du 8 janvier 2008 consid. 1.7; cf. <ref-ruling> consid. 3b p. 190), ou encore lorsque l'autorité refuse arbitrairement de tenir compte des voeux émis par la partie assistée (arrêts 1B_74/2008 du 18 juin 2008 consid. 2; 1B_245/2008 du 11 novembre 2008 consid. 2; 1B_310/2010 du 4 novembre 2010 consid. 1.3 et les références citées).
1.2.2 En l'espèce, le recourant continue d'être assisté par le défenseur qui lui a été désigné en 2003, de sorte qu'il ne subit en principe pas de préjudice juridique. De plus, l'autorité a accepté un premier changement d'avocat d'office en désignant Me B._ à la demande du recourant, si bien qu'on ne saurait lui reprocher d'avoir totalement fait abstraction du choix du prévenu. Celui-ci ne fait du reste pas valoir de motifs objectifs permettant de considérer que l'autorité aurait fait preuve d'arbitraire en rejetant sa nouvelle requête de changement d'avocat. Il se prévaut certes d'un rapport de confiance avec Me E._ et de motifs rendant plus commode la consultation de ce dernier, à savoir la proximité géographique de son étude et le fait qu'il puisse s'exprimer en allemand avec lui. Cela étant, il n'avance pas d'éléments particuliers qui feraient redouter que l'avocat désigné ne soit pas en mesure d'assurer une défense effective de ses intérêts. Dans ses observations, Me B._ ne fait du reste pas état de difficultés de communication avec son client et il ne mentionne pas de problèmes particuliers dans l'exécution de ce mandat d'office.
Pour le surplus, même si l'on devait admettre que la proposition du recourant est raisonnable et fondée sur des motifs objectifs, cela ne suffit pas pour qualifier le refus litigieux d'arbitraire. Au demeurant, c'est au recourant qu'il appartient d'apporter la démonstration de l'arbitraire, dans une argumentation répondant aux exigences déduites des art. 42 al. 2 et 106 al. 2 LTF, ce qu'il ne fait aucunement. Il ne se plaint pas non plus explicitement de formalisme excessif ou d'un défaut de motivation de la décision litigieuse et il ne soulève pas de grief à cet égard. Or, le Tribunal fédéral n'examine pas ces questions d'office (<ref-law>).
En définitive, sur le vu de la motivation du recours, on ne peut que constater que la décision incidente contestée par le recourant n'écarte pas arbitrairement l'avocat proposé par celui-ci et qu'elle ne le prive pas d'une défense effective. Elle ne lui cause donc pas de préjudice juridique irréparable au sens de la jurisprudence susmentionnée.
2. Il s'ensuit que le recours doit être déclaré irrecevable. Compte tenu des circonstances du cas d'espèce, il est statué sans frais (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
2. Il n'est pas perçu de frais judiciaires.
3. Le présent arrêt est communiqué au mandataire du recourant, à Me B._, à l'Office du Juge d'instruction et au Procureur du Valais central ainsi qu'au Tribunal cantonal du canton du Valais, Juge de l'autorité de plainte.
Lausanne, le 7 janvier 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Fonjallaz Rittener