Faits:
A. Le 6 mai 2011, X._ a été arrêté dans le cadre d'une instruction ouverte contre lui pour séquestration et viol avec cruauté, étendue par la suite aux infractions de lésions corporelles simples, injure, menaces et contrainte sexuelle avec cruauté. Il est depuis lors en détention avant jugement. Le 23 mai 2011, l'assistance judiciaire gratuite lui a été accordée, avec désignation de Me Y._ en qualité de défenseur d'office.
En mai 2011, ce dernier a participé à une audience du Tribunal des mesures de contrainte (ci-après le Tmc), à deux auditions du prévenu et à trois séances d'auditions de personnes appelées à donner des renseignements. Il a en outre signé une vingtaine de courriers, deux demandes de mise en liberté et une requête de nouvelle expertise psychiatrique. Il s'est fait remplacer par son associé pour deux auditions de témoins et de personnes appelées à donner des renseignements ainsi que pour une audition du prévenu. Enfin, son stagiaire l'a remplacé pour deux séances d'auditions de témoins et pour une audience du Tmc ayant pour objet une demande de mise en liberté. L'avocat désigné a en revanche participé personnellement à une audition du prévenu le 21 février 2012.
B. Le 5 mars 2012, Me Z._ a requis que la défense d'office de X._ lui soit confiée. L'Office central du Ministère public du canton du Valais (ci-après: le Ministère public) a rejeté cette requête par ordonnance du 27 mars 2012. Statuant sur recours de X._, le Juge unique de la Chambre pénale du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) a confirmé cette décision par ordonnance du 11 juin 2012. Cette autorité a considéré qu'on ne pouvait pas reprocher une défense déficiente à Me Y._ et que les reproches formulés à son encontre par X._ ne montraient pas à l'évidence que toute relation de confiance avec ce défenseur d'office était exclue.
C. Agissant par la voie du recours en matière pénale, X._ demande au Tribunal fédéral d'annuler cette ordonnance, de constater que les conditions de l'art. 134 al. 2 du code de procédure pénale suisse (CPP; RS 312.0) sont réunies et de nommer Me Z._ comme défenseur d'office. Il sollicite également des mesures provisionnelles urgentes tendant à la suspension d'un délai imparti par le ministère public pour la réquisition de nouvelles preuves. Il requiert en outre l'octroi de l'assistance judiciaire pour la présente procédure de recours. Y._ a présenté des observations, s'en remettant à justice quant au sort du recours. Le Ministère public conclut à la confirmation de l'ordonnance attaquée et le Tribunal cantonal à l'irrecevabilité du recours. X._ a formulé des observations complémentaires.
D. Par ordonnance du 5 juillet 2012, le Président de la Ire Cour de droit public a rejeté la requête de mesures provisionnelles urgentes.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 43; <ref-ruling> consid. 1 p. 331 et les arrêts cités).
1.1 La décision par laquelle le juge refuse un changement de défenseur d'office constitue une décision incidente, qui ne met pas fin à la procédure (<ref-ruling> consid. 1a p. 209; <ref-ruling> consid. 2b p. 278 s.). Une telle décision ne peut faire l'objet d'un recours au Tribunal fédéral que si elle peut causer un préjudice irréparable (<ref-law>) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (<ref-law>). Cette dernière hypothèse n'entre pas en considération en l'espèce (cf. <ref-ruling> consid. 3.2 p. 292). Quant à l'<ref-law>, il suppose, en matière pénale, que la partie recourante soit exposée à un dommage de nature juridique, qui ne puisse pas être réparé ultérieurement par un jugement final ou une autre décision qui lui serait favorable (<ref-ruling> consid. 4 p. 95; <ref-ruling> consid. 3.1 p. 86 s.; <ref-ruling> consid. 4 p. 338, 139 consid. 4 p. 141). Il incombe au recourant de démontrer l'existence d'un tel préjudice lorsque celui-ci n'est pas d'emblée évident (<ref-ruling> consid. 1.2 p. 429; <ref-ruling> consid. 1 p. 356 et les références).
Selon la jurisprudence, le refus de désigner un avocat d'office au prévenu est susceptible de lui causer un dommage irréparable au sens de l'<ref-law> (ATF <ref-ruling> consid. 4 p. 338; <ref-ruling> consid. 1.1 p. 283; <ref-ruling> consid. 1.1 p. 131). En revanche, la décision ayant pour objet de refuser un changement de défenseur d'office n'entraîne en principe aucun préjudice juridique, car le prévenu continue d'être assisté par le défenseur désigné et l'atteinte à la relation de confiance n'empêche en règle générale pas dans une telle situation une défense efficace (ATF <ref-ruling> consid. 4 p. 339). L'existence d'un tel dommage ne peut être admise que dans des circonstances particulières faisant craindre que l'avocat d'office désigné ne puisse pas défendre efficacement les intérêts du prévenu, par exemple en cas de conflit d'intérêts ou de carences manifestes de l'avocat désigné (<ref-ruling> consid. 1.2 p. 263), ou encore lorsque l'autorité refuse arbitrairement de tenir compte des voeux émis par la partie assistée (arrêts 1B_74/2008 du 18 juin 2008 consid. 2; 1B_245/2008 du 11 novembre 2008 consid. 2). Le simple fait que la partie assistée n'a pas confiance dans son conseil d'office ne lui donne pas le droit d'en demander le remplacement lorsque cette perte de confiance repose sur des motifs purement subjectifs et qu'il n'apparaît pas de manière patente que l'attitude de l'avocat d'office est gravement préjudiciable aux intérêts de la partie (<ref-ruling> consid. 3 p. 104; arrêt 6B_770/2011 du 12 juillet 2012 consid. 2.4 destiné à la publication).
1.2 En l'occurrence, la relation de confiance entre le prévenu et l'avocat d'office désigné est certes entamée, le recourant ayant demandé à plusieurs reprises le remplacement de cet avocat en formulant de nombreuses critiques à son encontre. Le défenseur en question continue néanmoins d'assister le recourant et il n'est pas d'emblée évident qu'il ne soit plus en mesure de le faire efficacement. Le recourant, reproche notamment à son avocat d'office de n'avoir pas assisté personnellement à un certain nombre d'audiences et d'avoir omis de recourir contre les décisions relatives à la détention préventive et au refus de contre-expertise. Le Tribunal cantonal a répondu de manière circonstanciée à ces critiques, en relevant que le refus de recourir contre les décisions précitées était fondé et que Me Y._ était régulièrement intervenu lors des différentes auditions, en se faisant le cas échéant remplacer par son associé et son stagiaire.
Cette appréciation n'est pas remise en cause de manière convaincante par le recourant, qui se borne à rappeler les audiences auxquelles l'avocat d'office ne s'est pas présenté personnellement et à répéter qu'il aurait fallu recourir contre les décisions susmentionnées. Or, cela ne suffit pas à démontrer que l'avocat d'office a gravement failli dans l'exécution du mandat qui lui a été confié. En effet, même si les nombreux remplacements de Me Y._ par son associé ou son stagiaire peuvent éventuellement prêter le flanc à la critique, on ne peut pas considérer en l'état que cet avocat d'office a laissé apparaître de graves carences dans la défense des intérêts du prévenu. De plus, il est évident que l'avocat peut renoncer à introduire un recours qui lui paraît d'emblée voué à l'échec et qu'il n'est pas tenu de suivre les instructions de la partie assistée, dont il n'est pas simplement le porte-parole sans esprit critique (cf. <ref-ruling> consid. 3d p. 199 et les références).
En définitive, la relation de confiance entre le recourant et l'intimé n'est pas atteinte au point d'empêcher une défense efficace et l'autorité n'a pas refusé arbitrairement de tenir compte des voeux du prévenu. Celui-ci continue donc d'être assisté par un avocat qui apparaît en mesure de défendre ses intérêts. Dans ces conditions, la décision incidente contestée par le recourant ne lui cause pas de préjudice juridique irréparable au sens de la jurisprudence susmentionnée, de sorte qu'elle ne peut pas faire l'objet d'un recours au Tribunal fédéral.
1.3 Les pièces nouvelles déposées par le recourant à l'appui de ses observations complémentaires ne sauraient modifier cette appréciation, dès lors qu'il s'agit de moyens de preuve nouveaux irrecevables (<ref-law>). Il convient encore de préciser que la direction de la procédure conserve la faculté d'ordonner en tout temps le remplacement du défenseur d'office en application de l'<ref-law>, ce qu'il lui appartiendra de faire si la relation de confiance entre le prévenu et l'intimé devait se détériorer au point d'empêcher une défense efficace.
2. Il s'ensuit que le recours doit être déclaré irrecevable. Il n'y a pas lieu d'accorder l'assistance judiciaire, dès lors que les conclusions du recours apparaissaient d'emblée vouées à l'échec (<ref-law>). Le recourant, qui succombe, doit par conséquent supporter les frais de la présente procédure (<ref-law>). L'intimé demande une indemnité à titre de dépens, à la charge de l'Etat du Valais. Les dépens ne peuvent toutefois être mis qu'à la charge de la partie qui succombe (<ref-law>). Or, une telle issue ne se justifie pas en l'espèce, ne serait-ce que parce que l'intimé demeure l'avocat d'office du recourant.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
2. La requête d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux mandataires des parties, à l'Office central du Ministère public du canton du Valais et au Juge unique de la Chambre pénale du Tribunal cantonal du canton du Valais.
Lausanne, le 15 août 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
Le Greffier: Rittener