Faits :
A.
A._ est prévenu d'infraction grave à la Loi fédérale sur les stupéfiants (<ref-law>; RS 812.121) dans le cadre d'une instruction pénale menée par le Ministère public du canton du Valais, Office régional du Bas-Valais.
Le 4 novembre 2019, A._ a été arrêté, puis interrogé par la police en présence de l'avocat C._, qui a assuré sa défense lors de cette audition.
Le 5 novembre 2019, le Ministère public a désigné Me C._ en qualité de défenseur d'office du prévenu, avec effet au 4 novembre 2019.
B.
B.a. Le 11 décembre 2019, A._, alors en détention provisoire, a personnellement demandé que l'avocat B._ soit désigné comme son défenseur d'office, en lieu et place de l'avocat C._. Il a fait valoir que ce dernier l'avait traité de "menteur" lors de son second interrogatoire du 4 décembre 2019 et qu'il avait dès lors un "énorme manque de confiance en lui".
Le 16 décembre 2019, Me C._ a contesté les griefs formulés par A._, ne voyant pas de motif à la résiliation de son mandat de défenseur d'office.
Le 18 décembre 2019, A._, par l'intermédiaire de Me B._, a réitéré sa demande du 11 décembre 2019.
Par ordonnance du 19 décembre 2019, le Ministère public a refusé de remplacer le défenseur d'office de A._.
B.b. Le 30 janvier 2020, A._ a déposé une plainte pénale contre Me C._ pour violation du secret professionnel (<ref-law>). Il lui reprochait d'avoir divulgué des informations sensibles sur l'affaire pénale à sa mère D._ ainsi qu'à son amie E._, nonobstant l'interdiction qu'il lui avait signifiée.
B.c. Par ordonnance du 28 février 2020, le juge unique de la Chambre pénale du Tribunal cantonal du Valais a rejeté le recours formé par A._ contre l'ordonnance du Ministère public du 19 décembre 2019. Il a par ailleurs rejeté la demande de A._ tendant à la désignation d'un défenseur d'office spécifique pour la procédure de recours.
C.
Par acte du 1 er avril 2020, A._ forme un recours en matière pénale au Tribunal fédéral contre l'ordonnance du 28 février 2020. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens que Me B._ est immédiatement nommé en qualité de défenseur d'office en remplacement de Me C._. Subsidiairement, il conclut à l'annulation de l'ordonnance et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite en outre le bénéfice de l'assistance judiciaire.
Invité à se déterminer, le Ministère public conclut au rejet du recours. Me C._ s'en remet à justice. Quant à la Chambre pénale, elle se réfère aux considérants de son ordonnance.
Par son écriture du 15 mai 2020, A._ persiste dans ses conclusions. Il se détermine encore spontanément le 19 juin 2020, en produisant des pièces nouvelles.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 170).
1.1. Dès lors que la contestation porte sur la défense d'office en matière pénale, le recours au Tribunal fédéral est régi par les <ref-law>. Formé en temps utile (<ref-law>) contre une décision prise en dernière instance cantonale (<ref-law>) et qui touche le recourant dans ses intérêts juridiquement protégés (art. 81 al. 1 let. a et b ch. 1 LTF), le recours est recevable comme recours en matière pénale.
1.2. La décision attaquée ne met pas fin à la procédure pénale ouverte contre le recourant et revêt ainsi un caractère incident; elle ne peut donc faire l'objet d'un recours immédiat que si elle est susceptible de causer un préjudice irréparable (<ref-law>). Cela suppose, en matière pénale, que le recourant soit exposé à un dommage de nature juridique, qui ne puisse pas être réparé ultérieurement par un jugement final ou une autre décision qui lui serait favorable (<ref-ruling> consid. 2.2 p. 287). Il incombe au recourant de démontrer l'existence d'un tel préjudice lorsque celui-ci n'est pas d'emblée évident (<ref-law>; <ref-ruling> consid. 2.3 p. 287).
1.3. Selon la jurisprudence, le refus d'autoriser un changement d'avocat d'office n'entraîne en principe pas un préjudice irréparable car le prévenu continue d'être assisté par le défenseur désigné et l'atteinte à la relation de confiance n'empêche en règle générale pas dans une telle situation une défense efficace (<ref-ruling> consid. 1.1 p. 115; <ref-ruling> consid. 4 p. 339). L'existence d'un tel préjudice ne peut être admise que dans des circonstances particulières faisant craindre que l'avocat d'office désigné ne puisse pas défendre efficacement les intérêts de la partie assistée, par exemple en cas de conflit d'intérêts ou de carences manifestes de l'avocat désigné (<ref-ruling> consid. 1.2 p. 263) ou encore lorsque l'autorité refuse arbitrairement de tenir compte des voeux émis par la partie assistée (<ref-ruling> consid. 1.2 p. 116).
En l'espèce, le recourant, qui se borne à affirmer que le lien de confiance avec son défenseur d'office est irrémédiablement rompu, ne se prononce pas précisément sur l'existence d'un préjudice irréparable, comme il lui appartenait de le faire. La question de savoir si un tel préjudice est manifeste au vu de l'arrêt attaqué et de la motivation du recours peut cependant demeurer indécise vu l'issue du recours.
2.
Selon l'<ref-law>, les faits et moyens de preuve nouveaux sont prohibés; il n'y a exception à cette règle que lorsque c'est la décision de l'autorité précédente qui, pour la première fois, a rendu pertinents ces faits ou moyens de preuve, ce qu'il appartient au recourant de démontrer (<ref-ruling> consid. 3). Par ailleurs, des mesures probatoires devant le Tribunal fédéral (<ref-law>) ne sont qu'exceptionnellement ordonnées dans une procédure de recours (<ref-ruling> consid. 2), dès lors que le Tribunal fédéral conduit en principe son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>).
En l'espèce, outre la production du dossier complet en mains de l'instance précédente, le recourant requiert la production du dossier pénal MPG 20 47 constitué par le Ministère public du canton du Valais, Office central, à la suite de la plainte pénale qu'il avait déposée le 30 janvier 2020 contre le défenseur d'office intimé pour violation du secret professionnel (<ref-law>).
En l'absence d'éléments dont on puisse inférer des circonstances exceptionnelles qui justifieraient la prise en compte de faits nouveaux ou la mise en oeuvre de mesures d'instruction en procédure fédérale, circonstances dont le recourant ne démontre par ailleurs nullement l'existence, il ne sera pas donné suite à cette requête. Pour le reste, conformément à l'<ref-law>, l'instance précédente a transmis dans le délai imparti le dossier de la cause (P3 2020 5), lequel comprend notamment des copies de la plainte pénale visant l'intimé ainsi que des procès-verbaux des auditions du recourant réalisées dans le cadre de l'enquête dirigée contre lui pour infraction grave à la LStup (MPB 19 1451).
Les procès-verbaux des auditions menées les 16 et 18 juin 2020 dans le cadre de la procédure pénale dirigée contre l'intimé, produits par le recourant à l'appui de ses déterminations spontanées du 19 juin 2020, sont par ailleurs irrecevables car postérieurs à l'arrêt attaqué.
3.
Le recourant se prévaut d'une constatation arbitraire des faits ainsi que d'une violation de l'<ref-law>.
3.1.
3.1.1. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 2.3.1 p. 244). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des conclusions insoutenables (<ref-ruling> consid. 1.1 p. 503; <ref-ruling> consid. 2.3 p. 266 et les références citées).
3.1.2. Le droit à l'assistance judiciaire (art. 6 par. 3 let. c CEDH et 29 al. 3 Cst.) doit permettre à l'accusé de bénéficier d'une défense complète, assidue et efficace. Un changement d'avocat d'office doit ainsi être ordonné lorsque le défenseur néglige gravement ses devoirs et que, pour des motifs objectifs, la défense des intérêts du prévenu n'est plus assurée (<ref-ruling> consid. 2.4 p. 164). L'<ref-law> dispose que la direction de la procédure confie la défense d'office à une personne si la relation de confiance entre le prévenu et le défenseur d'office est gravement perturbée ou si une défense efficace n'est plus assurée pour d'autres raisons.
Lorsque l'avocat présente des carences manifestes, l'autorité pénale doit - en principe à titre d'ultima ratio et après avoir rappelé l'intéressé à ses obligations - procéder à un changement d'avocat d'office. Tel est le cas lorsque le défenseur ne fournit pas de prestation propre et se contente de se faire le porte-parole du prévenu, sans esprit critique (<ref-ruling> consid. 3d p. 199), ou lorsqu'au contraire il déclare qu'il ne croit pas à l'innocence de son client lors même que celui-ci n'a pas avoué. Les absences du défenseur aux débats (<ref-law>) ou lors des auditions de témoins importantes, peuvent également constituer des négligences propres à justifier un changement d'avocat d'office. Il en va de même des attitudes qui empêcheraient un déroulement de la procédure conforme aux principes essentiels tels que le respect de la dignité, le droit à un traitement équitable et l'interdiction de l'abus de droit (<ref-law>), ou encore le principe de célérité, en particulier lorsque le prévenu se trouve en détention (<ref-law>; arrêt 1B_187/2013 du 4 juillet 2013 consid. 2.2).
En revanche, le simple fait que la partie assistée n'a pas confiance en son conseil d'office ne lui donne pas le droit d'en demander le remplacement lorsque cette perte de confiance repose sur des motifs purement subjectifs et qu'il n'apparaît pas de manière patente que l'attitude de l'avocat d'office est gravement préjudiciable aux intérêts de la partie (<ref-ruling> consid. 2.4 p. 164 ss; arrêt 1B_285/2019 du 27 juin 2019 consid. 4).
3.2. Se prévalant d'arbitraire, le recourant se plaint que l'instance précédente n'a pas tenu pour établi que l'intimé l'avait traité de "menteur pathologique", le 4 décembre 2019, lors de son audition par la police.
Si l'intimé avait certes admis dans ses déterminations qu'au vu des questions de plus en plus précises posées par les enquêteurs, il avait sollicité une suspension de l'audition pour converser avec le recourant au sujet de certaines de ses déclarations, que ce dernier avait par la suite rectifiées, l'intimé n'avait pas pour autant reconnu avoir utilisé le terme de "menteur" à l'égard de son client. Rien de tel ne ressortait non plus du procès-verbal de l'audition en question. Il n'était enfin nullement établi que, comme le soutenait le recourant, son défenseur d'office l'avait "invité à s'auto-incriminer dans une large mesure, afin d'aller dans le sens des enquêteurs" (cf. ordonnance attaquée, p. 6, 2ème paragraphe).
Cela étant, en tant que le recourant reproche à la cour cantonale de s'être insuffisamment renseignée, celle-ci pouvait néanmoins écarter sans arbitraire, dans le cadre d'une appréciation anticipée des preuves (cf. <ref-ruling> consid. 3.3. p. 64), la mesure d'instruction proposée par le recourant - en l'occurrence la production de tous les courriers qu'il avait échangés avec l'intimé -, étant observé que l'intéressé n'avait pas expliqué en quoi il lui était impossible de faire directement état de ces courriers en procédure, ni en quoi ceux-ci étaient susceptibles de refléter des propos diffamatoires à son égard. De même, en l'absence d'éléments propres à corroborer les allégations du recourant, la cour cantonale ne saurait se voir reprocher une constatation arbitraire des faits en ne retenant pas que l'intimé l'avait traité de "menteur pathologique" lors de l'audition du 4 décembre 2019.
3.3. L'instance précédente peut au surplus être intégralement suivie dans son raisonnement quant à l'absence de carences manifestes du défenseur d'office et à l'exécution régulière de son mandat.
S'agissant en effet de la transmission d'informations à la mère et à l'amie du recourant - qui fait l'objet de la plainte pénale déposée le 30 janvier 2020 -, l'intimé n'avait pas été contredit lorsqu'il avait affirmé que c'était à la demande du recourant qu'il avait contacté par téléphone les deux précitées pour les informer, conformément à son habitude, au sujet de la détention provisoire de son client, de son état de santé et de la probable durée de l'enquête policière. Il avait ainsi certifié ne pas avoir abordé le fond du dossier avec elles et avait expliqué de manière plausible que cela était d'autant plus facile qu'il n'avait pas de dossier à disposition, ni d'informations quant aux quantités de stupéfiants qui auraient fait l'objet du trafic reproché au recourant. En l'état, la perception subjective et les déductions de ses interlocutrices, en l'occurrence des proches du recourant, étaient donc insuffisantes à établir les manquements imputés au défenseur d'office (cf. ordonnance attaquée, p. 7, 1er paragraphe). Il ressortait en outre des déterminations du Ministère public et des pièces produites au dossier que l'accès au dossier et la participation aux auditions des coprévenus avaient d'emblée été refusées à leurs défenseurs, compte tenu d'un important risque de collusion. Néanmoins, l'intimé avait affirmé, sans être contredit par le recourant, que lui-même et son stagiaire avaient continué à suivre les auditions de police auxquelles ils avaient été conviés depuis le mois de janvier 2020 (cf. ordonnance attaquée, p. 6, 3ème paragraphe).
Enfin, alors même que le recourant refuse toute collaboration avec son actuel défenseur d'office, il faut admettre avec la cour cantonale que cette seule circonstance ne porte pas atteinte à son droit à une défense efficace. Un tel refus ne pouvait pas être décisif au moment de déterminer si la dégradation de la relation de confiance justifiait un changement de défenseur d'office, pas plus que le dépôt d'une plainte pénale contre ce dernier, élaborée par les soins d'un confrère qui entendait prendre sa place (cf. ordonnance attaquée, p. 7, 3ème paragraphe).
4.
Il s'ensuit que le recours doit être rejeté dans la mesure où il est recevable.
Le recours étant d'emblée dénué de chances de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>). Compte tenu de l'incarcération du recourant et de l'objet du litige, il peut, à titre exceptionnel, être renoncé à la perception de frais judiciaires (art. 66 al. 1 in fine LTF).
L'intimé, qui s'en est remis à justice quant au sort du recours, ne saurait se voir allouer des dépens (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Il n'est pas perçu de frais judiciaires, ni alloué de dépens.
4.
Le présent arrêt est communiqué au mandataire du recourant, à l'intimé, à l'Office régional du Ministère public du Bas-Valais et au Tribunal cantonal du canton du Valais, Chambre pénale.
Lausanne, le 25 juin 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
Le Greffier : Tinguely