Faits :
A.
Le 15 mai 2018, B._ et C._ ont déposé une plainte pénale contre A._ pour dénonciation calomnieuse (<ref-law>), subsidiairement calomnie (<ref-law>) et plus subsidiairement diffamation (<ref-law>), en raison de propos tenus dans une lettre du 26 février 2018 adressée au Ministère public du canton du Valais et lors d'une interview parue dans un article du 25 avril 2018 (<ref-law>).
Par ordonnance pénale du 7 février 2019, le Substitut du Procureur de l'Office régional du Bas-Valais du Ministère public du canton du Valais a reconnu A._ coupable de calomnie et l'a condamné à une peine pécuniaire de trente jours-amende avec sursis. A la suite de l'opposition formée par le prévenu, le Substitut du Procureur a transmis, le 24 mai 2019, son ordonnance pénale, valant acte d'accusation, au Tribunal des districts de Martigny et St-Maurice pour statuer (<ref-law>).
Les débats se sont tenus le 21 novembre 2019 devant la Juge Laurence Vorpe Largey, qui a, par jugement du même jour, reconnu le prévenu coupable de calomnie et l'a condamné à une peine pécuniaire de trente jours-amende (<ref-law>).
B.
Par requête du 25 novembre 2019, A._ a déposé une demande de récusation à l'encontre de la Juge Laurence Vorpe Largey. Le 24 février 2020, la Chambre pénale du Tribunal cantonal valaisan a rejeté cette requête.
C.
Par courrier du 18 mars 2020, A._ interjette un recours en matière pénale contre ce jugement. Il conclut, sous suite de frais et dépens, à l'admission du recours et de la demande de récusation dirigée contre la Juge Laurence Vorpe Largey.
La Chambre pénale n'a pas formulé d'observations, renvoyant aux considérants de sa décision. Pour sa part, la Juge intimée a conclu à la confirmation du prononcé attaqué. Le 23 juin 2020, le recourant a persisté dans ses conclusions.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2 p. 241).
Conformément aux art. 78 et 92 al. 1 LTF, une décision relative à la récusation d'un magistrat pénal peut faire immédiatement l'objet d'un recours en matière pénale. Le recourant, dont la demande de récusation a été rejetée, a qualité pour recourir en vertu de l'<ref-law>. Pour le surplus, le recours a été interjeté en temps utile (<ref-law>) contre une décision rendue en instance cantonale unique (art. 80 al. 2 in fine LTF) et les conclusions présentées sont recevables (<ref-law>). Il y a donc lieu d'entrer en matière.
2.
Le recourant reproche à l'autorité cantonale de ne pas avoir prononcé la récusation de la Juge intimée en violation de l'art. 56 let. f CPP.
2.1. Aux termes de cette disposition légale, un magistrat est récusable lorsque d'autres motifs, notamment un rapport d'amitié étroit ou d'inimité avec une partie ou son conseil juridique, sont de nature à le rendre suspect de prévention. Cette disposition a la portée d'une clause générale recouvrant tous les motifs de récusation non expressément prévus à l'art. 56 let. a à e CPP. L'art. 56 let. f CPP correspond à la garantie d'un tribunal indépendant et impartial instituée par les art. 30 al. 1 Cst. et 6 par. 1 CEDH. Il n'impose pas la récusation seulement lorsqu'une prévention effective du magistrat est établie, car une disposition interne de sa part ne peut guère être prouvée. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Seules les circonstances constatées objectivement doivent être prises en considération. Les impressions purement individuelles d'une des parties au procès ne sont pas décisives (<ref-ruling> consid. 4.3 p. 162; <ref-ruling> consid. 3.2 p. 74 et les références citées).
De manière générale, les déclarations d'un magistrat doivent être interprétées de façon objective, en tenant compte de leur contexte, de leurs modalités et du but apparemment recherché par leur auteur (arrêts 1B_65/2020 du 18 mai 2020 consid. 4.1; 1B_186/2019 du 24 juin 2019 consid. 5.1). Il incombe en particulier à la direction de la procédure de veiller à la sécurité, à la sérénité et au bon ordre des débats (<ref-law>). Il n'est ainsi, par principe, pas inadmissible que le magistrat en charge de cette fonction puisse adopter un ton plus ferme, notamment afin de rappeler les règles de bienséance à une partie dont le comportement procédural serait inadéquat ou pour mettre la personne entendue face aux incohérences de ses déclarations. Le magistrat sort cependant de ce cadre lorsque les propos émis ne se limitent plus à un tel rappel, mais font référence à des éléments extérieurs à la procédure susceptibles d'influencer la conduite de celle-ci (arrêt 1B_96/2017 du 13 juin 2017 consid. 2.4). Des propos maladroits ne suffisent en principe pas pour retenir qu'un magistrat serait prévenu, sauf s'ils paraissent viser une personne particulière et que leur tenue semble constitutive d'une grave violation notamment des devoirs lui incombant (<ref-ruling> consid. 2d p. 200; arrêt 1B_65/2020 du 18 mai 2020 consid. 4.1 et l'arrêt cité).
2.2. Dans sa décision, l'autorité cantonale a tout d'abord fait état des versions avancées par le recourant et par l'intimée par rapport aux faits reprochés à cette dernière. Concernant l'interruption de la plaidoirie de son avocat par celui de la partie adverse, le recourant soutient que son mandataire aurait été "violemment interrompu" sans que l'intimée n'intervienne; cette dernière affirme avoir cependant immédiatement signifié à l'avocat de la partie adverse de cesser son comportement, ainsi que d'avoir indiqué à l'avocat du recourant de poursuivre sa plaidoirie comme il l'entendait. S'agissant des propos tenus par le recourant en fin d'audience, celui-ci prétend que l'intimée l'aurait fait taire en prétextant que ce qu'il disait n'avait rien à voir avec la procédure; pour sa part, l'intimée indique avoir attiré l'attention du recourant sur le fait que ses déclarations pourraient constituer une nouvelle infraction pénale à l'encontre des plaignants et que la procédure en cours ne permettait pas de revenir sur des faits pour lesquels une ordonnance de non-lieu avait été rendue.
La cour cantonale a ensuite constaté que le procès-verbal de l'audience du 21 novembre 2019 ne permettait pas de départager les thèses en présence. En l'absence de toute demande d'audition concernant "plusieurs personnes qui se trouvaient dans la salle lors de la séance", l'autorité précédente a par conséquent estimé qu'aucun élément au dossier ne venait étayer les griefs formulés par le recourant. De plus, la cour cantonale a considéré que, même si, dans le feu de l'action d'une audience tendue, l'intimée avait tenu des propos maladroits du genre de ceux qui lui ont été prêtés, on ne serait pas en présence de remarques méprisantes ou constitutives d'une grave violation des devoirs incombant à la Juge intimée.
Ainsi, l'instance précédente n'a retenu aucune apparence objective de prévention susceptible de faire redouter une activité partiale de l'intimée.
2.3. Dans un premier argument, le recourant se prévaut de l'inexpérience de l'intimée dans le domaine judiciaire et de sa méconnaissance de la jurisprudence du Tribunal fédéral en matière de récusation, notamment par rapport au délai pour déposer une telle demande (cf. en particulier ad 2 s. p. 3 s. du recours).
Dans la mesure où ces éléments tendraient à démontrer le dépôt en temps utile de la requête de récusation, ils sont dénués de pertinence, puisque l'autorité précédente a considéré que cette demande n'était pas tardive. Ces arguments paraissent dès lors sans rapport avec l'objet du litige (requête de récusation). On constate d'ailleurs que le recourant n'en tire aucune conclusion en faveur de son recours et il n'est dès lors pas nécessaire de discuter ces éléments.
2.4. Le recourant invoque trois faits qui, selon lui, démontreraient la partialité de l'intimée à son égard. Tout d'abord, il lui reproche de n'avoir pas remis à l'ordre l'avocat de la partie adverse lorsqu'il avait interrompu son propre mandataire (cf. ad 5 p. 4 du recours). Il fait également grief à l'intimée de l'avoir interrompu lors de sa dernière prise de parole et de l'avoir menacé "à nouveau sur le fait que ses allégations seraient constitutives d'une infraction puisqu'il se fondait sur une décision judiciaire dont il conteste son contenu" (cf. ad 6 p. 4 du recours). Enfin, il voit une autre manifestation de la partialité de l'intimée dans le fait qu'elle aurait refusé l'audition d'un témoin demandée avant l'audience du 21 novembre 2019 en violation de l'art. 6 CEDH (cf. ad 7 p. 5 du recours).
2.4.1. Par rapport au premier grief invoqué, l'autorité précédente a retenu que rien n'infirmait la version de l'intimée, à savoir qu'elle aurait réagi lorsque l'avocat du recourant avait été interrompu dans sa plaidoirie. Il appartenait en conséquence au recourant de démontrer, de manière conforme à ses obligations en matière de motivation (<ref-law>), que pour aboutir à la constatation précitée, la cour cantonale se serait fondée sur un établissement manifestement inexacte des faits ou en violation du droit au sens de l'<ref-law> (<ref-law>), ce qu'il ne fait pas. En particulier, il ne fait état d'aucun élément figurant dans sa requête de récusation et/ou au dossier qui aurait été arbitrairement omis par l'autorité précédente. Faute de la moindre démonstration, la cour cantonale pouvait dès lors, sans arbitraire, retenir que l'absence alléguée de réaction de la Juge intimée au cours de la plaidoirie litigieuse n'avait pas été démontrée.
2.4.2. Concernant ensuite les déclarations faites par le recourant avant la clôture des débats, il paraît incontesté que la Juge intimée l'a interrompu afin de relever que les propos tenus pourraient être constitutifs d'une infraction et que certains d'entre eux seraient sans lien avec les débats du jour.
De telles remarques de la part d'un juge ne constituent en principe pas une preuve de partialité. En effet, il appartient à la direction de la procédure de faire en sorte que les débats se déroulent de façon conforme à la loi et dans le respect des parties (cf. <ref-law>). Un motif de prévention ne saurait ainsi, sans autre élément, découler de l'usage par un magistrat de ses prérogatives en matière de police d'audience. Cela vaut d'autant plus en l'occurrence où aucun terme déplacé ne semble reproché à la Juge intimée et que ses interventions ne tendaient pas uniquement à défendre les intérêts des parties plaignantes en limitant d'éventuelles atteintes à leur encontre, mais également à rendre attentif le recourant du possible caractère pénal de ses propos. Une apparence de prévention ne résulte pas non plus du seul fait que la Juge intimée a rappelé en substance l'objet du litige afin de recentrer les dernières déclarations du recourant sur celui-ci. Une telle intervention paraît en outre se justifier aussi dans le cas d'espèce vu le contexte a priori houleux existant entre les parties, où il ne saurait être admis de laisser un prévenu s'en prendre aux parties plaignantes sous prétexte que le premier ne serait pas d'accord avec une ordonnance de classement - entrée en force - concernant les secondes; il était ainsi du devoir de la direction de la procédure d'intervenir sans qu'elle puisse être accusée de partialité.
Au vu de ces considérations, la Juge intimée ne saurait se voir accusée de partialité du fait de ses interventions et ce grief peut être écarté.
2.4.3. S'agissant du refus d'auditionner un témoin et dans la mesure où ce grief - a priori invoqué pour la première fois devant le Tribunal fédéral - serait recevable, il ressort du dossier que l'intimée a effectivement rejeté des demandes d'audition avant l'audience du 21 novembre 2019 (cf. l'ordonnance du 15 juillet 2019). Ce rejet n'excluait toutefois pas que cette réquisition de preuve puisse être à nouveau présentée aux débats (art. 331 al. 3 in fine CPP). Or, il apparaît que le recourant a renoncé à cette possibilité lors de l'audience (cf. le procès-verbal de l'audience du 21 novembre 2019 p. 1 [questions préjudicielles, <ref-law>] et p. 5 [proposition de nouvelles preuves, <ref-law>]). Il ne peut donc pas être reproché, à titre de motif de récusation, à l'intimée d'avoir violé les droits de procédure du recourant.
2.5. Sur la base du dossier et des arguments du recourant, l'autorité cantonale pouvait ainsi, sans violer le droit fédéral ou procéder de manière arbitraire, admettre qu'il n'existait aucun motif de récusation à l'encontre de la Juge intimée.
3.
Le recours doit par conséquent être rejeté.
Les frais de la procédure sont mis à la charge du recourant qui succombe (<ref-law>). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Chambre pénale du Tribunal cantonal du canton du Valais.
Lausanne, le 6 octobre 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Kropf