Faits :
A.
Par acte d'accusation du 16 mai 2019, A._ a été renvoyé en jugement devant le Tribunal des districts d'Hérens et Contey afin de répondre des infractions de faux dans les titres (<ref-law>), de violation du secret de fonction (<ref-law>) et d'emploi illicite des signes publics (art. 28 al. 1 let. b de la loi sur la protection des armoiries [LPAP; RS 232.21]). La juge de district Isabelle Boson est en charge de la procédure pénale pendante devant le Tribunal de district et doit statuer sur la culpabilité de A._ s'agissant des infractions précitées.
Après avoir pris connaissance d'une lettre datée du 9 août 2019 adressée au Tribunal des districts d'Hérens et Conthey, imprimée avec le papier à en-tête de Me B._ et expédiée en courrier recommandé depuis Lausanne, la Juge Boson a communiqué à cet avocat un courrier le 12 août 2019, dont le contenu était le suivant :
"Je vous retourne en annexe une nouvelle écriture faite apparemment avec une photocopie de votre papier à en-tête mais avec une enveloppe qui ne provient pas de votre Etude. Si vous n'en êtes pas l'auteur, je vous laisse le soin de dénoncer cette falsification auprès du Ministère public.
Le prochain envoi de la même facture reçu par le Tribunal de céans, sera adressé avec une dénonciation contre inconnu au Ministère public conformément aux <ref-law> et 35 LACPP".
Le 18 août 2019, A._ a, par l'intermédiaire de son avocat Me B._, requis la récusation de la Juge Isabelle Boson au motif qu'elle lui reprocherait d'avoir commis une falsification en utilisant abusivement le papier à lettre de l'Etude de son avocat, en envoyant une missive au contenu non approuvé par ce dernier et en imitant en outre sa signature; une telle prévention, non précédée d'un appel téléphonique à son avocat pour en vérifier le bien-fondé, impliquerait la récusation de cette magistrate qui doit statuer dans la cause pénale dans laquelle il est accusé d'avoir utilisé abusivement le papier à en-tête de l'Etat du Valais.
Par ordonnance du 11 septembre 2019, la Chambre pénale du Tribunal cantonal du canton du Valais (ci-après: la Chambre pénale) a rejeté la demande de récusation.
B.
A._ a interjeté un recours en matière pénale auprès du Tribunal fédéral à l'encontre de l'ordonnance du 11 septembre 2019. Il a conclu à la récusation de la Juge Isabelle Boson, ainsi qu'à l'annulation et à la répétition des actes de procédure auxquels cette dernière a participé. A._ a également formé une requête de mesures provisionnelles tendant, d'une part, à ce que la procédure pénale soit suspendue jusqu'à droit connu sur son recours ainsi que sur les procédures pendantes devant le Tribunal fédéral (causes 8C_719/2018 et 8C_531/2019) et, d'autre part, à ce que la séance de débat final fixée au 1 er octobre 2019 soit annulée et reportée sine die.
Invitée à se prononcer, la Chambre pénale s'est référée aux considérants de son ordonnance. Quant à la juge intimée, elle a renoncé à déposer des observations et a précisé que les débats du 1 er octobre 2019 avaient été annulés.
Par ordonnance du 9 octobre 2019, le Président de la Ire Cour de droit public a déclaré sans objet la requête de mesures provisionnelles en tant qu'elle portait sur l'annulation de la séance de débat final fixée au 1 er octobre 2019; il a également pris acte du fait que ni la Juge de district ni le Président de la Chambre pénale ne s'opposaient à la suspension de la procédure pénale jusqu'à droit connu sur le présent recours; il a par ailleurs rejeté la requête tendant à ce que l'ensemble des causes concernant le recourant pendantes devant le Tribunal fédéral soient traitées par la Ire Cour de droit public. Quant à la Ire Cour de droit social du Tribunal fédéral, elle a, par ordonnance du 25 octobre 2019, rejeté la requête tendant à la suspension de la procédure pénale jusqu'à droit connu dans les causes 8C_719/2018 et 8C_531/2019.
A._ a déposé plusieurs écritures et a consulté le dossier de la cause le 30 octobre 2019.

Considérant en droit :
1.
Conformément aux art. 78 et 92 al. 1 LTF, une décision relative à la récusation d'un magistrat pénal peut faire immédiatement l'objet d'un recours en matière pénale. Le recourant, auteur de la demande de récusation, a qualité pour recourir (<ref-law>). Pour le surplus, le recours a été interjeté en temps utile (<ref-law>) contre une décision rendue en dernière instance cantonale (<ref-law>) et les conclusions prises sont recevables (<ref-law>). Il y a donc lieu d'entrer en matière.
2.
Conformément à l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision attaquée. Les diverses pièces produites comme preuves par le recourant et qui ne figuraient pas au dossier doivent, à ce titre, être écartées.
3.
Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut critiquer la constatation de faits qui importent pour le jugement de la cause que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, en particulier en violation de l'interdiction constitutionnelle de l'arbitraire (<ref-law>; <ref-ruling> consid. 4.1.2 p. 62), ce qu'il lui appartient de démontrer par une argumentation répondant aux exigences de l'<ref-law>, respectivement de l'<ref-law>.
Dans les parties de son écriture intitulées "occultation arbitraire des faits fondant la récusation" et "faits nécessaires à la compréhension de la requête de récusation", le recourant expose de nombreux faits qui ne ressortent pas de l'ordonnance entreprise. Le recourant ne présente toutefois aucune démonstration du caractère arbitraire de l'état de fait de cette ordonnance; son argumentation ne répond ainsi pas aux exigences de motivation posées par l'<ref-law>. De plus, de très nombreux faits ont trait à la procédure administrative de résiliation de ses rapports de service qui ne constitue pas l'objet de la présente procédure. Enfin, le recourant se méprend lorsqu'il affirme que l'instance précédente n'aurait pas mentionné l'objet même de la procédure pénale. En effet, l'instance précédente indique dans sa décision que l'acte d'accusation du 16 mai 2019 renvoie le recourant en jugement pour faux dans les titres, violation du secret de fonction et emploi illicite des signes publics. L'instance précédente n'expose certes pas en détail le contenu de l'acte d'accusation, tel le fait que le recourant est accusé d'avoir commis un faux dans les titres en utilisant le papier à lettre à en-tête de son employeur, l'Etat du Valais. Cela étant, cet élément n'était pas, pour les motifs exposés ci-dessous, de nature à influencer l'issue du litige (cf. consid. 4.2).
4.
Le recourant considère que la juge intimée, qui l'accuserait d'avoir falsifié le courrier du 9 août 2019 de son propre mandataire, n'aurait plus l'apparence nécessaire d'impartialité pour statuer dans la cause pénale le concernant.
4.1. Un magistrat est récusable, selon l'art. 56 let. f CPP, "lorsque d'autres motifs, notamment un rapport d'amitié étroit ou d'inimitié avec une partie ou son conseil, sont de nature à le rendre suspect de prévention". Cette disposition a la portée d'une clause générale recouvrant tous les motifs de récusation non expressément prévus aux lettres précédentes. Elle correspond à la garantie d'un tribunal indépendant et impartial instituée par les art. 30 al. 1 Cst. et 6 par. 1 CEDH. Elle n'impose pas la récusation seulement lorsqu'une prévention effective du magistrat est établie, car une disposition interne de sa part ne peut guère être prouvée. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Seules les circonstances constatées objectivement doivent être prises en considération. Les impressions purement individuelles d'une des parties au procès ne sont pas décisives (<ref-ruling> consid. 3.2 p. 74).
De manière générale, les déclarations d'un magistrat doivent être interprétées de manière objective, en tenant compte de leur contexte, de leurs modalités et du but apparemment recherché par leur auteur (arrêt 1B_186/2019 du 24 juin 2019 consid. 5.1 et l'arrêt cité).
4.2. Dans l'arrêt entrepris, la Chambre pénale a relevé que la lettre du 9 août 2019 adressée au Tribunal des districts d'Hérens et Conthey ne manquait pas d'intriguer. Cette autorité a considéré que si cette lettre avait été imprimée avec le papier à en-tête de Me B._, elle avait de toute évidence été rédigée non par ce défenseur privé, mais par l'intimé, vu la police, le style et les formules utilisées; elle avait, de surcroît, été expédiée en courrier recommandé depuis Lausanne et non depuis Sion, ville où Me B._ a son étude, qui plus est dans une enveloppe différente de celle que l'avocat emploie habituellement. L'instance précédente a considéré que, dans ces conditions, la juge intimée était fondée à douter de l'authenticité de cette lettre; partant, elle pouvait faire implicitement part de ses interrogations à Me B._, dans sa correspondance du 12 août 2019, en lui retournant le pli en question pour éventuelle dénonciation pénale et en lui annonçant que tout futur envoi du même ordre au Tribunal des districts d'Hérens et Conthey serait dénoncé au ministère public. Selon l'instance précédente, aucune apparence de prévention ne pouvait être retenue à l'encontre de la juge intimée, sur le vu de sa seule lettre à Me B._ du 12 août 2019. A ses yeux, le fait qu'un juge doute de l'authenticité d'une écriture qu'il a reçue n'implique pas qu'il y a forcément lieu de redouter ensuite une activité partiale de sa part envers son auteur présumé.
Le recourant critique cette appréciation, considérant qu'il y a lieu d'admettre sa demande de récusation. Il reproche à la juge intimée d'avoir imaginé qu'il avait commis un faux dans les titres au détriment de son propre mandataire et d'avoir énoncé cette grave accusation dans son courrier du 12 août 2019, sans même tenter au préalable de vérifier l'information auprès de son mandataire. Or, celui-ci confirme être l'auteur du courrier allégué et précise d'ailleurs être à même de rédiger un corpus de textes bien différents, relevant que la police d'écriture, le style sémantique et les formules syntaxiques n'étaient pas décisifs dans ce contexte; il ajoute que l'élément déterminant est que le document litigieux ait été signé de sa main, à savoir par un mandataire disposant d'une procuration. La juge intimée n'aurait plus l'apparence nécessaire d'impartialité pour statuer dans la cause pénale le concernant dans laquelle il est précisément accusé de faux dans les titres pour avoir prétendument utilisé sans droit le papier à lettre à en-tête de son employeur.
4.3. L'argumentation du recourant n'est pas convaincante. En effet, à l'instar de la juge intimée et de la Chambre pénale, il y a lieu de constater que le courrier du 9 août 2019 pouvait susciter certaines interrogations, en raison des éléments suivants: il semblait avoir été confectionné au moyen d'une photocopie du papier à en-tête de Me B._; l'enveloppe différait de celle utilisée habituellement par cet avocat; enfin, le courrier avait été expédié en recommandé depuis Lausanne et non pas depuis Sion où est située l'Etude de ce conseil. On ne saurait dès lors reprocher à la juge intimée d'avoir transmis le courrier litigieux à l'avocat concerné afin que celui-ci puisse en prendre connaissance et se déterminer à bon escient sur les doutes exprimés par la magistrate. Un simple appel téléphonique de cette dernière ne permettait pas à l'avocat de prendre connaissance du contenu et de l'aspect de cette missive. En présence de doutes fondés sur les éléments précités quant à l'authenticité de ce document, sa transmission au mandataire concerné s'imposait, quelle que soit la nature des infractions reprochées au recourant. On ne saurait pas non plus faire grief à cette magistrate, au vu des circonstances, d'avoir signalé au mandataire du recourant qu'un envoi ultérieur de la même facture serait dénoncé au ministère public. Si le mandataire affirmait être l'auteur de la missive du 9 août 2019, le second paragraphe de celle du 12 août 2019 devenait sans objet.
Quoi qu'en pense le recourant, le courrier du 12 août 2019 ne suffit ainsi pas, à lui seul, pour retenir un soupçon objectif de prévention de la part de la juge intimée à son encontre. Il ne permet pas d'admettre que l'issue de la procédure au fond n'apparaîtrait plus comme ouverte. Le fait que cette magistrate n'ait pas présenté des excuses pour avoir émis des doutes concernant le courrier du 9 août 2019 ne constitue pas non plus un motif de récusation.
4.4. Partant, la Chambre pénale n'a pas violé le droit fédéral en rejetant la requête de récusation formée par le recourant, faute de motifs de récusation.
5.
Il s'ensuit que le recours est rejeté, dans la mesure de sa recevabilité. Le recourant, qui succombe, supporte les frais de la procédure fédérale (<ref-law>). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, fixés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Chambre pénale.
Lausanne, le 26 novembre 2019
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Arn