Faits :
A.
Le 4 mars 2021, A._ a déposé une demande de récusation contre la Présidente du Tribunal civil de l'arrondissement de l'Est vaudois B._, dans le cadre de la procédure de mesures provisionnelles qu'il a introduite à l'encontre de C._ SA.
Par décision du 11 août 2021, le Tribunal civil de l'arrondissement de l'Est vaudois a rejeté la demande de récusation.
Par arrêt du 27 septembre 2021, la Cour administrative du Tribunal cantonal du canton de Vaud a rejeté le recours formé le 19 août 2021 par A._ et confirmé la décision rendue le 11 août 2021 par le Tribunal civil de l'arrondissement de l'Est vaudois.
B.
Par acte du18 octobre 2021, A._ exerce un recours " constitutionnel subsidiaire " au Tribunal fédéral, concluant à l'annulation de la décision entreprise et au renvoi de la cause à l'autorité précédente afin qu'elle prononce la récusation de la Présidente B._. Le recourant assortit son recours d'une requête " de mesures provisionnelles (art. 104 LTF) tendant à la suspension du caractère exécutoire de la décision entreprise " et requiert le bénéfice de l'assistance judiciaire pour la procédure fédérale.
C.
Par ordonnance du 8 novembre 2021, le Président de la IIe Cour de droit civil a admis la requête d'effet suspensif.
Des réponses au fond n'ont pas été requises.

Considérant en droit :
1.
L'arrêt attaqué, qui rejette un recours contre une décision rejetant une requête de récusation visant une Présidente du Tribunal civil d'arrondissement, est une décision incidente qui peut être attaquée indépendamment de la décision finale en vertu de l'art. 92 al. 1 LTF (arrêts 5A_843/2019 du 8 avril 2020 consid. 1; 5A_998/2018 du 25 février 2019 consid. 1). La voie de droit contre une décision incidente suit celle ouverte contre la décision sur le fond (cf. arrêts 5A_446/2021 du 29 novembre 2021 consid. 1 et 5A_540/2020 du 29 septembre 2020 consid. 1.1). En l'espèce, la récusation de la juge intimée a été requise dans le cadre d'une procédure de mesures provisionnelles en protection de la personnalité, à savoir une affaire sujette au recours en matière civile (art. 72 al. 1 LTF) de nature non pécuniaire. Le présent recours a pour le surplus été interjeté en temps utile (art. 100 al. 1 LTF) et dans la forme requise (art. 42 al. 1 LTF) par une partie qui a succombé devant l'autorité précédente et a un intérêt à la modification ou à l'annulation de l'arrêt entrepris (art. 76 al. 1 LTF), contre une décision rendue sur recours en dernière instance cantonale par un tribunal supérieur (art. 75 al. 1 LTF). Le présent recours, traité comme un recours en matière civile, est en principe recevable au regard des dispositions qui précèdent.
2.
Dans le cadre d'un recours contre une décision incidente, les motifs qui peuvent être invoqués sont limités dans la même mesure que pour le recours contre la décision principale (arrêts 5A_1019/2020 du 30 juin 2021 consid. 2.1; 5A_1051/2020 du 28 avril 2021 et les références). En l'espèce, la procédure dans le cadre de laquelle la requête de récusation a été introduite, est de nature provisionnelle au sens de l'art. 98 LTF. En conséquence, la présente décision ne peut être attaquée que pour violation des droits constitutionnels. Le Tribunal fédéral n'examine un tel grief que si, conformément au principe d'allégation, il a été invoqué et motivé (art. 106 al. 2 LTF), à savoir expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 1.1). Il n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1.1; <ref-ruling> consid. 2.4 et les références).
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Dans l'hypothèse d'un recours soumis à l'art. 98 LTF, le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte ne peut obtenir la rectification ou le complètement des constatations de fait de l'arrêt cantonal que s'il démontre la violation de droits constitutionnels, conformément au principe d'allégation susmentionné (cf. supra consid. 2.1). Le recourant ne peut se limiter à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit indiquer de façon précise en quoi ces constatations sont arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.4.3). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (art. 106 al. 2 LTF; <ref-ruling> consid. 1.3.1; <ref-ruling> consid. 2.3 et les références). En matière de constatation des faits et d'appréciation des preuves, le Tribunal fédéral n'intervient, du chef de l'art. 9 Cst., que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'une preuve propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a effectué des déductions insoutenables (<ref-ruling> consid. 7.1; <ref-ruling> consid. 2.3; <ref-ruling> consid. 4.2; <ref-ruling> consid. 4.2 et les références); encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause.
3.
Dans son écriture, le recourant présente le déroulement de la procédure, fait valoir que la juge intimée a utilisé une " identité illicite ", se plaint de l'application erronée des dispositions concernant la récusation, estimant que le tribunal de première instance ne pouvait pas choisir une base légale à sa place, et conteste " le bien-fondé de l'application par le Tribunal cantonal de l'art. 326 al. 1 CPC à ses déterminations ". Ce faisant, il n'expose nullement, a fortiori avec clarté et précision, en quoi la cour cantonale aurait violé la Constitution ou l'un de ses droits fondamentaux. L'argumentation ne satisfait donc manifestement pas aux exigences minimales de motivation (cf. art. 106 al. 2 LTF, par renvoi de l'art. 98 LTF; cf. supra consid. 2), de sorte que ces critiques sont d'emblée irrecevables.
4.
Évoquant l'arbitraire, son droit à la preuve, son droit d'être entendu garanti par les art. 29 al. 2 Cst et 6 CEDH et son droit à un recours effectif au sens de l'art. 13 CEDH, le recourant fait valoir que son offre de preuve du 23 juillet 2021 a été sciemment ignorée et que l'autorité précédente n'a pas exposé son raisonnement pour conclure à l'absence de violation de son droit d'être entendu par le tribunal de première instance.
4.1.
4.1.1. Le droit d'être entendu (art. 29 al. 2 Cst.) comprend notamment le droit pour le justiciable de produire des preuves pertinentes et d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 4.1; <ref-ruling> consid. 2.3; <ref-ruling> consid. 2.3).
4.1.2. Le droit d'être entendu (art. 29 al. 2 Cst.) impose aussi à l'autorité judiciaire de motiver ses décisions, afin que le justiciable puisse les comprendre et exercer son droit de recours à bon escient. Pour satisfaire à cette exigence, il suffit que l'autorité mentionne au moins brièvement les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision. Elle n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à ceux qui, sans arbitraire, peuvent être tenus pour pertinents (<ref-ruling> consid. 4.2 et les références). Dès lors que l'on peut discerner les motifs qui ont guidé la décision de l'autorité, le droit à une décision motivée est respecté même si la motivation présentée est erronée. La motivation peut d'ailleurs être implicite et résulter des différents considérants de la décision (<ref-ruling> consid. 3.2.1 et les références).
4.1.3. L'art. 13 de la Convention du 4 novembre 1950 de sauvegarde des droits de l'homme et des libertés fondamentales (CEDH; RS 0.101) garantit à toute personne dont les droits et libertés reconnus dans la Convention ont été violés un droit à un recours effectif devant une instance nationale (<ref-ruling> consid. 4.3.1; <ref-ruling> consid. 1.3).
4.1.4. Les art. 6 para. 1 et 13 CEDH n'offrent, à cet égard, pas une protection plus étendue que les garanties constitutionnelles nationales des art. 29 et 29a Cst. (<ref-ruling> consid. 1.1 et 5.2; arrêts 5A_683/2016 du 27 octobre 2016 consid. 3.1; 5A_548/2015 du 15 octobre 2015 consid. 3.1; 2C_478/2008 du 23 septembre 2008 consid. 4.3).
4.2. Dans la mesure où le recourant entend soulever la violation de son droit d'être entendu en relation avec le rejet de son offre de preuve du 23 juillet 2021, son grief est d'emblée irrecevable dans le cadre du présent recours puisqu'il est dirigé contre l'autorité de première instance qui a rendu sa décision le 11 août 2021, non contre l'arrêt déférée de l'autorité cantonale supérieure (art. 42 al. 2 et 75 LTF).
Pour le surplus, le grief de violation du droit d'être entendu garanti par les art. 29 al. 2 Cst. et 6 CEDH tombe à faux. La cour cantonale a explicitement confirmé le rejet de la requête de récusation, retenu que les premiers juges s'étaient prononcés " de manière circonstanciée et convaincante " sur les griefs soulevés par le recourant, et constaté que " le tribunal a[vait] traité les questions de « l'identité illicite» par laquelle la magistrate intimée aurait désigné le recourant, du respect par la magistrate intimée du principe de célérité et de la prétendue violation du droit d'être entendu ". Ce faisant, l'autorité précédente a examiné les griefs soulevés, notamment celui de la violation du droit d'être entendu sous l'angle de l'administration (anticipée) des preuves, et motivé sa décision de manière à ce que le recourant puisse la comprendre (cf. supra consid. 4.1.2).
Enfin, on ne voit pas en quoi son droit à un procès équitable (art. 29a Cst. et 13 CEDH) aurait été violé.
4.3. En définitive, les griefs tirés des art. 29 et 29a Cst., ainsi que des art. 6 et 13 CEDH sont d'emblée mal fondés, dans la mesure où ils sont recevables.
5.
Vu ce qui précède, le recours en matière civile est mal fondé et doit être rejeté, dans la mesure où il est recevable.
Les conclusions du présent recours étaient d'emblée dépourvues de toute chance de succès, en sorte que la requête d'assistance judiciaire du recourant pour la procédure devant la cour de céans ne saurait être agréée (art. 64 al. 1 LTF; <ref-ruling> consid. 2). Dans ces conditions, les frais judiciaires sont mis à la charge du recourant qui succombe (art. 66 al. 1 LTF).
Il n'est pas alloué de dépens à l'autorité intimée, qui a obtenu gain de cause dans l'exercice de ses attributions officielles, et qui a de surcroît renoncé à se déterminer concernant l'effet suspensif et n'a pas été invitée à se déterminer sur le fond (art. 68 al. 2 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire du recourant est rejetée.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
4.
Il n'est pas alloué de dépens.
5.
Le présent arrêt est communiqué aux parties, à la Cour administrative du Tribunal cantonal du canton de Vaud, Récusation civile, et à C._ SA, Bern.
Lausanne, le 12 janvier 2022
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Gauron-Carlin