Faits :
A.
A.A._, né en 1960, et C.A._, née en 1967, se sont mariés en 1998. De cette union sont issus deux enfants: D._, né le 27 mars 2000, et E._, née le 3 octobre 2004.
B.
B.a. Par demande unilatérale du 12 octobre 2012 déposée devant le Tribunal civil de l'arrondissement de l'Est vaudois (ci-après: Tribunal civil), A.A._ a ouvert action en divorce.
B.b. Par ordonnance de mesures provisionnelles du 14 août 2013, le Président B._ (ci-après: Président du Tribunal civil) a notamment dit que l'époux continuerait à contribuer à l'entretien de ses enfants par le versement d'une pension mensuelle de 1'400 fr. par enfant (I), a astreint l'époux à contribuer à l'entretien de l'épouse par le versement d'une pension mensuelle de 7'635 fr. dès le 1er janvier 2013 (lI), dit que la moitié des revenus nets supplémentaires qui seront versés à l'époux par son employeur, à titre de prestations variables, bonus, gratification, ou participation au résultat d'exploitation (bonus " Centre " et RUSP en particulier), reviendrait à l'épouse lorsqu'ils seront effectivement touchés par l'époux, ce dès le 1er janvier 2013, et astreint celui-ci à renseigner son épouse et à lui présenter trimestriellement tous les décomptes y relatifs (III).
La Juge déléguée de la Cour d'appel civile du Tribunal cantonal vaudois a rejeté l'appel interjeté contre cette ordonnance par arrêt du 11 octobre 2013. Le recours formé contre cet arrêt a été rejeté par le Tribunal fédéral le 28 juillet 2014 (arrêt 5A_15/2014).
B.c. Par ordonnance d'exécution forcée de mesures provisionnelles du 21 mai 2014, le Président du Tribunal civil a notamment ordonné à l'époux de renseigner complètement, dans les dix jours dès notification de la décision, l'épouse sur les revenus nets supplémentaires qui lui sont versés par son employeur et à lui présenter tous les 31 mars, 30 juin, 30 septembre et 31 décembre, tous les décomptes y relatifs, en application du chiffre III de l'ordonnance de mesures provisionnelles rendue le 14 août 2013, sous la menace de la peine prévue à l'art. 292 CP.
B.d. Par ordonnance d'exécution forcée du 10 décembre 2014, le Président du Tribunal civil a notamment ordonné à G._ SA d'adresser tous les 30 novembre, 28 ou 29 février, 31 mai et 31 août à l'épouse un décompte des rémunérations versées durant le trimestre écoulé à l'époux en plus de son salaire mensuel courant (I), une attestation du nombre et de la valeur de toutes les actions assujetties à des restrictions (RSUP) attribuées à l'époux et débloquées dans le trimestre écoulé (Il), les décomptes et attestations prévus aux chiffres I et Il ci-dessus pour la période écoulée du 1er janvier 2013 au 30 novembre 2014, dans les trente jours (III) et a astreint l'épouse à avancer les frais de la procédure d'exécution par 2'000 fr., l'ordonnance n'étant pas notifiée à G._ SA avant ledit versement de l'avance (V). Par arrêt du 27 janvier 2015, la Chambre des recours civile du Tribunal cantonal vaudois a rejeté le recours de l'époux contre cette ordonnance.
B.e. Par ordonnance de mesures provisionnelles du 26 janvier 2015, le Président du Tribunal civil a notamment dit que l'époux est le débiteur de l'épouse de la somme de 7'000 fr. à titre de provisio ad litem.
Par arrêt du 25 février 2015, la Cour d'appel civile du Tribunal cantonal vaudois a admis l'appel formé par l'époux contre cette ordonnance, l'a annulée et a renvoyé la cause au Président du Tribunal civil pour compléter l'instruction et statuer à nouveau.
B.f. Par ordonnance de mesures superprovisionnelles rendue le 24 juin 2015 sur requête de l'épouse datée de la veille, le Président du Tribunal civil a interdit à G._ SA de verser quelque montant que ce soit à l'époux, de quelque nature que ce soit, jusqu'à nouvel ordre (I), ordonné à G._ SA de lui transmettre dans les 72 heures le décompte salarial final de l'époux, salaire mensuel, 13ème salaire éventuel, vacances, gratification et/ou bonus de toute sorte y compris (II) et ordonné à G._ SA de lui confirmer que le blocage ordonné a bel et bien été effectué (III).
B.g. Par ordonnance de mesures superprovisionnelles du 26 juin 2015, la Présidente F._ a révoqué les chiffres I à III de l'ordonnance de mesures superprovisionnelles du 24 juin 2015.
C.
C.a. Le 25 juin 2015, l'époux a déposé une requête de récusation à l'encontre du Président B._ à la suite de sa décision de mesures superprovisionnelles du 24 juin 2015.
C.b. Par décision du 23 juillet 2015, le Tribunal civil de l'arrondissement de l'Est vaudois a rejeté la requête de récusation. Le 6 août 2015, l'époux a recouru contre cette décision devant le Tribunal cantonal vaudois.
C.c. Par arrêt du 24 août 2015, notifié en expédition complète le lendemain, la Cour administrative du Tribunal cantonal vaudois a rejeté le recours et confirmé la décision du Tribunal civil du 23 juillet 2015.
D.
Par acte posté le 24 septembre 2015, l'époux exerce un recours en matière civile au Tribunal fédéral contre l'arrêt du 24 août 2015. Il conclut à sa réforme en ce sens que la récusation du Président B._ est prononcée et la cause en divorce qui l'oppose à son épouse confiée à un autre magistrat du Tribunal civil de l'arrondissement de l'Est vaudois.
Des observations n'ont pas été requises.

Considérant en droit :
1.
En tant qu'elle statue sur une demande de récusation, la décision attaquée, qui est une décision incidente, peut faire l'objet d'un recours immédiat au Tribunal fédéral (art. 92 al. 1 LTF). La voie de droit contre une décision incidente suit celle ouverte contre la décision sur le fond. En l'espèce, le juge dont la récusation est requise est en charge d'une procédure de divorce portant tant sur des questions financières que sur le sort des enfants, à savoir une affaire non pécuniaire dans son ensemble (arrêt 5A_286/2013 du 12 juin 2013 consid. 1 et les références); la décision à rendre au fond est susceptible de recours en matière civile (art. 72 al. 1 LTF). La voie du recours en matière civile est donc également ouverte contre l'arrêt querellé. Interjeté en temps utile (art. 100 al. 1 LTF) et dans les formes requises (art. 42 al. 1 LTF) par une partie qui a succombé devant l'autorité précédente et a un intérêt à la modification ou à l'annulation de l'arrêt entrepris (art. 76 al. 1 LTF), contre une décision rendue sur recours en dernière instance cantonale par un tribunal supérieur (art. 75 al. 1 LTF), le présent recours est donc en principe recevable.
2.
2.1. Dès lors que l'arrêt attaqué s'inscrit dans le cadre d'une procédure de divorce, le pouvoir d'examen du Tribunal fédéral n'est pas limité, en vertu de l'art. 98 LTF, à l'examen des griefs tirés de la violation de droits constitutionnels. Il en résulte que le recourant peut faire valoir tous les motifs de recours, notamment la violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF.
Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une autorité de première instance, toutes les questions juridiques pouvant se poser, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2; <ref-ruling> consid. 1.4; <ref-ruling> consid. 1.1). L'art. 42 al. 2 LTF exige par ailleurs que le recourant discute les motifs de la décision entreprise et indique précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 2). Il doit exister un lien entre la motivation du recours et la décision attaquée. Le recourant doit se déterminer par rapport aux considérants de l'arrêt entrepris; il ne peut se contenter de reprendre presque mot pour mot l'argumentation formée devant l'autorité cantonale (<ref-ruling> consid. 2.1; arrêts 5A_380/2015 du 1er juillet 2015 consid. 2; 5A_756/2014 du 23 juin 2015 consid. 1.2). Par ailleurs, lorsque la décision attaquée se fonde sur plusieurs motivations indépendantes, alternatives ou subsidiaires, toutes suffisantes, le recourant doit, sous peine d'irrecevabilité, démontrer que chacune d'entre elles est contraire au droit en se conformant aux exigences de motivation requises (<ref-ruling> consid. 4.1.4; <ref-ruling> consid. 6.3). Enfin, le Tribunal fédéral ne connaît de la violation de droits fondamentaux que si de tels griefs ont été invoqués et motivés par le recourant (" principe d'allégation ", art. 106 al. 2 LTF; <ref-ruling> consid. 3.3), c'est-à-dire s'ils ont été expressément soulevés et exposés de façon claire et détaillée (<ref-ruling> consid. 1.2). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 3.1).
2.2. Le Tribunal fédéral conduit son raisonnement sur la base des faits établis par la juridiction précédente (art. 105 al. 1 LTF); il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF, et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). La partie recourante qui soutient que les faits ont été constatés d'une manière manifestement inexacte (art. 97 al. 1 LTF), c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.2.2), doit satisfaire au principe d'allégation susmentionné (cf. supra consid. 2.1), sous peine d'irrecevabilité.
3.
Le recours a pour objet la récusation du Président du Tribunal civil saisi de la procédure de divorce opposant le recourant à son épouse.
La Cour administrative du Tribunal cantonal vaudois a constaté qu'avant le prononcé de l'ordonnance de mesures superprovisionnelles du 24 juin 2015, le recourant n'avait jamais fait état d'une prévention de la part du Président B._. On pouvait dès lors douter de la recevabilité de sa requête, qui paraissait tardive s'agissant des griefs invoqués concernant les décisions antérieures à celle du 24 juin 2015. Cette question pouvait toutefois rester indécise, dans la mesure où le recours devait de toute façon être rejeté. Le recourant n'apportait en effet aucun élément de preuve permettant d'établir son allégation selon laquelle l'ordonnance du 24 juin 2015 était la dernière d'une série de décisions favorisant systématiquement la partie adverse. Il contestait en réalité l'appréciation des faits effectuée par le magistrat intimé lorsque celui-ci rend des décisions en sa défaveur. Or il n'appartenait pas à l'autorité de récusation de vérifier l'appréciation des faits et le raisonnement juridique du magistrat, ces questions ressortant aux autorités de recours compétentes. S'agissant de l'argument du recourant selon lequel l'ordonnance du 24 juin 2015 constituerait une violation si grave de son droit au minimum vital qu'elle justifierait la récusation du Président B._, les juges précédents ont rappelé que, selon la jurisprudence, une erreur de procédure ou d'appréciation commise par un juge ne suffisait pas en soi à fonder objectivement un soupçon de prévention. Ainsi, même à considérer que la décision du 24 juin 2015 violerait le droit au minimum vital du recourant, elle ne suffirait pas à retenir un soupçon de prévention du magistrat intimé à l'encontre du recourant. Au demeurant, ce dernier n'apportait aucun élément de preuve permettant d'établir qu'il aurait été empêché de subvenir à ses besoins en raison de la décision rendue le 24 juin 2015 et cette décision avait été révoquée deux jours plus tard, le 26 juin 2015, sur la base des pièces qu'il avait produites. La décision du magistrat intimé ne l'avait ainsi certainement pas empêché de recevoir son salaire et de payer ses charges.
4.
Le recourant invoque la violation des art. 47 ss CPC, plus particulièrement de l'art. 47 al. 1 let. f CPC. Il fait grief à la cour cantonale d'avoir retenu, de manière incompréhensible et après un examen superficiel des faits, qu'aucun soupçon de prévention ne pouvait être reproché au Président B._ sur la base de son ordonnance de mesures provisionnelles du 24 juin 2015. Or, en interdisant à G._ SA de lui verser quelque montant que ce soit et de quelque nature que ce soit pour une durée indéterminée, dit magistrat l'avait privé, le 25 du mois, du versement de son salaire. Cela, alors qu'aucun élément ne justifiait un tel blocage, en tout cas pas de l'intégralité de son salaire. Cette première erreur du magistrat consacrait une violation crasse du droit intangible au minimum vital consacré par la jurisprudence, respectivement une grave erreur d'appréciation justifiant impérativement sa récusation. Le fait que l'ordonnance ait été révoquée deux jours plus tard et que, selon la cour cantonale, il était ainsi vraisemblable que la décision incriminée ne l'avait pas empêché de recevoir son salaire et de payer ses charges n'y changeait rien. Les circonstances postérieures à l'ordonnance du 24 juin 2015 n'étaient en effet pas pertinentes et ne pouvaient la justifier a posteriori. L'arrêt attaqué passait sous silence une deuxième erreur d'appréciation du Président B._ justifiant sa récusation. Ce magistrat avait en effet admis les allégations de l'épouse, sans même qu'elles aient été rendues vraisemblables, soit en violation manifeste de l'art. 265 CPC. Or, ces allégations, totalement fantaisistes, ne reposaient sur aucun fondement objectif, ce que l'accord de fin de relation de travail transmis le 25 juin 2015 au Tribunal civil avait démontré. Enfin, le fait d'avoir fixé une audience de mesures provisionnelles le 5 octobre 2015, soit plus de quatorze semaines après le dépôt de la requête de mesures superprovisionnelles et partant en violation de l'art. 265 al. 2 CPC, confirmait la volonté manifeste du Président B._ d'avantager injustement les intérêts de l'épouse. Cette troisième erreur était tout aussi inexcusable que les deux premières et aurait dû être prise en considération par la cour cantonale.
En définitive, le recourant soutient que la décision rendue le 24 juin 2015 par le Président B._ est entachée d'erreurs particulièrement lourdes, qui devaient être considérées comme des violations des devoirs du magistrat justifiant impérativement sa récusation. Une décision aussi brutale, émanant d'un juge rompu au droit de la famille, démontrait que le Président B._ n'est plus en mesure de faire preuve d'impartialité dans le cadre de la procédure de divorce divisant les parties tant l'image qu'il a de l'époux est négative. En statuant comme il l'avait fait, dit magistrat démontrait qu'il considère ce dernier comme une personne malhonnête et prompte à faire disparaître ses biens dans le but de léser son épouse.
4.1. Selon l'art. 47 al. 1 let. f CPC, les magistrats se récusent lorsqu'ils pourraient être prévenus de toute autre manière, notamment en raison d'un rapport d'inimitié avec une partie ou son représentant. L'art. 47 al. 1 let. f CPC concrétise les garanties découlant de l'art. 30 al. 1 Cst. - qui a, de ce point de vue, la même portée que l'art. 6 § 1 CEDH (<ref-ruling> consid. 4.2) -, de sorte que la jurisprudence rendue en application de cette norme reste pertinente (<ref-ruling> consid. 4.2; arrêt 5A_171/2015 du 20 avril 2015 consid. 6.1).
La garantie d'un juge indépendant et impartial permet de demander la récusation d'un magistrat dont la situation ou le comportement est de nature à susciter des doutes quant à son impartialité. Elle vise à éviter que des circonstances extérieures à la cause ne puissent influencer le jugement en faveur ou au détriment d'une partie. Elle n'impose pas la récusation uniquement lorsqu'une prévention effective est établie, car une disposition interne de la part du juge ne peut être prouvée; il suffit que les circonstances donnent l'apparence d'une prévention et fassent redouter une activité partiale du magistrat; cependant, seules les circonstances objectivement constatées doivent être prises en compte, les impressions purement individuelles n'étant pas décisives (<ref-ruling> consid. 4.1; <ref-ruling> consid. 3.2.1, 433 consid. 2.1.2; <ref-ruling> consid. 5.1; <ref-ruling> consid. 2.2; <ref-ruling> consid. 2.1). Des décisions ou des actes de procédure viciés, voire arbitraires, ne fondent pas en soi une apparence objective de prévention (arrêts 5A_171/2015 précité; 4A_377/2014 du 25 novembre 2014 consid. 6.1 et les références). En raison de son activité, le juge est contraint de se prononcer sur des questions contestées et délicates; même si elles se révèlent par la suite erronées, des mesures inhérentes à l'exercice normal de sa charge ne permettent pas encore de le suspecter de parti pris; en décider autrement reviendrait à dire que tout jugement inexact, voire arbitraire, serait le fruit de la partialité du juge, ce qui est inadmissible. En particulier, même lorsqu'elles sont établies, des erreurs de procédure ou d'appréciation commises par un juge ne suffisent pas à fonder objectivement un soupçon de partialité; seules des erreurs particulièrement lourdes ou répétées, constitutives de violations graves des devoirs du magistrat, peuvent justifier une suspicion de partialité, pour autant que les circonstances corroborent à tout le moins objectivement l'apparence de prévention (ATF <ref-ruling> consid. 2.3 et les références). C'est aux juridictions de recours normalement compétentes qu'il appartient de constater et de redresser les erreurs éventuellement commises; le juge de la récusation ne saurait donc examiner la conduite du procès à la façon d'une instance d'appel (<ref-ruling> consid. 3a; arrêt 5A_286/2013 du 12 juin 2013 consid. 2.1).
4.2. En l'espèce, il relevait du pouvoir d'appréciation du magistrat intimé d'admettre ou de rejeter la requête de mesures superprovisionnelles de l'épouse. Il lui incombait de rendre une décision au regard de la vraisemblance et au vu des éléments immédiatement disponibles. Il a ainsi statué en ce sens que l'urgence paraissait justifier de donner une suite favorable à dite requête. Une telle décision rendue en vertu du pouvoir d'appréciation du juge intimé ne suffit pas à retenir l'existence d'une prévention de ce dernier, ce d'autant que les motifs invoqués par le recourant se rapportent au bien-fondé de cette décision et au traitement procédural de la requête qui en est la cause. Or, comme l'a à raison relevé la cour cantonale, les erreurs de procédure ou d'appréciation éventuellement commises par un juge doivent être constatées et redressées dans le cadre des procédures de recours prévues à cet effet (cf. supra consid. 4.1). Dès lors qu'un recours immédiat n'était en l'occurrence pas possible s'agissant de mesures superprovisionnelles, le recourant gardait la possibilité de se déterminer en audience ou dans le délai imparti à cet effet, voire même d'intervenir spontanément auprès du tribunal aux fins de faire révoquer l'ordonnance litigieuse, ce qu'il a d'ailleurs fait en produisant l'accord de fin de relation de travail. Outre qu'il n'appartenait pas à l'autorité de récusation de vérifier le bien-fondé de la décision litigieuse, il n'apparaît nullement, contrairement à ce que soutient le recourant, que dite ordonnance serait constitutive de violations particulièrement graves et répétées des devoirs du juge au sens de la jurisprudence précitée. Il s'ensuit que c'est à bon droit que l'autorité cantonale a constaté qu'aucun motif de récusation n'était réalisé et qu'il y avait dès lors lieu de confirmer le rejet de la demande de récusation. Le grief est partant infondé.
5.
Dans un second moyen, le recourant se plaint d'arbitraire. Il reproche à la cour cantonale de ne pas avoir examiné les circonstances antérieures à l'ordonnance du 24 juin 2015, lesquelles démontraient pourtant l'attitude partiale du Président B._ dans le cadre de la procédure de divorce. Résumant et critiquant certaines décisions antérieures prises par ce magistrat - soit celle d'avoir tenu l'audience de conciliation plus de quatre mois après le dépôt de la demande en divorce ainsi que ses ordonnances de mesures provisionnelles des 14 août 2013 et 26 janvier 2015 -, il soutient que celles-ci renforcent le sentiment d'inimitié à son égard, l'ordonnance du 24 juin 2015 n'étant que le " point d'orgue de toute une série de décisions favorisant systématiquement [l'épouse] ".
5.1. Conformément à l'art. 49 al. 1 CPC, la partie qui entend obtenir la récusation d'un magistrat se doit d'agir " aussitôt " après la connaissance du motif de récusation. A défaut, elle est périmée dans ses droits (<ref-ruling> consid. 3.4 et les références). Lorsqu'une partie apprend hors audience ou seulement à la lecture d'une décision, de tels faits, elle se doit d'agir " dans les jours qui suivent " la découverte du motif de récusation (arrêt 2C_239/2010 du 30 juin 2010 consid. 2.1 et la référence). Le laps de temps entre le moment où la partie a connaissance du motif de récusation et celui où elle dépose sa demande doit ainsi être bref, la diligence de la partie qui demande la récusation devant être appréciée en fonction du principe de la bonne foi (KIENER, in Kurzkommentar ZPO, 2ème éd. 2014, n° 5 ad art. 49 CPC). La prévention ou l'apparence de prévention résulte parfois d'une accumulation progressive d'attitudes ou de propos en eux-mêmes anodins, mais qui, cumulés, peuvent finir par donner une impression de partialité; dans ce cas, la règle exigeant que la demande de récusation soit présentée aussitôt ne saurait être appliquée à chacun de ces faits, mais il faut admettre comme légitime de les invoquer tous comme indices de la prévention alléguée, dans une demande consécutive au plus récent d'entre eux (arrêt 4A_486/2009 du 3 février 2010 consid. 5.2.2, publié in RSPC 2010 p. 231; TAPPY, in Code de procédure civile commenté, 2011, n° 13 ad art. 49 CPC).
5.2. En l'espèce, la cour cantonale a clairement exposé les raisons pour lesquelles elle n'a donné aucune portée aux décisions du magistrat intimé antérieures à celle du 24 juin 2015. D'une part, elle a constaté que le recourant n'avait jamais fait état auparavant d'une prévention de la part dudit magistrat, ce qui rendait douteuse la recevabilité de sa requête s'agissant des griefs invoqués concernant ces décisions. D'autre part, elle a jugé que le recourant n'apportait aucun élément de preuve permettant d'établir ses allégations selon lesquelles dite ordonnance était la dernière d'une série de décisions favorisant systématiquement la partie adverse.
Outre que le recourant ne s'en prend pas valablement à cette double motivation (cf. supra consid. 2.1) et qu'il se fonde en partie sur des faits ne résultant pas de l'arrêt cantonal (cf. supra consid. 2.2), force est à nouveau de constater avec les juges précédents qu'il tente, par le biais de la récusation, de remettre en cause l'appréciation des faits et le bien-fondé de certaines décisions du magistrat intimé qui lui déplaisent et qu'il a au demeurant déjà contestées par les voies de recours à sa disposition. Ce faisant, comme déjà relevé, le recourant ne saurait fonder un quelconque soupçon objectif de partialité à l'encontre du juge de première instance. Par ailleurs, par sa critique, il ne parvient pas non plus à démontrer que l'appréciation de la cour cantonale serait insoutenable. En particulier, on ne voit pas en quoi il serait arbitraire de considérer qu'il apparaît en l'espèce contraire à la bonne foi d'avoir attendu l'ordonnance du 24 juin 2015 pour se plaindre des décisions antérieures et de la prétendue partialité du magistrat intimé qui en découlerait. C'est donc sans violer l'art. 9 Cst. que la cour cantonale n'a pas tenu compte dans son appréciation des décisions antérieures à l'ordonnance précitée. Autant que recevable, le grief doit être rejeté.
6.
En définitive, le recours est rejeté dans la mesure de sa recevabilité. Les frais judiciaires sont mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF). Il n'y a pas lieu d'octroyer une indemnité de dépens à l'intimé qui n'a pas été invité à se déterminer.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour administrative du Tribunal cantonal du canton de Vaud, Récusation civile.
Lausanne, le 27 novembre 2015
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : von Werdt
La Greffière : Achtari