Faits : A. A.A._, né en 1960, et C.A._, née en 1967, se sont mariés en 1998. De cette union sont issus deux enfants: D._, né le 27 mars 2000, et E._, née le 3 octobre 2004. B. B.a. Par demande unilatérale du 12 octobre 2012 déposée devant le Tribunal civil de l'arrondissement de l'Est vaudois (ci-après: Tribunal civil), A.A._ a ouvert action en divorce. B.b. Par ordonnance de mesures provisionnelles du 14 août 2013, le Président B._ (ci-après: Président du Tribunal civil) a notamment dit que l'époux continuerait à contribuer à l'entretien de ses enfants par le versement d'une pension mensuelle de 1'400 fr. par enfant (I), a astreint l'époux à contribuer à l'entretien de l'épouse par le versement d'une pension mensuelle de 7'635 fr. dès le 1er janvier 2013 (lI), dit que la moitié des revenus nets supplémentaires qui seront versés à l'époux par son employeur, à titre de prestations variables, bonus, gratification, ou participation au résultat d'exploitation (bonus " Centre " et RUSP en particulier), reviendrait à l'épouse lorsqu'ils seront effectivement touchés par l'époux, ce dès le 1er janvier 2013, et astreint celui-ci à renseigner son épouse et à lui présenter trimestriellement tous les décomptes y relatifs (III). La Juge déléguée de la Cour d'appel civile du Tribunal cantonal vaudois a rejeté l'appel interjeté contre cette ordonnance par arrêt du 11 octobre 2013. Le recours formé contre cet arrêt a été rejeté par le Tribunal fédéral le 28 juillet 2014 (arrêt 5A_15/2014). B.c. Par ordonnance d'exécution forcée de mesures provisionnelles du 21 mai 2014, le Président du Tribunal civil a notamment ordonné à l'époux de renseigner complètement, dans les dix jours dès notification de la décision, l'épouse sur les revenus nets supplémentaires qui lui sont versés par son employeur et à lui présenter tous les 31 mars, 30 juin, 30 septembre et 31 décembre, tous les décomptes y relatifs, en application du chiffre III de l'ordonnance de mesures provisionnelles rendue le 14 août 2013, sous la menace de la peine prévue à l'art. 292 CP. B.d. Par ordonnance d'exécution forcée du 10 décembre 2014, le Président du Tribunal civil a notamment ordonné à G._ SA d'adresser tous les 30 novembre, 28 ou 29 février, 31 mai et 31 août à l'épouse un décompte des rémunérations versées durant le trimestre écoulé à l'époux en plus de son salaire mensuel courant (I), une attestation du nombre et de la valeur de toutes les actions assujetties à des restrictions (RSUP) attribuées à l'époux et débloquées dans le trimestre écoulé (Il), les décomptes et attestations prévus aux chiffres I et Il ci-dessus pour la période écoulée du 1er janvier 2013 au 30 novembre 2014, dans les trente jours (III) et a astreint l'épouse à avancer les frais de la procédure d'exécution par 2'000 fr., l'ordonnance n'étant pas notifiée à G._ SA avant ledit versement de l'avance (V). Par arrêt du 27 janvier 2015, la Chambre des recours civile du Tribunal cantonal vaudois a rejeté le recours de l'époux contre cette ordonnance. B.e. Par ordonnance de mesures provisionnelles du 26 janvier 2015, le Président du Tribunal civil a notamment dit que l'époux est le débiteur de l'épouse de la somme de 7'000 fr. à titre de provisio ad litem. Par arrêt du 25 février 2015, la Cour d'appel civile du Tribunal cantonal vaudois a admis l'appel formé par l'époux contre cette ordonnance, l'a annulée et a renvoyé la cause au Président du Tribunal civil pour compléter l'instruction et statuer à nouveau. B.f. Par ordonnance de mesures superprovisionnelles rendue le 24 juin 2015 sur requête de l'épouse datée de la veille, le Président du Tribunal civil a interdit à G._ SA de verser quelque montant que ce soit à l'époux, de quelque nature que ce soit, jusqu'à nouvel ordre (I), ordonné à G._ SA de lui transmettre dans les 72 heures le décompte salarial final de l'époux, salaire mensuel, 13ème salaire éventuel, vacances, gratification et/ou bonus de toute sorte y compris (II) et ordonné à G._ SA de lui confirmer que le blocage ordonné a bel et bien été effectué (III). B.g. Par ordonnance de mesures superprovisionnelles du 26 juin 2015, la Présidente F._ a révoqué les chiffres I à III de l'ordonnance de mesures superprovisionnelles du 24 juin 2015. C. C.a. Le 25 juin 2015, l'époux a déposé une requête de récusation à l'encontre du Président B._ à la suite de sa décision de mesures superprovisionnelles du 24 juin 2015. C.b. Par décision du 23 juillet 2015, le Tribunal civil de l'arrondissement de l'Est vaudois a rejeté la requête de récusation. Le 6 août 2015, l'époux a recouru contre cette décision devant le Tribunal cantonal vaudois. C.c. Par arrêt du 24 août 2015, notifié en expédition complète le lendemain, la Cour administrative du Tribunal cantonal vaudois a rejeté le recours et confirmé la décision du Tribunal civil du 23 juillet 2015. D. Par acte posté le 24 septembre 2015, l'époux exerce un recours en matière civile au Tribunal fédéral contre l'arrêt du 24 août 2015. Il conclut à sa réforme en ce sens que la récusation du Président B._ est prononcée et la cause en divorce qui l'oppose à son épouse confiée à un autre magistrat du Tribunal civil de l'arrondissement de l'Est vaudois. Des observations n'ont pas été requises.