Faits:
A. A._ est le neveu du peintre de renommée internationale feu X._.
Le 25 août 2006, A._ a ouvert action en annulation de testament et en pétition d'hérédité à l'encontre de la "Fondation à la mémoire de X._" (ci-après la Fondation) devant la Cour civile du Tribunal cantonal vaudois.
B. Par courrier du 6 juin 2011, A._ a sollicité la récusation de la magistrate Z._, juge instructeur de la Cour civile.
La réduction insuffisante de l'avance de frais requise, de même que le refus que lui avait adressé la prénommée le 26 mai 2011 quant à sa nouvelle requête d'assistance judiciaire, constituaient à son sens des signes de prévention à son égard.
Statuant le 13 juillet 2011, la Cour administrative du Tribunal cantonal du canton de Vaud a rejeté la demande de récusation.
C. Le 14 septembre 2011, A._ (ci-après le recourant) adresse un recours en matière civile au Tribunal fédéral, concluant à l'annulation de la décision qu'il attaque, à la récusation de la magistrate Z._ et à l'annulation des actes déjà accomplis par cette dernière.
Des déterminations n'ont pas été demandées.
D. Par ordonnance présidentielle du 10 octobre 2011, l'effet suspensif a été octroyé au recours.

Considérant en droit:
1. Le Tribunal fédéral examine d'office la recevabilité des recours qui lui sont soumis.
1.1 Suite à l'entrée en vigueur, le 1er janvier 2011, du Code de procédure civile fédéral du 19 décembre 2008 (ci-après CPC; RS 272), le recours en matière civile est exclusivement ouvert contre des jugements rendus par des tribunaux supérieurs de dernière instance cantonale, statuant sur recours (art. 75 al. 2, 2e phr. et 130 al. 2 LTF; <ref-ruling> consid. 2.2). Aucune exception particulière n'est prévue pour les décisions incidentes, hormis le cas, en l'occurrence non réalisé, où le tribunal supérieur a pris la décision incidente dans le cadre de la procédure de recours (<ref-ruling> consid. 2.2 et les références citées).
La double instance cantonale n'est toutefois pas exigée dans certains cas particuliers, précisément délimités par l'art. 75 al. 2 let. a à c LTF. Ainsi, le recours immédiat au Tribunal fédéral est ouvert lorsqu'une loi fédérale prévoit une instance cantonale unique (let. a), quand un tribunal spécialisé dans les litiges de droit commercial juge en instance cantonale unique (let. b) ou encore dans l'hypothèse où un tribunal supérieur statue sur une action d'une valeur litigieuse d'au moins 100'000 fr., portée directement devant lui avec l'accord de toutes les parties (let. c).
En l'espèce, la Cour administrative du Tribunal cantonal n'a pas statué sur la récusation de l'intimée comme instance de recours et aucune des exceptions prévues par l'art. 75 al. 2 let. a à c LTF n'entre en considération.
1.2 Il convient néanmoins d'examiner encore si le droit transitoire permettrait l'admission d'un recours immédiat au Tribunal fédéral sans que l'exigence de la double instance cantonale ne soit réalisée.
1.2.1 Avant l'entrée en vigueur du CPC, l'art. 44 al. 1 de l'ancien code de procédure civile vaudois (aCPC/VD) prévoyait que la récusation d'un magistrat était jugée par le Tribunal cantonal. Conformément au règlement organique dudit Tribunal (ROTC; RS VD 173.31.1), la compétence appartenait à la Cour administrative (art. 6 al. 1 ROTC dans sa teneur avant l'entrée en vigueur du CPC), dont la décision pouvait être immédiatement déférée au Tribunal fédéral, ce règlement ne prévoyant pas d'instance de recours.
L'art. 50 al. 2 CPC prévoit désormais que la décision sur la demande de récusation peut faire l'objet d'un recours au sens des art. 319 ss CPC.
1.2.2 Les procédures en cours à l'entrée en vigueur du CPC demeurent régies par l'ancien droit de procédure jusqu'à la clôture de l'instance (art. 404 al. 1 CPC). L'art. 405 al. 1 CPC précise toutefois que les recours sont régis par le droit en vigueur au moment de la communication de la décision aux parties.
Cette dernière disposition soumet ainsi au nouveau droit les recours contre toutes les décisions, qu'elles soient finales ou incidentes, si elles ont été communiquées - à savoir envoyées (<ref-ruling> consid. 2, 130 consid. 2) - après son entrée en vigueur. Que la procédure au fond poursuive son cours selon l'ancien droit de procédure en vertu de l'art. 404 al. 1 CPC est à cet égard sans incidence (<ref-ruling> consid. 2.3.2 et les références citées).
La procédure principale a en l'occurrence été ouverte devant la Cour civile du Tribunal cantonal en 2006, soit avant l'entrée en vigueur du CPC, de sorte que l'ancien code de procédure civile vaudois lui demeure applicable, conformément à l'art. 404 al. 1 CPC. La décision objet du présent recours, portant sur la récusation de la magistrate en charge de l'instruction de l'affaire au fond, a néanmoins été rendue le 13 juillet 2011. Aux termes de l'art. 405 al. 1 CPC, le recours contre cette décision incidente est par conséquent soumis au nouveau code de procédure civile fédéral et non plus à l'ancien code de procédure cantonal, de sorte que, conformément aux art. 50 al. 2 CPC et 18 ROTC, le recourant aurait dû s'adresser à la Chambre des recours civile du Tribunal cantonal. De même, le CPC régira la procédure d'appel contre le jugement rendu sur le fond par la Cour civile, laquelle se déroulera devant la Cour d'appel civile, la cause ne relevant pas, selon les art. 5 à 8 CPC, d'une instance cantonale unique (art. 84 de la loi d'organisation judiciaire vaudoise [LOJ/VD RSVD 173.01]; DENIS TAPPY, Le droit transitoire applicable lors de l'introduction de la nouvelle procédure civile unifiée, JdT 2010 III 11 p. 43 sv. [sur le canton de Vaud spécifiquement]).
1.3 Il s'ensuit que le droit transitoire ne permet pas le recours immédiat au Tribunal fédéral contre la décision attaquée et que l'exigence de la double instance cantonale s'applique. En tant que cette condition n'est ici pas réalisée, l'écriture du recourant ne peut qu'être déclarée irrecevable, en vertu de l'art. 75 al. 2 2e phr. LTF.
2. Compte tenu des circonstances du cas d'espèce - fausse indication des voies de recours - il est statué sans frais (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
2. Il n'est pas perçu de frais judiciaires.
3. Le présent arrêt est communiqué aux parties, à la Cour administrative du Tribunal cantonal du canton de Vaud, Récusation civile, et à la Fondation à la mémoire de X._.
Lausanne, le 12 janvier 2012
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
La Greffière: de Poret Bortolaso