Faits:
A. A.a Roman Kokoschka, domicilié à Vienne, est le neveu du peintre autrichien Oskar Kokoschka, décédé le 22 février 1980.
Par acte constitutif du 1er février 1988, Oldriska Kokoschka, veuve du peintre Kokoschka, a créé la Fondation à la mémoire d'Oskar Kokoschka (ci-après la Fondation), dont le siège se trouve au musée Jenisch à Vevey. Le but de cette fondation consiste en l'entretien et la conservation de l'oeuvre d'Oskar Kokoschka de façon permanente, ainsi qu'en la documentation sur sa vie et son oeuvre. Cette fondation a été placée sous la surveillance du canton de Vaud par décision du 29 février 1988.
Oldriska Kokoschka est décédée le 22 juin 2004.
A.b Oldriska Kokoschka a pris, de son vivant, diverses dispositions de dernière volonté entre vifs et pour cause de mort.
Par testament du 1er mars 1995 (dont seule une copie a été retrouvée), Oldriska Kokoschka a en particulier institué Roman Kokoschka héritier universel et légataire de deux aquarelles et d'une dizaine de dessins de son choix; elle a également légué à la Fondation d'importantes sommes d'argent et la maison dans laquelle vivait le peintre à Villeneuve, avec son contenu.
Par testament olographe du 30 novembre 1998 et codicille du 1er mars 2000, Oldriska Kokoschka a révoqué ses précédentes dispositions et a institué la Fondation héritière de tous ses biens, sous réserve de quelques legs, dont un legs d'un million de shillings autrichiens à son neveu Roman Kokoschka.
Les dispositions testamentaires de 1998 et 2000 ont été communiquées à Roman Kokoschka le 26 août 2004 et celles de 1995 le 23 janvier 2006.
A.c Dès février 2006, Roman Kokoschka a ouvert différentes procédures auprès du Tribunal d'arrondissement de l'Est-vaudois et de la Cour civile du Tribunal cantonal vaudois afin d'obtenir le prononcé de mesures provisionnelles urgentes et de faire constater la nullité du testament du 30 novembre 1998. Roman Kokoschka invoquait principalement l'incapacité de disposer de sa tante suite à une attaque cérébrale survenue en 1998.
B. B.a Le 14 mars 2006, Roman Kokoschka a déposé une plainte ainsi qu'une demande de mesures provisionnelles auprès de l'Autorité de surveillance des fondations (ci-après l'Autorité de surveillance). Il requérait qu'il soit ordonné à la Fondation de le faire accéder incessamment à l'intégralité des documents laissés par son oncle et sa tante, de l'informer incessamment sur toutes les démarches entreprises par ses organes, notamment par son président et son secrétaire. Il concluait également à ce que les biens et valeurs de la Fondation provenant de la succession ou qui en dépendaient, en particulier la somme de sept millions de francs et les oeuvres d'art provenant de la succession et se trouvant en possession de la Fondation et du musée Jenisch, soient bloqués et mis sous séquestre. Roman Kokoschka faisait principalement valoir que la Fondation se considérait comme seule héritière de la succession, alors que cette qualité était pour le moins douteuse. Afin d'éviter des dommages irréparables aux ayants droit légitimes et de sauvegarder les droits et les intérêts de la Fondation ainsi que sa renommée, le prononcé de mesures préprovisionnelles se justifiait.
Par courrier complémentaire du 19 mars 2006, Roman Kokoschka a également requis, dans l'hypothèse où le séquestre des biens de la Fondation ne serait pas possible, la suspension ou la destitution des organes de celle-ci.
Par décision du 30 mai 2006, l'Autorité de surveillance a rejeté la requête de Roman Kokoschka et décliné sa compétence dans le conflit opposant les parties. Celui-ci relevait de la justice civile et ne concernait pas la bonne administration de la Fondation. La réalisation du but de celle-ci n'était pas compromise.
B.b Par acte du 22 juin 2006, Roman Kokoschka a recouru contre cette décision à la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après Tribunal administratif). Il réclamait le prononcé de mesures provisionnelles immédiates, soit la suspension du conseil de fondation et la nomination d'un curateur, et, subsidiairement, le séquestre du patrimoine de la Fondation. Il concluait au fond à l'annulation de la décision attaquée, à la destitution du conseil de fondation, à la nomination de nouveaux administrateurs de la Fondation, subsidiairement, à ce que le patrimoine de la Fondation soit séquestré et à ce que les faits de nature pénale dont la Fondation s'était à son avis rendue coupable soient dénoncés aux autorités compétentes.
Le 3 août 2006, le juge instructeur du Tribunal administratif a rejeté la requête de mesures provisionnelles immédiates.
Au cours de la procédure, les parties se sont déterminées à de nombreuses reprises, maintenant chacune leurs conclusions. Par déterminations du 3 décembre 2007, Roman Kokoschka a notamment conclu à la dissolution de la Fondation.
Par arrêt du 21 novembre 2008, le Tribunal administratif a rejeté le recours déposé par Roman Kokoschka et confirmé la décision rendue le 30 mai 2006 par l'Autorité de surveillance.
C. Le 6 décembre 2008, Roman Kokoschka (ci-après le recourant) interjette un recours en matière civile au Tribunal fédéral contre la décision du Tribunal administratif. Il conclut à l'annulation de l'arrêt attaqué, principalement à la soumission de la Fondation à la surveillance de la Confédération ainsi qu'à la destitution du conseil de fondation et à son remplacement par des personnalités, experts de l'art d'Oskar Kokoschka internationalement reconnus, possédant des liens avec des musées d'art d'excellence au niveau mondial et représentant au moins l'Autriche et la Grande-Bretagne. Subsidiairement, le recourant requiert la dissolution de la Fondation et la remise, en sa faveur, des biens en sa possession, ou, plus subsidiairement, le transfert du patrimoine de la Fondation à une institution remplissant les conditions décrites sous ses conclusions principales. A l'appui de ses prétentions, le recourant invoque la violation du droit fédéral, plus précisément celle des art. 84 al. 1 et 2, 86b, 88 al. 1 ch. 1 et 89 CC, l'art. 20 al. 1 de la loi fédérale sur le transfert des biens culturels (LTBC), les art. 9, 13 al. 1, 29 al. 1 et 2 ainsi que 30 al. 1 et 2 Cst. Il se plaint également de la violation du droit international, à savoir les art. 6 ch. 1, 8 al. 1 et 14 CEDH, l'art. 5 de la convention culturelle européenne et l'art. 4 ch. 2 de la Convention pour la sauvegarde du patrimoine architectural de l'Europe.
Le 11 décembre 2008, le recourant a déposé un complément à son recours par lequel il remet en cause la composition dans laquelle le Tribunal administratif a rendu la décision attaquée. Il invoque la violation des art. 30 al. 1 Cst. et 6 CEDH.
Le recourant demande à pouvoir bénéficier de l'assistance judiciaire.
Des réponses n'ont pas été requises.
D. Dans le cadre de son recours, l'intéressé a déposé une requête de mesures préprovisionnelles, concluant principalement à la soumission de la Fondation à la surveillance de la Confédération et à la destitution de son conseil de fondation conformément à ses conclusions principales ainsi que, subsidiairement, au séquestre des biens en possession de la Fondation.
Cette requête a été rejetée le 10 décembre 2008, l'octroi de mesures provisionnelles sollicitées aboutissant à un état de droit nouveau, préjugeant d'une manière inadmissible la question de fond soumise au Tribunal fédéral.

Considérant en droit:
1. 1.1 L'<ref-law> subordonne la qualité pour former un recours en matière civile contre une décision en matière de surveillance des fondations (art. 72 al. 2 let. b ch. 4 LTF) à l'existence d'un intérêt juridique à l'annulation ou à la modification de la décision attaquée. Si le Tribunal fédéral examine d'office la recevabilité des recours dont il est saisi, il incombe au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir lorsqu'ils ne ressortent pas à l'évidence de la décision attaquée ou du dossier de la cause (arrêt 5A_647/2007 du 25 mars 2008, consid. 1.2; <ref-ruling> consid. 1.1 et 400 consid. 2).
1.2 Le Tribunal administratif a jugé que le simple fait d'être le neveu d'Oskar Kokoschka, sans pouvoir justifier d'autres liens déterminants avec la Fondation ou le but de celle-ci, n'apparaissait pas suffisant pour porter plainte. Le recourant ne démontrait pas qu'il bénéficiait d'un intérêt plus important que quiconque à ce que les oeuvres de son oncle soient correctement conservées, entretenues et documentées. Il n'établissait pas non plus en quoi ses liens envers le peintre Kokoschka seraient atteints, ni en quoi la mémoire de ce dernier serait touchée. La qualité pour porter plainte de l'intéressé était en conséquence douteuse, mais cette question pouvait néanmoins rester indécise, dans la mesure où le recours devait être rejeté au fond.
1.3 Le recourant ne traite pas la question de son intérêt juridique à recourir dans le cadre des conditions de recevabilité de son recours, mais dans ses motifs. Il semble alors mêler des griefs de fond à la question de la recevabilité de son recours en matière civile, dans la mesure où il aborde sa qualité pour recourir tout en reprochant également aux juges du Tribunal administratif d'avoir laissé ce point indécis en dernière instance cantonale.
Le recourant soutient posséder un intérêt juridique évident à la sauvegarde de la mémoire de son oncle et à la promotion de son oeuvre du fait de la relation extraordinairement étroite qu'il aurait entretenue avec lui. Se fondant sur l'<ref-law>, il ajoute qu'il serait légitimé à requérir la dissolution de la Fondation du fait de sa qualité d'héritier des biens qu'Oskar Kokoschka et sa veuve lui auraient laissés par dispositions testamentaires. La validité des testaments rédigés par cette dernière en 1998 et en 2000 serait douteuse et la Fondation serait parfaitement consciente de sa qualité d'héritier légal. Soutenant que l'Autorité de surveillance doit pourvoir à ce que les biens de la Fondation soient employés conformément à leur destination, le recourant demande également la destitution du conseil de fondation et son remplacement en se fondant sur l'<ref-law>. Il n'explique pas toutefois l'intérêt juridique qu'il aurait à demander ces mesures et se contente à cet égard d'affirmer que la Fondation n'affecterait pas ses biens conformément à leur destination, illustrant ce grief par ses prétendus manquements aux buts fixés par la fondatrice.
1.4 Il est évident qu'au vu des conclusions prises par le recourant devant les instances successives, celui-ci entend obtenir la protection des droits qu'il prétend avoir en tant qu'héritier, en lieu et place de la Fondation.
Par la plainte déposée le 14 mars 2006 devant l'Autorité de surveillance, le recourant a notamment conclu au blocage et à la mise sous séquestre des biens de la Fondation provenant de la succession ou qui en dépendaient, invoquant le fait que la Fondation se considérait comme seule héritière de la succession alors qu'il apparaissait douteux qu'elle le soit. Par détermination ultérieure, il demandait à la même autorité la destitution des organes de la Fondation. Devant le Tribunal administratif, le recourant a pris des conclusions similaires, demandant en outre la dissolution de la Fondation. Enfin, devant le Tribunal de céans, le recourant demande, entre autres, la destitution du conseil de fondation et, à titre subsidiaire, sa dissolution et le transfert, en sa faveur, des biens en possession de la Fondation.
Les conclusions subsidiaires prises par le recourant devant la Cour de céans démontrent également son objectif réel et la motivation liée à sa qualité pour recourir confirme le fait qu'il entend faire protéger ses droits successoraux: ainsi qu'il l'indique, le recourant s'appuie sur son prétendu statut d'héritier pour fonder sa qualité à déposer recours en matière civile. La voie de la plainte, qui tend à contrôler que le fonctionnement de la Fondation soit conforme à ses statuts, ne constitue pas la voie adéquate pour obtenir ce que le recourant demande réellement. Il ne peut donc pas invoquer d'intérêt juridique en relation avec la surveillance des fondations. La protection de ses droits de nature successorale sera en revanche examinée dans le cadre des procédures civiles qu'il a intentées en vue de faire constater la nullité du testament, procédures qui sont toujours pendantes à ce jour.
2. Vu ce qui précède, le recours doit être déclaré irrecevable, faute d'intérêt juridique au recours. Les conclusions de l'intéressé étant dépourvues de toutes chances de succès, sa requête d'assistance judiciaire doit être rejetée (<ref-law>) et les frais judiciaires mis à sa charge (<ref-law>). Il n'est pas accordé de dépens à l'intimée qui n'a pas été invitée à répondre (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
2. La requête d'assistance judiciaire du recourant est rejetée.
3. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Lausanne, le 30 mars 2009
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Hohl de Poret