Faits:
A. Par jugement du 30 mars 2011, la Cour civile du Tribunal cantonal vaudois a reconnu l'Etat de Vaud débiteur de X._ de la somme de 50'900 fr., avec intérêt à 5% l'an dès le 27 octobre 1998 sur le montant de 7000 fr. et dès le 9 février 2000 sur le solde de 43'900 fr., fixé les frais de justice dus par X._ à 7020 fr. et ceux dus par l'Etat de Vaud à 3760 fr., alloué à X._ des dépens fixés à 8115 fr. et rejeté toutes autres et plus amples conclusions.
B. Par arrêt du 12 mars 2012, la Cour d'appel civile du Tribunal cantonal vaudois a rejeté l'appel formé par X._ et l'appel joint formé par l'Etat de Vaud.
En bref, il ressort les éléments suivants de cet arrêt.
Le 6 juin 1988, la villa de X._ a été ravagée par un incendie d'origine criminelle. Une enquête pénale a été ouverte. Le lendemain, 7 juin 1988, X._ a été victime d'un accident de scooter, à Rome. Les médecins du service des urgences ont constaté une amputation traumatique des phalanges distales des 1er et 2e doigts de la main droite. En raison de cette amputation et de l'examen de la casserole retrouvée à proximité de la villa qui avait révélé qu'elle avait dû contenir un feu important qui aurait pu brûler l'auteur, X._ a été soupçonné d'avoir lui-même mis le feu à sa villa. Il a été inculpé le 13 octobre 1988 d'incendie intentionnel et d'escroquerie et placé en détention préventive. Il a été libéré après 28 jours. Dans le cadre de l'enquête, différentes commissions rogatoires et expertises ont été ordonnées. L'enquête a été marquée par de longs temps morts, puis clôturée par un non-lieu le 9 février 2000 après onze ans, huit mois et deux jours.
Le 18 juillet 1988, l'Etablissement cantonal d'assurance contre l'incendie et les éléments naturels (ci-après : ECA) a proposé à X._ une indemnité de 650'000 fr. (montant porté à 665'000 fr. le 26 août 1988) en cas de reconstruction de la villa, payable à la fin des travaux, étant précisé que cette indemnité n'était due qu'après clôture de l'enquête pénale. Les travaux de reconstruction de la villa de X._ ont commencé au mois d'octobre 1989 pour se terminer à l'été 1990. Ils ont coûté un montant de l'ordre de 700'000 à 750'000 francs.
A la suite du non-lieu prononcé en sa faveur, X._ a interpellé l'ECA pour qu'il statue sur l'indemnité due pour la destruction de sa villa. L'ECA a, par décision du 27 juillet 2001, refusé de verser ses prestations en invoquant la prescription. X._ a dès lors ouvert action contre l'ECA concluant à ce que cette assurance soit condamnée à lui verser les montants de 727'989 fr. avec intérêt à 5% l'an dès le 1er juin 1990 et de 290'000 fr. avec intérêt à 5% l'an dès le 1er août 1988. Par transaction des 13 et 16 septembre 2006, les parties ont convenu que l'ECA verserait à X._ les montants de 700'000 fr. à titre d'indemnité pour la destruction de sa villa et des meubles et objets s'y trouvant et de 100'000 fr. à titre d'indemnisation forfaitaire pour les intérêts courus depuis l'ouverture d'action le 27 août 2001. X._ n'a pas obtenu d'intérêts pour la période courant du moment de l'incendie au 27 août 2001.
Par demande du 6 février 2001, X._ a ouvert action contre l'Etat de Vaud concluant au paiement d'un montant de 166'900 fr. avec intérêt à 5% l'an dès le 9 février 2000. Les juges de première instance ont accordé au recourant un montant de 7000 fr. à titre d'indemnité pour détention injustifiée et un montant de 26'900 fr. pour le remboursement de ses frais de défense. Ils ont estimé que l'enquête avait duré 8 ans et demi de trop et que l'autorité d'instruction avait ainsi violé le principe de célérité. Ils ont accordé à X._ une indemnité de 17'000 fr. à ce titre. Les premiers juges lui ont ainsi alloué 50'900 fr. au total.
C. X._ forme un recours en matière civile contre l'arrêt du 12 mars 2012. Il conclut, sous suite de frais et dépens, principalement à la réforme de la décision attaquée en ce sens que l'Etat de Vaud est reconnu son débiteur de la somme de 166'900 fr. avec intérêt à 5% l'an dès le 27 octobre 1988 sur le montant de 7000 fr., dès le 16 mars 1998 sur le montant de 116'000 fr. et dès le 9 février 2000 sur le solde de 43'900 fr. et que des dépens de 1ère et 2ème instances, fixés à dire de justice mais pas inférieurs à 30'000 fr., lui sont alloués à la charge de l'Etat de Vaud. Subsidiairement, il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité précédente pour nouvelle décision au sens des considérants.
Invités à déposer des observations sur le recours, la cour cantonale y a renoncé en se référant aux considérants de son arrêt, alors que l'Etat de vaud a conclu à son rejet.
Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement sa compétence, respectivement la recevabilité des recours qui lui sont soumis (ATF 135 V 309 consid. 1 p. 312; 134 III 379 consid. 1 p. 381).
1.1 Le recourant poursuit, en application de l'art. 163a du Code de procédure pénale vaudois (en vigueur jusqu'au 31 décembre 2010; ci-après aCPP/VD), la réparation du dommage résultant de la procédure pénale qui a abouti au prononcé d'un non-lieu en sa faveur le 9 février 2000. Il ressort des conclusions prises devant la cour de céans qu'il prétend à la réparation d'un dommage résultant de l'instruction. Les prétentions du recourant sont effectivement régies par le droit matériel cantonal (cf. infra consid. 2.1).
Selon la jurisprudence, le recourant doit emprunter la voie du recours en matière de droit public en ce qui concerne les demandes fondées sur une responsabilité de droit public cantonal, soit notamment celles en réparation du tort moral et du dommage matériel (ATF 135 IV 43 consid. 1.1.2 p. 46). La cour de céans est compétente pour traiter du recours (art. 30 al. 1 let. c ch. 1 et art. 33 du Règlement du Tribunal fédéral [RS 173.110.131]). Se fiant à l'indication des voies de recours figurant dans l'arrêt attaqué, le recourant a interjeté un « recours en matière civile ». Cette écriture sera convertie d'office en recours en matière de droit public, dans la mesure où elle remplit les autres conditions de recevabilité (ATF 134 III 379 consid. 1.2 p. 382; 133 III 462 consid. 2.1 i.f. p. 466).
1.2 La recevabilité du recours en matière de droit public suppose atteinte la valeur litigieuse de 30'000 fr. (art. 85 al. 1 let. a LTF). Le recourant a chiffré à 116'000 fr. ses prétentions en réparation du dommage matériel rejetées par l'autorité précédente, de sorte que la valeur précitée est atteinte pour les conclusions demeurées litigieuses devant l'autorité cantonale (art. 51 al. 1 let. a LTF). Interjeté par la partie qui a succombé dans ses conclusions en paiement (art. 89 al. 1 LTF) et dirigé contre une décision finale (art. 90 LTF) rendue par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF), le recours est en principe recevable, dès lors qu'il a été déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévue par la loi.
2. 2.1 La procédure pénale à l'origine de la demande d'indemnisation s'est achevée en l'an 2000. Le recourant a déposé sa demande d'indemnisation en 2001. La décision de première instance a été rendue le 30 mars 2011, soit postérieurement à l'entrée en vigueur du CPP. Le CPP contient des règles matérielles d'indemnisation du prévenu acquitté. Néanmoins, l'ancien droit cantonal matériel continue de régir les prétentions en indemnisation résultant d'actes de procédure entièrement opérés sous le régime de la procédure pénale cantonale (cf. arrêts 6B_428/2011 du 21 novembre 2011 consid. 2.2.2 et 6B_618/2011 du 22 mars 2012 consid. 1.2.2). C'est donc bien le droit matériel cantonal qui régit les prétentions en indemnisation du recourant, ce que celui-ci ne conteste d'ailleurs pas.
Le jugement attaqué fait suite à l'appel formé contre la décision du 30 mars 2011 et a été rendu par la Cour d'appel civile cantonale, qui a appliqué les règles du CPC. Le recourant ne conteste pas la compétence à raison de la matière de l'autorité précédente ni la procédure appliquée. Il ne prétend en particulier pas que les règles de compétence et de procédure contenues dans le CPP (notamment l'art. 429 al. 2) seraient applicables s'agissant d'une indemnisation en raison d'un acquittement ou d'un classement. Il faut en effet admettre que le CPP est sans portée en l'occurrence relativement à une procédure en indemnisation valablement ouverte dix ans avant l'entrée en vigueur du CPP selon les anciennes règles cantonales devant les autorités civiles compétentes. Il est dès lors adéquat que la procédure se poursuive selon les règles du CPC appliquées par la Cour d'appel civile. S'agissant toutefois matériellement d'un litige en responsabilité civile contre le canton de Vaud reposant sur le droit public cantonal (cf. ATF 135 IV 43 consid. 1.1.2), l'application du CPC l'est à titre de droit cantonal supplétif (cf. art. 1 CPC; art. 103 et 104 Code de droit privé judiciaire vaudois [CDPJ; RSV 211.02]). A noter en outre vu le sort du recours, que les règles du CPP seront également sans portée dans le cadre du renvoi en instance cantonale (c.f. infra consid. 3.5 in fine), la procédure restant gouvernée par le CPC appliqué à titre supplétif.
2.2 L'application du droit cantonal, y compris le droit fédéral appliqué à titre de droit cantonal supplétif, est uniquement examinée sous l'angle d'une violation de l'interdiction constitutionnelle de l'arbitraire (cf. ATF 133 III 462 consid. 2.3 et consid. 4.4.1).
3. Conformément à l'art. 163a al. 1 aCPP/VD, l'inculpé et l'accusé libérés des fins de la poursuite pénale, qui ne l'ont ni provoquée ni compliquée fautivement, peuvent obtenir de l'Etat, du plaignant ou de la partie civile une indemnité équitable pour le préjudice résultant de l'instruction et pour leurs frais de défense.
3.1 Devant les premiers juges, le recourant avait notamment fait valoir, comme poste du dommage, la perte d'intérêts sur la somme due par l'ECA en remboursement de ses frais de reconstruction de la villa, dont le versement avait été empêché jusqu'à la clôture de l'enquête. L'autorité de première instance a refusé d'indemniser le recourant pour ce poste du dommage considérant que sa créance était prescrite.
La cour d'appel a, quant à elle, considéré que l'indemnité perçue par le recourant de l'ECA à la suite de la transaction des 13 et 16 septembre 2006 ne comprenait pas les intérêts courant de l'incendie de la villa au dépôt de la demande contre l'ECA. Ces intérêts n'étaient pas dus par l'ECA car l'art. 63 al. 3 ch. 1 de la loi cantonale concernant l'assurance des bâtiments et du mobilier contre l'incendie et les éléments naturels (LAIEN; RSV 963.41) prévoyait que la créance de l'assuré n'était pas échue aussi longtemps que celui-ci faisait l'objet d'une enquête de police ou d'une instruction pénale en raison du sinistre et que la procédure n'était pas terminée. Ces intérêts constituaient eux-mêmes un dommage résultant de l'acte illicite de l'Etat de Vaud. La créance du recourant à cet égard n'était pas prescrite à hauteur de 116'000 francs. La cour d'appel a toutefois estimé que les intérêts en cause ne pouvaient pas être qualifiés de compensatoires, car ils ne s'ajoutaient pas au capital constituant le dommage, mais étaient le dommage lui-même. Il ne s'agissait pas des intérêts que l'indemnité de l'ECA aurait rapportés, mais de ceux que la fortune du recourant qui a été investie dans la reconstruction de la villa en 1989-1990 aurait rapportés si l'indemnité de l'ECA avait pu être versée plus tôt. Ces intérêts devaient donc être établis et prouvés et on ne pouvait retenir qu'ils s'élevaient à 5% par une application analogique de l'art. 73 CO. Le recourant ne pouvait donc pas se contenter d'alléguer le taux d'intérêt compensatoire de 5%. Il devait établir quel rendement il aurait pu obtenir concrètement en plaçant le capital reçu de l'ECA, dans un placement sans risque et au rendement garanti, « ce qu'il aurait pu faire, par exemple, en alléguant et établissant le taux d'intérêt servi sur des obligations de la Confédération sur la période considérée » (jugement attaqué p. 23). Comme il ne l'avait pas fait, il avait échoué dans la preuve de son dommage. Une application de l'art. 42 al. 2 CO n'entrait pas en ligne de compte. Aucun montant ne pouvait lui être accordé à ce titre.
3.2 Le recourant invoque une violation de l'art. 9 Cst., de l'art. 151 CPC, subsidiairement de l'art. 4 al. 2 aCPC/VD. Il soutient que les taux d'intérêt des obligations de la Confédération sont des faits notoires et que la cour d'appel aurait ainsi arbitrairement refusé de lui accorder une indemnité en compensation des intérêts non perçus sur le capital versé par l'ECA.
3.3 Le grief du recourant s'examine sous l'angle restreint de l'arbitraire dès lors que l'art. 151 CPC s'applique comme droit cantonal supplétif (cf. supra consid. 2.1; sur la notion d'arbitraire v. ATF 137 I 1 consid. 2.4 p. 5; 136 III 553 consid. 4.2 p. 560).
3.4 Aux termes de l'art. 151 CPC, les faits notoires ou notoirement connus du tribunal et les règles d'expérience généralement reconnues ne doivent pas être prouvés. Selon la jurisprudence, les faits notoires, qu'il n'est pas nécessaire d'alléguer ni de prouver, sont ceux dont l'existence est certaine au point d'emporter la conviction du juge, qu'il s'agisse de faits connus de manière générale du public ou seulement du juge. La jurisprudence précise que, pour être notoire, un renseignement ne doit pas être constamment présent à l'esprit, il suffit qu'il puisse être contrôlé par des publications accessibles à chacun (ATF 135 III 88 consid. 4.1 p. 89 s. et les références citées), par exemple sur Internet (par ex. : taux de change : ATF 135 III 88; statistiques des coûts du système de santé par âge et par sexe : arrêt 5A_435/2011 du 14 novembre 2011 consid. 9.3.3; durée du temps de travail hebdomadaire : arrêt 9C_748/2009 du 16 avril 2010 consid. 4.5).
3.5 Comme le démontre le recourant, les taux d'intérêt des obligations de la Confédération, sur une période de 15 ou 30 ans, sont aisément consultables sur le site Internet de l'administration fédérale, encyclopédie statistique
(http://www.bfs.admin.ch/bfs/portal/fr/index/infothek/lexikon/lex/0.html thèmes :12 Monnaie, banques, assurances, sous-thèmes 12.3 Marchés financiers). Ils doivent donc être considérés comme des faits notoires. Il appartenait à la cour d'appel d'en tenir compte. C'est d'autant plus vrai que l'art. 163a aCPP/VD évoque une « indemnité équitable », ce qui implique que l'autorité appelée à statuer dispose d'un large pouvoir d'appréciation. C'est ainsi de manière arbitraire que la cour d'appel a considéré que le recourant n'avait pas établi le taux d'intérêt. Elle a certes évoqué le taux d'intérêt des obligations de la Confédération à titre d'exemple (cf. jugement attaqué p. 23). On comprend cependant de sa motivation que sa solution a été guidée par l'absence de preuve quant audit taux. La solution est ainsi arbitraire dans son résultat. Le recours doit être admis et la cause renvoyée à la cour d'appel pour qu'elle reprenne la question du dommage.
4. Le recourant obtient gain de cause. L'intimé succombe et supportera les frais (art. 66 al. 1 LTF). Le recourant peut prétendre à de pleins dépens à charge de l'intimé (art. 68 al. 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, l'arrêt attaqué est annulé et la cause renvoyée à la cour cantonale pour nouveau jugement.
2. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge de l'intimé.
3. L'intimé versera au recourant la somme de 3000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour d'appel civile.
Lausanne, le 25 février 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet