Faits:
A. X._, né le *** 1947, est entré au service de l'Etat de Vaud le 1er septembre 1974, en qualité d'inspecteur auprès du Service Y._ (ci-après: le Service Y._).
Le 3 juillet 2002, X._ a été interpellé par deux agents de la gendarmerie vaudoise, qui le suivaient au volant d'une voiture banalisée, alors qu'il circulait au volant de son véhicule sur la route des Paysans, près de Lausanne. Le rapport de police établi par les gendarmes à la suite de son interpellation mentionne de ce qui suit :
"Dès le lieu-dit "Prés de Bressone", nous avons enclenché l'appareil Multigraph T21-4.1B N° 272 équipant notre véhicule et suivi cet usager à une distance constante, sur 686 mètres, conformément aux prescriptions en vigueur. Les données suivantes ont été relevées:
- vitesse maximale autorisée, généralisée 80 km/h
- vitesse moyenne étalonnée la plus élevée
(510 mètres entre les jalons O - A) 135 km/h
- vitesse prise en considération
(marge de sécurité déduite selon instructions DETEC, - 15%) 114 km/h
X._ a donc dépassé la vitesse prescrite de 34 km/h : [...]
Lors du contrôle, nous avons constaté que sa machine ne répondait plus aux prescriptions. En effet, les modifications suivantes ont été relevées :
- un des deux catalyseurs et le pot d'échappement intermédiaire équipant cette automobile à l'origine avaient été supprimés et remplacés par un simple tube métallique. De toute évidence, elle ne devait plus répondre aux prescriptions relatives à l'émission des gaz d'échappement. De plus, le moteur produisait un volume sonore nettement plus élevé que lorsque ce véhicule se trouve dans sa configuration initiale.
Ces modifications n'avaient pas été soumises à l'approbation de l'autorité compétente. Par contre, elles étaient visiblement destinées à augmenter la puissance du véhicule, ainsi que le niveau sonore."
Sous rubrique "Déposition (s) - participant (s)", ledit rapport contient, en outre, la déclaration suivante :
"M. X._ :
«Je venais de Lausanne et me rendais à mon domicile à A._, par la route de Berne, puis celle des Paysans. Lors du trajet, j'ai roulé à une vitesse supérieure à 80 km/h, notamment sur le tronçon rectiligne de la route des Paysans. Toutefois, je ne peux pas vous préciser à quelle vitesse. Je suis pressé car j'ai rendez-vous avec une personne à 17h00. En ce qui concerne le catalyseur de ma Subaru, c'est moi qui l'ai supprimé. Sur la route des Paysans, je pense avoir dépassé 3 véhicules."
A la suite de ce contrôle, X._ a été dénoncé au Juge d'instruction de l'arrondissement de Lausanne pour vitesse excessive et absence de conformité de son véhicule.
Dans le cadre de l'enquête menée par ce magistrat, X._ a soutenu que la mesure de vitesse effectuée par les agents ne correspondait pas aux normes techniques en vigueur et que les relevés ainsi obtenus n'étaient pas valables. En outre, il a contesté avoir admis un dépassement de la vitesse autorisée. A propos de la non-conformité de son véhicule, il a expliqué que le tube métallique remplaçant le catalyseur constituait une solution provisoire en attendant que son garagiste remplace le catalyseur défectueux.
Par ordonnance du 5 avril 2004, le juge d'instruction a renvoyé X._ devant le Tribunal de police d'arrondissement de Lausanne pour violation grave des règles de la circulation routière et pour conduite d'un véhicule ne répondant pas aux prescriptions légales.
A la suite du recours interjeté par X._ contre cette décision, le Tribunal d'accusation du canton de Vaud (ci-après: le Tribunal d'accusation) a, par arrêt du 26 avril 2004, rejeté le recours et confirmé l'ordonnance de renvoi. Il a notamment considéré que l'enquête, suffisamment instruite, avait révélé des indices de culpabilité justifiant que l'inculpé soit renvoyé devant la juridiction de jugement désignée, sous les charges retenues.
Par jugement du 9 février 2005, le Tribunal de police d'arrondissement de Lausanne a libéré X._ de l'ensemble des chefs d'accusation retenus contre lui et mis fin à l'action pénale. Il a observé que les agents avaient effectué leur contrôle sur une distance de 686 mètres seulement, au lieu des 1'000 mètres prescrits par les normes DETEC en vigueur, et que les mesures ainsi obtenues n'étaient pas valables. Par ailleurs, il a relevé que la contravention était prescrite. Enfin, il a considéré que le remplacement du catalyseur par un "tube métallique" était un simple dépannage de fortune et que l'infraction reprochée à cet égard à l'intéressé n'était pas réalisée.
B. A réception du rapport de police susmentionné, le Service Y._ a suspendu X._ de ses fonctions à titre provisoire. A cette époque, celui-ci était déjà sous le coup d'une procédure d'avertissement pour des faits remontant à 2001. En date du 4 juin 2003, le Conseil d'Etat a prononcé son licenciement immédiat pour justes motifs. Le 28 septembre 2005, la Chambre des recours du Tribunal cantonal a annulé ce licenciement, ce qui a conduit à la réintégration de l'intéressé. Le 10 août 2006, X._ a signé avec l'Etat de Vaud une convention mettant un terme à leurs rapports de travail pour le 31 août 2006, les parties se donnant réciproquement quittance pour solde de tout compte et de toute prétention de ce chef. Selon cette convention, l'Etat de Vaud devait un solde de salaire à X._, des intérêts moratoires et des allocations familiales pour solde de tout compte.
C. Le 4 avril 2008, X._ a ouvert action devant le Tribunal civil d'arrondissement de Lausanne en paiement par le canton de Vaud d'un montant en capital de 50'000 fr. en réparation de l'atteinte subie du fait des procédures qui avaient été engagées à tort, selon lui, contre sa personne.
Par jugement du 25 mai 2010, ledit Tribunal a rejeté les prétentions de X._.
D. Le 12 janvier 2011, la Chambre des recours du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours déposé par X._ contre le jugement du 25 mai 2010; entre-temps, l'intéressé avait réduit ses prétentions à 35'000 fr.
E. X._ forme un recours en matière civile contre l'arrêt du Tribunal cantonal. Il conclut à l'admission du recours et au renvoi de la cause au Tribunal cantonal pour nouveau jugement, subsidiairement à la réforme de cet arrêt et à l'adjudication de la somme de 35'000 fr. plus intérêts à 5% dès le 25 juillet 2002.
Le Tribunal cantonal se réfère aux considérants de son arrêt, alors que le canton de Vaud, représenté par un avocat, conclut au rejet du recours. X._ a déposé des observations complémentaires le 22 septembre 2010.

Considérant en droit:
1. Le Tribunal fédéral examine d'office sa compétence (art. 29 al. 1 LTF) et la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1.1 p. 251).
1.1 La contestation porte sur le droit du recourant à des prétentions fondées sur la loi vaudoise du 16 mai 1961 sur la responsabilité de l'Etat, des communes et de leurs agents (LRECA; RS/VD 170.11). La cause relève donc du droit public. Comme telle, elle peut en principe faire l'objet d'un recours en matière de droit public au Tribunal fédéral (art. 82 let. a LTF), car aucun recours devant le Tribunal administratif fédéral n'est ouvert (art. 86 al. 1 let. d LTF). En outre, le recours en matière de droit public représente la voie ordinaire dans le domaine de la responsabilité de l'Etat (cf., à cet égard, art. 30 al. 1 let. c ch. 1 du Règlement du Tribunal fédéral du 20 novembre 2006 [RTF; RS 173.110.131]), le recours en matière civile n'étant qu'exceptionnellement ouvert sur la base de l'art. 72 al. 2 let. b LTF pour les causes relevant de la responsabilité de l'Etat pour les activités médicales (cf. <ref-ruling> consid. 2.1 p. 465 s.; art. 31 al. 1 let. d RTF).
1.2 L'arrêt attaqué, qui déboute le recourant de son action en responsabilité, est une décision finale rendue par un Tribunal cantonal supérieur (art. 86 al. 1 let. d et 2 et 90 LTF) dans une affaire qui dépasse la valeur limite de 30'000 fr. exigée en la matière (cf. art. 85 al. 1 let. a LTF). Par ailleurs, le recourant est manifestement légitimé à agir sur la base de l'art. 89 al. 1 LTF.
Déposé en temps utile (art. 100 al. 1 LTF) et dans les formes requises (art. 42 LTF), le recours en matière de droit public est donc recevable. La fausse dénomination du mémoire, intitulé recours en matière civile, ne porte pas préjudice au recourant dans la mesure où les conditions de recevabilité du recours en matière de droit public sont réunies (<ref-ruling> consid. 1.2 p. 302/303).
2. 2.1 Sauf dans les cas cités expressément par l'art. 95 LTF, le recours en matière de droit public ne peut pas être formé pour violation du droit cantonal en tant que tel. Il est néanmoins possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.3 p. 60, 143 consid. 1.2 p. 145). Il appartient toutefois au recourant d'invoquer ce grief et de le motiver d'une manière suffisante (art. 106 al. 2 LTF; <ref-ruling> consid. 1.3 p. 60; <ref-ruling> consid. 1.4.2 p. 254). L'intéressé doit donc préciser en quoi l'acte attaqué serait arbitraire, ne reposerait sur aucun motif sérieux et objectif, apparaîtrait insoutenable ou heurterait gravement le sens de la justice (<ref-ruling> consid. 3.2 p. 400; <ref-ruling> consid. 7a p. 312).
Appelé à revoir l'application faite d'une norme cantonale sous l'angle de l'arbitraire (art. 9 Cst.), le Tribunal fédéral ne s'écarte de la solution retenue que si celle-ci apparaît insoutenable ou en contradiction manifeste avec la situation effective, ou encore si elle a été adoptée sans motifs objectifs et en violation d'un droit certain. En outre, il ne suffit pas que les motifs de la décision critiquée soient insoutenables, il faut encore que cette dernière soit arbitraire dans son résultat (<ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 4 p. 560; <ref-ruling> consid. 1.3 p. 4 s. et les arrêts cités).
2.2 En outre, le Tribunal fédéral statue sur la base des faits constatés par l'autorité précédente (art. 105 al. 1 LTF). Il ne s'en écarte que s'ils ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 2.1 p. 450) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Il n'entre pas en matière sur des critiques appellatoires concernant l'appréciation des preuves opérée par l'autorité précédente ou l'établissement des faits; il appartient au recourant de démontrer précisément en quoi ceux-ci ont été constatés de manière arbitraire et en quoi la correction du vice est susceptible d'influer sur le sort de la cause au sens de l'art. 97 al. 1 LTF (cf. <ref-ruling> consid. 1.2 p. 511; <ref-ruling> consid. 5.2.2 p. 322 et les arrêts cités).
3. Le recourant se plaint tout d'abord d'arbitraire dans l'établissement des faits. Il se borne, toutefois, à affirmer que l'arrêt attaqué "survole" la procédure pénale, en faisant abstraction du fait qu'il a tout au long de la procédure pénale contesté la mesure de vitesse effectuée par les gendarmes. L'argumentation est présentée de façon appellatoire et est donc irrecevable.
Elle se trouve, au surplus, en contradiction manifeste avec le contenu de l'arrêt entrepris. En effet, le Tribunal cantonal a clairement mis en évidence le fait que "dans le cadre de l'enquête menée par ce magistrat, le recourant a soutenu que la mesure de vitesse effectuée par les agents ne correspondait pas aux normes techniques en vigueur et que les relevés ainsi obtenus n'étaient pas valables". Ledit Tribunal n'a, par contre, pas déduit de cet état de faits les conséquences juridiques voulues par le recourant, ce qui ne relève pas d'un établissement arbitraire des faits mais de l'application du droit, question examinée ci-dessous.
4. Le recourant se plaint d'arbitraire dans l'application de l'art. 4 LRECA. Il estime que c'est à tort que le Tribunal cantonal a nié un comportement illicite des gendarmes, puis du juge d'instruction. Il fonde son point de vue sur le fait qu'il a toujours contesté la validité technique du contrôle de vitesse et que, en définitive, le juge du fond lui a donné raison sur ce point.
4.1 L'arrêt attaqué nie l'existence d'un acte illicite des gendarmes. Il retient que les vitesses relevées par ceux-ci sur 686 mètres justifiaient une dénonciation. Même si ceux-ci avaient suivi le recourant sur une distance insuffisante au regard des normes d'appréciation des preuves applicables en matière pénale, le comportement des agents reposaient sur un constat objectif. Ce d'autant plus que l'intéressé avait admis qu'il roulait à une vitesse supérieure à celle autorisée. Selon l'arrêt entrepris, le magistrat instructeur, qui a ordonné le renvoi du recourant devant le Tribunal de police, n'a pas non plus commis d'acte illicite. L'autorité précédente en veut pour preuve l'arrêt du 26 avril 2004 du Tribunal d'accusation par lequel celui-ci a rejeté le recours de l'intéressé à l'encontre de l'ordonnance de renvoi du juge d'instruction, considérant que des indices suffisants permettaient de le traduire devant un tribunal. Selon le Tribunal cantonal, cette circonstance permet à elle seule d'exclure un acte illicite du magistrat instructeur.
4.2 L'art. 4 LRECA a la teneur suivante:
"L'Etat et les corporations communales répondent du dommage que leurs agents causent à des tiers d'une manière illicite."
Pour que la responsabilité de l'Etat de Vaud puisse être engagée, il est donc indispensable qu'il y ait eu un acte illicite de la part des gendarmes et du juge d'instruction.
Pour que la responsabilité de l'Etat de Vaud puisse être engagée, il est donc indispensable qu'il y ait eu un acte illicite de la part des gendarmes et du juge d'instruction.
4.3 4.3.1 La loi cantonale ne définit pas l'illicéité s'agissant d'actes administratifs ou judiciaires annulés ou modifiés par une autorité supérieure à la suite d'un recours. A cet égard, au plan fédéral, la loi fédérale du 14 mars 1958 sur la responsabilité de la Confédération, des membres de ses autorités et de ses fonctionnaires (LRCF; RS 170.32) ne contient pas non plus de disposition spécifique concernant l'éventuelle responsabilité de la Confédération pour de tels actes; l'art. 3 LRCF parle seulement de "dommage causé sans droit", soit de manière illicite (cf. <ref-ruling> consid. 4.1 p. 317). La jurisprudence a, pour sa part, posé des conditions strictes pour admettre l'existence d'un acte illicite. Ainsi, le comportement d'un fonctionnaire ou d'un magistrat n'est illicite que lorsque celui-ci viole un devoir essentiel à l'exercice de sa fonction. Le fait qu'une décision se révèle par la suite inexacte, contraire au droit ou même arbitraire ne suffit pas (<ref-ruling> consid. 4d/dd p. 582; <ref-ruling> consid. 2b p. 249; <ref-ruling> consid. 2 p. 164; voir plus récemment SJ 2008 I 481, 2C_25/2008). Selon les circonstances, un excès ou un abus du pouvoir d'appréciation conféré par la loi peut réaliser la condition de l'illicéité (<ref-ruling> consid. 4.1 p. 317).
4.3.2 Il y a abus du pouvoir d'appréciation lorsque l'autorité, tout en restant dans les limites du pouvoir d'appréciation qui est le sien, se fonde sur des considérations qui manquent de pertinence et sont étrangères au but visé par les dispositions légales applicables, ou viole des principes généraux du droit tels que l'interdiction de l'arbitraire et de l'inégalité de traitement, le principe de la bonne foi et le principe de la proportionnalité (<ref-ruling> consid. 2 p. 152 et les références). Commet un excès positif de son pouvoir d'appréciation, l'autorité qui exerce son appréciation alors que la loi l'exclut, ou qui, au lieu de choisir entre les deux solutions possibles, en adopte une troisième (<ref-ruling> consid. 5.1 p. 73; <ref-ruling> consid. 2 p. 310 et les références).
4.4 Le recourant estime que les gendarmes ont commis une grave violation de leurs devoirs de fonction, en ayant abusé de leur pouvoir d'appréciation de manière à engager leur responsabilité.
Il ressort de la définition ci-dessus que, contrairement à ce que semble prétendre le recourant, les notions d'abus du pouvoir d'appréciation et d'arbitraire ne se recouvrent pas, la première étant définie plus largement que la seconde. L'abus du pouvoir d'appréciation peut certes résulter de l'application arbitraire d'une norme dans une situation donnée. En revanche, n'importe quel abus du pouvoir d'appréciation ne peut d'emblée être qualifié d'arbitraire. D'une manière générale, l'arbitraire est admis moins facilement que la simple violation du pouvoir d'appréciation par le Tribunal fédéral (cf. arrêt 2C_158/2010 du 18 août 2010 consid. 3.3), même si certaines formulations peuvent parfois prêter à confusion (cf. <ref-ruling> consid. 3c p. 206 où l'abus du pouvoir d'appréciation est défini comme une catégorie de l'arbitraire). Seul l'abus manifeste ou qualifié du pouvoir d'appréciation relève de l'arbitraire.
En l'espèce, comme l'a retenu à bon droit le Tribunal cantonal, le fait que le recourant ait admis un dépassement de vitesse, avant de se rétracter, et que celle-ci, fortement excessive, ait été mesurée sur une distance non négligeable de 686 mètres permet d'exclure tout arbitraire dans la démarche des gendarmes. Va dans le même sens le fait que le juge d'instruction, par son ordonnance de renvoi du 5 avril 2004, puis le Tribunal d'accusation, dans son arrêt du 26 avril 2004, ont estimé qu'il y avait lieu de renvoyer l'intéressé devant une juridiction de jugement. La circonstance voulant que le moyen de preuve électronique ait ultérieurement été jugé irrecevable ne change rien à ce constat. A cela s'ajoute que le recourant n'a pas été envoyé en jugement pour le seul dépassement de vitesse mais aussi pour défaut de conformité de son véhicule avec les exigences légales. Dès lors, c'est sans arbitraire que le Tribunal cantonal a nié l'existence d'un acte illicite au sens de l'art. 4 LRECA des gendarmes, ceux-ci n'ayant pas abusé de leur pouvoir d'appréciation.
4.5 Le recourant estime ensuite qu'il y avait abus de pouvoir du magistrat instructeur à ne pas avoir prononcé un non-lieu.
Ce qui a été dit ci-dessus pour les gendarmes vaut aussi pour le juge d'instruction. On relèvera encore qu'il n'est pas possible d'inférer sans autre d'un acquittement ultérieur que le juge d'instruction a commis un abus de son pouvoir d'appréciation, ce d'autant moins lorsqu'il a fait l'objet d'un contrôle par une autorité supérieure, comme ça a été le cas en l'espèce par le Tribunal d'accusation.
C'est donc également sans arbitraire que le Tribunal cantonal a nié l'existence d'un acte illicite au sens de l'art. 4 LRECA de la part du juge d'instruction.
5. Le Tribunal fédéral n'entrera pas en matière sur les revendications du recourant relatives à la quotité du tort moral dans la mesure où les conditions fondant le droit à une indemnisation ne sont pas remplies, faute d'illicéité du comportement des autorités mises en cause.
6. Au vu de ce qui précède, le recours est rejeté dans la mesure où il est recevable.
Succombant, le recourant supportera les frais judiciaires (art. 66 al. 1 LTF). Par ailleurs, le canton de Vaud étant représenté par un avocat dans un procès en responsabilité, il se justifie de lui allouer des dépens par exception à la règle de l'art. 68 al. 3 LTF (cf. arrêt 2C_158/2010 du 18 août 2010 consid. 4 et les arrêts cités).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Une indemnité de 2'000 fr., à payer au canton de Vaud à titre de dépens, est mise à la charge du recourant.
4. Le présent arrêt est communiqué au mandataire du recourant, au mandataire du canton de Vaud, ainsi qu'à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 10 janvier 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Kurtoglu-Jolidon