Faits:
A. Par ordonnance du 21 février 2007, le Juge d'instruction de l'arrondissement de La Côte a renvoyé X._ devant le Tribunal correctionnel de l'arrondissement de Lausanne comme accusé de contrainte sexuelle, viol et actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance.
Le 15 mars 2007 le Juge d'instruction de l'arrondissement de Lausanne a renvoyé X._ devant le Tribunal de police du même arrondissement sous la prévention de conduite en état d'ébriété qualifiée. Par décision du 3 avril 2007, le Président du Tribunal d'arrondissement a décliné la compétence du Tribunal de police et transmis ce dernier dossier au Tribunal correctionnel, les deux causes étant jointes pour faire l'objet d'un seul jugement.
B. Par jugement du 4 décembre 2007, le Tribunal correctionnel de l'arrondissement de Lausanne a libéré X._ des chefs d'accusation de contrainte sexuelle, viol, actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance, mais l'a condamné, pour conduite en état d'ébriété qualifiée, à 60 jours-amende à 120 fr./j.
C. Le 24 décembre 2007, X._ a formulé une demande d'indemnité de 24'805 fr.65.
Par arrêt du 29 février 2008, le Tribunal d'accusation du Tribunal cantonal vaudois a partiellement admis cette requête et alloué à X._ la somme globale de 4'304 fr., à la charge de l'Etat. En substance, la Cour cantonale a relevé que le demandeur avait droit à une indemnité, qui devait cependant être réduite, en raison du comportement « moralement condamnable » de l'intéressé. L'autorité a donc fixé à 4000 fr., TVA non comprise, l'indemnité accordée pour les frais de défense. Pour le reste, elle a rejeté la demande de réparation du tort moral, qui ne trouvait aucune justification.
D. X._ dépose un recours en matière pénale et un recours constitutionnel subsidiaire au Tribunal fédéral. Il reproche essentiellement à la Cour cantonale une interprétation arbitraire des art. 67 et 163a du CPP/VD. Il voit également un déni de justice formel prohibé par l'art. 29 al. 1 Cst., en ce que le Tribunal d'accusation a réduit sa demande d'indemnité en raison de son comportement « moralement condamnable » ou « moralement blâmable ». De plus, il conteste l'estimation des frais de défense, surtout parce que la juridiction cantonale a réduit de 60 % le temps consacré par le mandataire à la procédure, sans aucune instruction et sans aucune explication.
Le Ministère public et le Tribunal cantonal vaudois ont renoncé à se déterminer.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement sa compétence, respectivement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 381; <ref-ruling> consid. 1 p. 140).
1.1 La décision entreprise concerne tout d'abord l'obtention d'une indemnité suite au prononcé d'un acquittement, fondée sur le droit cantonal de procédure pénale, soit l'art. 163a CPP/VD. Il s'agit donc d'un arrêt rendu en matière pénale au sens de l'<ref-law> (cf. FF 2001 p. 4111). Dirigé contre un jugement final (<ref-law>) prononcé par une autorité cantonale de dernière instance (art. 80 et 130 al. 1 LTF), le recours est en principe recevable, puisqu'il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi.
1.1.1 En effet, les frais exposés par les parties, c'est-à-dire essentiellement les honoraires payés pour le mandataire privé ou l'avocat commis d'office, sont indissociables de la procédure pénale et sont arrêtés par le juge pénal avec la décision au fond, ou, comme dans le cas particulier, par un jugement séparé. Dans ces conditions, les moyens développés contre la fixation du montant des honoraires, respectivement de la rémunération de l'avocat d'office, doivent l'être dans le cadre du recours en matière pénale (arrêts 6B_215/2007 du 2 mai 2007, consid. 1.2, et 6B_300/2007 du 13 novembre 2007, consid. 1.2).
Le recourant a pris part à la procédure devant l'autorité précédente et a un intérêt juridique à la modification de l'arrêt entrepris, dès lors qu'il requiert une indemnité prévue par le droit cantonal. Il a ainsi qualité pour recourir au sens de l'<ref-law>, même s'il ne figure pas dans une des catégories mentionnées sous la let. b de cette disposition, cette énumération n'étant pas exhaustive.
1.1.2 La prétention en réparation du tort moral se trouve certes en relation avec la procédure pénale, en ce qu'elle se fonde sur un comportement - légal ou illégal - des autorités de poursuite pénale, qui auraient causé le préjudice psychique dont se plaint le recourant. Matériellement il s'agit d'une prétention en responsabilité civile contre le canton de Vaud, déduite du droit public cantonal de ce dernier. A l'opposé des prétentions civiles qui, en vertu de l'<ref-law>, doivent être invoquées par la voie du recours en matière pénale, le traitement des prétentions en responsabilité civile contre l'Etat découlant de la procédure pénale n'est pas réglé expressément par les <ref-law>. Le message du Conseil fédéral, du 28 février 2001 sur la révision totale de la juridiction fédérale (FF 2001 p. 4112 ss), est muet sur cette question, qu'apparemment la doctrine n'a pas davantage examinée. Le rapport de ces créances avec la procédure pénale n'est pas si étroit qu'il soit totalement pertinent de les juger avec cette dernière, comme c'est le cas pour les frais de procédure et les dépens des parties. En l'absence d'une réglementation dérogatoire pour les créances de droit public, les prétentions en responsabilité civile contre l'Etat suivent en principe la voie du recours en matière de droit public, au sens des <ref-law>. La Cour de droit pénal est compétente pour l'instruction de ceux-ci et leur jugement (art. 30 al. 1 let. c ch. 1 et art. 33 du règlement du Tribunal fédéral; arrêts 6B_215/2007 du 2 mai 2007, consid. 1.2, et 6B_300/2007 du 13 novembre 2007, consid. 1.2).
1.1.3 Le recourant ne peut toutefois saisir le Tribunal fédéral d'un recours en matière de droit public, s'agissant de la responsabilité de l'Etat, que si la valeur litigieuse est supérieure à 30'000 fr. (<ref-law>, a contrario).
Comme la créance en réparation du tort moral invoquée ascende à 5000 fr., le recours en matière de droit public est irrecevable. Dans ces conditions, pour la demande d'indemnité de tort moral, seul le recours constitutionnel subsidiaire entre en ligne de compte, voie que le recourant a utilisée à juste titre pour ce grief précis, parallèlement au recours en matière pénale, en respectant la règle formelle posée à l'<ref-law>, qui contraint de déposer les deux recours dans un seul mémoire.
Les autres conditions de recevabilité du recours constitutionnel subsidiaire seront examinées ci-dessous (cf. infra consid. 4).
1.2 Le recours ordinaire peut notamment être formé pour violation du droit fédéral (<ref-law>), y compris les droits constitutionnels. Il ne peut critiquer les faits qu'au motif que ceux-ci ont été établis de façon manifestement inexacte, c'est-à-dire arbitraire, ou en violation du droit au sens de l'<ref-law>, et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>).
En vertu de l'<ref-law>, le Tribunal fédéral n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal que si ce grief a été invoqué et motivé par le recourant. Comme sous l'empire de l'art. 90 al. 1 let. b OJ, dont les exigences demeurent valables pour les griefs soumis au principe d'allégation en vertu de l'<ref-law>, le recourant qui se plaint d'arbitraire (art. 9 Cst.) ne peut donc se borner à critiquer la décision attaquée comme il le ferait en procédure d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer son opinion à celle de l'autorité cantonale, mais il doit démontrer, par une argumentation précise, que cette décision repose sur une application de la loi ou une appréciation des preuves manifestement insoutenable. Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (cf. <ref-ruling> consid. 1.3 et les arrêts cités).
Comme les moyens de droit constitutionnel peuvent être invoqués dans le cadre du recours en matière pénale, le recours constitutionnel subsidiaire est exclu, sauf en ce qui concerne la prétention en réparation du tort moral, et l'ensemble des autres griefs soulevés sera traité dans celui-là, selon la procédure ordinaire des art. 78 à 81 LTF. De plus, le grief de déni de justice formel tiré de l'art. 29 al. 1 Cst., et reposant sur l'idée que la Cour cantonale aurait violé cette norme constitutionnelle parce qu'elle n'aurait statué que partiellement en réduisant le montant de l'indemnité sollicitée, n'a pas de portée propre par rapport au reproche d'arbitraire de la décision attaquée. La cause sera donc examinée sous l'angle de l'art. 9 Cst. Enfin, le recourant n'invoque pas la violation du droit d'être entendu sous l'angle d'une motivation insuffisante (<ref-ruling> consid. 4.1 p. 88), lorsqu'il se plaint que le Tribunal d'accusation a écarté du calcul des frais nécessaires à sa défense plus de la moitié du temps consacré par son avocat à cette procédure, « sans explication ni mesure d'instruction ». Seule entre donc en ligne de compte l'interdiction de l'arbitraire dans l'application du droit cantonal, que le Tribunal de céans censure avec un pouvoir d'examen restreint (<ref-ruling> consid. 5.3 i.f. p. 148).
2. Le recourant se plaint tout d'abord d'une application arbitraire des art. 67 et 163a CPP/VD.
2.1 Si l'art. 67 CPP/VD traite de l'indemnisation du préjudice découlant de la détention d'une personne qui a ensuite bénéficié d'un non-lieu ou d'un acquittement, l'art. 163a CPP/VD prévoit que l'inculpé et l'accusé libérés des fins de la poursuite pénale, qui ne l'ont ni provoquée ni compliquée fautivement, peuvent obtenir de l'Etat (...) une indemnité équitable pour le dommage résultant de l'instruction et pour leur frais de défense.
Selon une jurisprudence constante, ni le droit constitutionnel fédéral, ni le droit conventionnel n'exigent de l'Etat qu'il indemnise les particuliers victimes d'une incarcération en soi licite, mais qui se révèle par la suite injustifiée (cf. <ref-ruling> consid. 6 p. 230; <ref-ruling> consid. 2d p. 182; <ref-ruling> consid. 3 p. 17). Il en va a fortiori de même s'agissant des autres préjudices subis en relation avec la procédure pénale close par un non-lieu ou un acquittement et, en particulier, des frais de défense. Il est en revanche loisible aux cantons d'instituer une telle garantie dont le Tribunal fédéral examine alors la portée sous l'angle de l'arbitraire lorsqu'elle est contenue dans une norme de rang inférieur à la Constitution (cf. arrêt 1P.457/1996 du 26 novembre 1996, publié in ZBl 99/1998 p. 34 et RDAF 1999 I 679; pour la notion d'arbitraire: cf. <ref-ruling> consid. 5.4 p. 148; <ref-ruling> consid. 3.1 p. 153). En l'occurrence, l'art. 163a al. 1 CPP/VD confère à l'accusé acquitté une telle prétention juridique.
A l'instar de celle fondée sur l'art. 122 PPF, la jurisprudence ne précise pas la définition des comportements susceptibles d'entraîner une réduction de la réparation due au prévenu acquitté ou bénéficiant d'un non-lieu. Il est toutefois relevé que la juridiction intéressée bénéficie d'un large pouvoir d'appréciation, limité par l'interdiction de l'arbitraire (BOVAY/DUPUIS/MONNIER/MOREILLON/PIGUET, Procédure pénale vaudoise, 3è éd., Lausanne 2008, p. 183 n. 1.2). De façon générale, si un comportement contraire à la seule éthique ne peut justifier le refus d'indemniser le prévenu libéré des fins de la poursuite pénale, la jurisprudence a étendu la notion de comportement fautif à la violation de toute norme de comportement, écrite ou non, résultant de l'ordre juridique suisse dans son ensemble (<ref-ruling> consid. 1b p. 334; <ref-ruling> consid. 2c p. 168). Le droit civil non écrit interdit de créer un état de fait propre à causer un dommage à autrui, sans prendre les mesures nécessaires afin d'en éviter la survenance; celui qui contrevient à cette règle peut être tenu, selon l'<ref-law>, de réparer le dommage résultant de son inobservation (<ref-ruling> consid. 2a/aa p. 115). Or, les frais directs et indirects d'une procédure pénale, y compris l'indemnité qui doit éventuellement être payée au prévenu acquitté, constituent un dommage pour la collectivité publique. De même, le droit de procédure pénale interdit implicitement de créer sans nécessité l'apparence qu'une infraction a été ou pourrait être commise, car un tel comportement est susceptible de provoquer l'intervention des autorités répressives et l'ouverture d'une procédure pénale et, partant, de causer à la collectivité le dommage que constituent les frais liés à une instruction pénale ouverte inutilement. Il y a comportement fautif, dans ce cas, lorsque le prévenu aurait dû se rendre compte, sur le vu des circonstances et de sa situation personnelle, que son attitude risquait de provoquer l'ouverture d'une enquête pénale (arrêt 1P.553/1993 du 31 mai 1994, cité par ANTOINE THÉLIN, L'indemnisation de prévenu acquitté en droit vaudois, in JdT 1995 III 103 s.).
2.2 Le Tribunal correctionnel a acquitté le recourant des préventions d'infractions contre l'intégrité sexuelle, au bénéfice du doute. Il en ressort qu'à la suite de l'instruction et de l'audience de jugement, son attitude à l'égard de la victime n'a pas été considérée comme pénalement relevante, ce qui ne signifie pas que ce comportement fautif ne soit pas contraire à « toute norme de comportement, écrite ou non, résultant de l'ordre juridique suisse dans son ensemble », au sens de la jurisprudence et de la doctrine mentionnées ci-dessus. Ainsi, la volonté d'utiliser la partenaire comme un objet dans le seul but d'obtenir la satisfaction de pulsions, qui a laissé des traces somatiques relevées par le médecin consulté par la plaignante (pétéchies anales), est caractéristique de l'avènement d'un état de fait susceptible de causer un préjudice à la personne visée, alors que des relations intimes entretenues dans un contexte consensuel auraient permis d'éviter le tort subi.
En agissant de la sorte, le recourant a créé une situation dommageable, qui a conduit la victime à déposer une plainte pénale, dont il a finalement été libéré au bénéfice du doute à la suite d'une longue instruction et de l'audience de jugement. Au vu du déroulement des faits, qui ont poussé la victime à se plaindre, et de la perception que le recourant en avait, sur le moment même, ce dernier ne pouvait nullement exclure que les événements vécus risquaient de déclencher l'ouverture d'une procédure pénale, comportement fautif justifiant la réduction de l'indemnité à laquelle l'accusé acquitté peut prétendre.
En considération de ces éléments, il n'est pas nécessaire de vérifier plus avant si le comportement fautif du recourant relève directement de l'<ref-law>, ou de l'<ref-law>, puisqu'il viole de toute manière le droit civil non écrit, dans l'acception rappelée ci-dessus au consid. 2.1. Ainsi, la décision du Tribunal d'accusation doit être confirmée en ce qui concerne le principe de la réduction de l'indemnité sollicitée. Il convient toutefois de relever que la juridiction cantonale devait appliquer la jurisprudence susmentionnée, sans reprendre littéralement les expressions fausses de « moralement condamnable ou blâmable », qui peuvent donner à croire que la réduction de l'indemnité demandée par l'accusé acquitté est fondée sur la seule contravention à un principe éthique ou moral, exigence insuffisante.
3. Le principe étant admis, il convient d'examiner le mérite du grief soulevé relativement au montant de la réduction, respectivement à celui de l'indemnité finalement octroyée par la Cour cantonale.
3.1 Le recourant ne critique pas la réduction de base de l'indemnité, consistant dans la reconnaissance d'un tarif horaire de 250 fr. En tout état, cette estimation du tarif horaire ne saurait être considérée comme arbitraire, puisqu'il s'agit d'une diminution du tarif usuellement pratiqué dans le canton de Vaud, d'après une jurisprudence cantonale bien établie. De plus, la norme de rémunération ainsi adoptée dépasse sensiblement les standards de paiement des avocats commis d'office, même suite à l'amélioration de celui-ci dans la jurisprudence récente du Tribunal de céans (<ref-ruling> consid. 8.7 p. 217 s. et les références citées).
3.2 Le recourant se plaint essentiellement de ce que le Tribunal d'accusation a réduit à 20 h. le temps consacré à la préparation de sa défense, alors que son avocat avait produit un décompte détaillé des opérations accomplies correspondant à un travail de 50 1⁄2 h., représentant, avec la TVA et les débours, un montant total de 19'805 fr. 65. En substance, il fait valoir que la procédure a duré près de trois ans et demi, qu'elle a traité de faits considérés comme graves, que le magistrat instructeur avait prononcé un premier non-lieu le 25 janvier 2006, avant que cette décision ne soit annulée par le Tribunal d'accusation le 6 avril 2006, ce qui a ensuite conduit à l'ordonnance de renvoi du Juge d'instruction du 21 février 2007, pour se terminer par le jugement d'acquittement du 4 décembre 2007.
3.2.1 Dans l'examen de la demande, le Tribunal d'accusation a retenu de manière forfaitaire qu'au vu dossier, de la complexité de l'affaire, des opérations effectuées ainsi que de l'audience de jugement d'environ huit heures, on pouvait admettre que l'avocat avait dû consacrer quelque vingt heures à la défense des intérêts de son client.
3.2.2 Cette motivation extrêmement sommaire ne permet pas à l'autorité de recours de saisir les raisons effectives qui ont conduit la Cour cantonale à réduire de 60 % le temps que le mandataire allègue avoir consacré à la défense de son client. La seule distinction entre les 8 h. affectées à l'audience de jugement et le reste de toute la procédure, soit 12 h., ne permet pas de comprendre les moyens mis en oeuvre à chaque stade de la cause, y compris les démarches nécessaires au contrôle de l'ordonnance de non-lieu initiale par le Tribunal d'accusation. Il appartenait à ce dernier de vérifier plus précisément les divers postes du décompte remis par l'avocat du recourant et d'indiquer les motifs pour lesquels certains d'entre eux ne pouvaient pas être retenus, ou devaient être modérés en fonction de la complexité de l'affaire, de son enjeu et du réel poids des diverses démarches portées par l'avocat dans sa note d'honoraires. En l'absence d'un tel contrôle précis, la suppression de 60 % du temps de travail annoncé, qui aboutit finalement à une indemnité de 5000 fr. TVA non incluse, mais avant la réduction due au comportement fautif de l'acquitté, qui a violé une règle de comportement posée par le droit civil non écrit, est arbitraire dans sa motivation comme dans son résultat.
Pour cette raison, la décision du Tribunal d'accusation doit être annulée, ce qui entraîne le renvoi de la procédure à la juridiction cantonale pour nouveau prononcé dûment étayé sur le nombre d'heures retenu pour la défense des intérêts du recourant dans toute la procédure pénale en cause.
4. Reste à examiner le recours constitutionnel subsidiaire. Cette voie de droit n'est ouverte que pour se plaindre de la violation des droits constitutionnels (<ref-law>). Le Tribunal fédéral n'examine que les griefs soulevés et motivés de façon détaillée par la partie recourante (art. 117 et 106 al. 2 LTF); l'auteur du recours doit indiquer quel droit constitutionnel aurait été violé et montrer, par une argumentation circonstanciée, en quoi consiste la violation (cf. supra consid. 1.2; <ref-ruling> consid. 3.2 p. 444).
4.1 Le recourant estime que le rejet de sa demande d'indemnité pour tort moral est arbitraire. Il invoque, à l'appui de son argumentation, la durée de la procédure, la connaissance qu'en ont eue certains cercles d'amis et son état d'anxiété qualifié, attesté par un certificat médical.
Comme le droit cantonal ne contient pas de dispositions particulières concernant l'évaluation du tort moral, il convient de s'inspirer des principes tirés de l'<ref-law>, appliqués à titre de droit cantonal supplétif. Ainsi, le montant de l'indemnité éventuelle doit être fixé en fonction de la gravité de l'atteinte portée à la personnalité, ce qui suppose notamment que le recourant ait subi un choc psychique particulier du fait des mesures d'instruction subies (<ref-ruling> consid. 3a p. 98). De façon générale, il appartient au demandeur d'invoquer et de prouver les lésions subies (<ref-ruling> consid. 4b, p. 218). De plus, si le principe d'une indemnisation peut être retenu, la faute concomitante du lésé joue un rôle important comme facteur de réduction de la réparation. Toutefois, la règle applicable à cet égard déroge aux principes généraux de la responsabilité civile, dans la mesure où seul un acte illicite du prévenu peut être pris en considération, soit la violation fautive d'une injonction de l'ordre juridique pris dans son ensemble, y compris le droit civil non écrit, à l'exclusion de toute atteinte à un précepte éthique ou moral (ANTOINE THÉLIN, op. cit., p. 99 ch. 3 et 4 et 103).
4.2 En l'espèce, le recourant se borne à reprendre les moyens qu'il avait développés en instance cantonale, sans s'attacher à démontrer que la décision du Tribunal d'accusation portait atteinte à son droit de ne pas être traité arbitrairement par une autorité publique. De même, il n'indique pas en quoi le rejet de la demande d'indemnisation pour tort moral, fondé sur la constatation que le certificat médical produit ne suffisait pas à prouver une atteinte assez grave à sa personnalité, qui se distinguât de tout stress ou de toute inquiétude que peut susciter normalement la participation à une procédure pénale, serait contraire à la prohibition de l'arbitraire. Il s'ensuit que l'insuffisance de la motivation conduit à l'irrecevabilité du recours constitutionnel subsidiaire.
Au demeurant, même s'il avait été recevable, le recours eut dû être rejeté, car le recourant n'a pas été capable de prouver les effets négatifs de la procédure sur sa réputation, au-delà des « cercles d'amis », ni même à l'intérieur de ces derniers; de plus, l'intensité de l'atteinte à l'état psychique du recourant n'a pas été établie.
5. En conclusion, le recours en matière pénale est partiellement admis et la cause renvoyée au Tribunal d'accusation pour nouvelle décision dans le sens du considérant 3.2.2. Comme le recourant n'obtient que partiellement satisfaction, il supporte une partie des frais de la procédure (<ref-law>) et obtient des dépens réduits (<ref-law>). Le cas échéant, et suivant la solution à laquelle parvient le Tribunal cantonal, ce dernier devra également revoir la décision sur les frais de justice pour la procédure qui s'est déroulée devant lui.
Le recours constitutionnel subsidiaire est irrecevable pour défaut de motivation.

Le Tribunal fédéral prononce:
1. Le recours en matière pénale est partiellement admis, l'arrêt attaqué est annulé et la cause renvoyée au Tribunal d'accusation pour nouvelle décision dans le sens des considérants.
2. Le recours constitutionnel subsidiaire est irrecevable.
3. Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
4. Le canton de Vaud versera au recourant la somme de 1500 francs à titre de dépens pour la procédure fédérale.
5. Le présent arrêt est communiqué aux parties et au Tribunal d'accusation du Tribunal cantonal du canton de Vaud.
Lausanne, le 29 octobre 2008
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Schneider Bendani