Faits:
A. Par jugement du 26 mai 2011, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord a libéré X._ des chefs d'accusation d'abus de confiance et de gestion déloyale, l'a condamné pour gestion fautive à une peine privative de liberté de sept mois, avec sursis et délai d'épreuve de deux ans, a renvoyé les plaignants A._, B._ et C._ SA à agir civilement et a arrêté les frais de la cause à la charge de X._ à 8'000 francs, le solde étant laissé à la charge de l'Etat.
B. Saisie d'un appel de X._, la Cour d'appel pénale du Tribunal cantonal vaudois a confirmé cette décision par jugement du 30 août 2011, se fondant, en substance, sur les faits suivants.
B.a Dans le courant de l'année 1999, les époux X._ ont rencontré des difficultés de trésorerie dans l'exploitation de la société en nom collectif D._ qu'ils exploitaient, active dans l'importation et la vente de produits de la mer. Ils ont alors requis l'assistance d'un ami, A._.
B.b Avec des apports extérieurs, il a été décidé de réactiver la société E._ SA, dont les époux X._ étaient déjà actionnaires, et de transférer dans la société anonyme les actifs de la société en nom collectif, tout en augmentant le capital social de 100'000 francs (dont 50'000 francs n'étaient pas libérés) à 1'600'000 francs par l'émission de 500'000 [recte: 150'000] actions nominatives à 10 francs. A la suite de cette opération, les époux X._ détenaient 70% du capital-actions et A._ 12%, les 18% restants étant dévolus à des tiers. Une réduction du capital, portant sur un montant de 263'000 francs, a par ailleurs été immédiatement opérée à titre d'assainissement, le bilan et les comptes de pertes et profits au 30 juin 2000 faisant apparaître une perte de 263'515 francs. Une convention entre actionnaires a été passée en la forme authentique le 30 août 2000, s'agissant tant de l'augmentation que de la réduction du capital.
B.c A._ a été désigné administrateur-président et X._ administrateur-directeur. B._ et F._ avaient, respectivement, le statut d'administrateur et d'administrateur-secrétaire. X._ a admis avoir été le directeur opérationnel de la société. Il lui appartenait notamment de prospecter les marchés asiatiques et il se déplaçait souvent, de ce fait, en Thaïlande et Birmanie.
B.d Au 31 décembre 1999, les produits de E._ SA (ex société en nom collectif), pour l'exercice 1999, étaient comptabilisés à 565'975 francs et les charges à 578'439 francs, soit une perte d'exploitation de 12'464 francs. Les pertes ont été de 256'622 francs au premier semestre 2000, de 788'743 francs au 31 décembre 2000 et de 600'254 francs pour l'exercice 2001. La perte reportée au 31 décembre 2001 était ainsi de 1'394'997 francs en valeur de continuation et de 1'839'140 francs en valeur de liquidation. L'avis prévu par l'art. 725 al. 2 CO a été donné au juge le 28 mars 2002 et la faillite de E._ SA a été prononcée le 4 juin suivant.
B.e En 1999, X._ a facturé des honoraires à hauteur de 12'901 francs pour toute l'année. En 2000, les honoraires qu'il a facturés à E._ SA se sont élevés à 303'787 francs, soit 26'500 francs en janvier, 36'020 francs en février, 44'736 francs en mars, 35'914 francs en avril, 35'117 francs en mai, 26'000 francs en juin, 25'000 francs en juillet, 10'000 francs en août, 19'500 francs en septembre, 13'000 francs en octobre, 10'000 francs en novembre et 22'000 francs en décembre. Ces honoraires ont été établis en fonction du volume des dépenses des époux X._, lesquels disposaient d'un montant manifestement disproportionné par rapport à la marche de l'entreprise et qui excédait ce qui avait été convenu avec A._. Selon ce dernier, la rémunération de X._ dépendait du résultat de l'entreprise et devait donc être fixée ultérieurement. Le plan de gestion prévoyait des charges de personnel totales d'environ 30'000 francs par mois, de sorte que les honoraires que le précité était autorisé à s'octroyer ne pouvaient dépasser 10'000 francs. L'administrateur-secrétaire a quant à lui évalué à 8'000 ou 10'000 francs les honoraires qui pouvaient être facturés par X._. En 2001, ce dernier a facturé aucun honoraire.
En juin 2000, l'épouse de X._ a accompagné son mari en Thaïlande dans le cadre d'un déplacement lié à l'activité de E._ SA. Les frais de ce voyage ont été payés à hauteur de 11'810 francs 65 par la société alors que le déplacement de l'intéressée était d'ordre privé.
B.f Il a été retenu à l'encontre de X._ qu'il avait effectué des dépenses exagérées au sens de l'art. 165 CP en facturant des honoraires excessifs durant toute l'année 2000 et en facturant à la société les frais de voyage de son épouse en Thaïlande.
C. X._ interjette un recours en matière pénale au Tribunal fédéral contre le jugement de la Cour d'appel pénale. Il conclut à sa libération du chef d'accusation de gestion fautive et à ce qu'une indemnité de 98'000 francs pour ses frais de défense lui soit allouée.
Il n'a pas été ordonné d'échange d'écritures.
Considérant en droit:
1. Le recourant invoque la violation de son droit d'être entendu (art. 29 al. 2 Cst.) à deux égards.
1.1 Il fait valoir en premier lieu que ce droit comprend celui de participer à l'administration des preuves, lequel est concrétisé par l'art. 389 al. 3 CPP. Il soutient qu'il avait indiqué aux termes de son appel que la faillite de E._ SA résultait de la marge brute inexistante, voire négative de la société, qui ne lui permettait pas de couvrir ses frais d'exploitation. Il avait ainsi affirmé que les faits retenus par les premiers juges étaient erronés ou, à tout le moins, incomplets. La cour cantonale avait uniquement relevé que cette constatation ne figurait pas dans le jugement attaqué et qu'il plaidait librement sa cause. Elle avait ainsi refusé d'administrer une preuve qu'il avait requise. Pourtant l'ensemble des pièces permettant de déterminer les faits se trouvaient dans le dossier.
1.1.1 Le droit d'être entendu consacré par l'art. 29 al. 2 Cst. comprend notamment le droit pour l'intéressé de prendre connaissance du dossier, d'offrir des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (ATF 135 II 286 consid. 5.1 p. 293; 129 II 497 consid. 2.2 p. 504 s.; 126 I 15 consid. 2a/aa p. 16 et les arrêts cités).
1.1.2 Il ne ressort pas des explications du recourant qu'il aurait requis l'administration d'une preuve relative à un fait qui n'aurait pas été constaté, que la cour cantonale aurait refusé d'ordonner. La simple allégation d'un fait, soit en l'espèce, la marge brute inexistante, voir négative de la société, ne peut être interprétée comme une telle demande. Le recourant affirme lui-même que les éléments figurant à la procédure permettaient d'établir la marge brute de la société, de sorte qu'on ne voit pas quelle preuve aurait dû être administrée et le recourant ne l'indique d'ailleurs pas. De plus, le droit d'être entendu permet d'offrir ou de demander l'administration de preuves pour autant que celles-ci soient pertinentes. Or, la marge brute de la société n'est pas un élément déterminant en l'espèce (cf. infra consid. 2.2.3). Aucune violation du droit d'être entendu du recourant ne peut être retenue sur ce point. Le recourant n'expose par ailleurs pas en quoi l'art. 389 al. 3 CPP qu'il mentionne aurait une portée plus large que l'art. 29 al. 2 Cst.
1.2 Le recourant invoque que le jugement attaqué viole son droit à une décision motivée découlant du droit d'être entendu garanti par l'art. 29 al. 2 Cst. en ne mentionnant pas pour quelle raison son argument selon lequel le fait que le coût d'un employé engagé à sa place à plein temps aurait dépassé le montant de ses honoraires n'excluait pas qu'une faute de gestion puisse lui être reprochée.
1.2.1 La jurisprudence a déduit du droit d'être entendu consacré à l'art. 29 al. 2 Cst. le devoir pour l'autorité de motiver sa décision, afin que le destinataire puisse la comprendre, la contester utilement s'il y a lieu et que l'autorité de recours puisse exercer son contrôle. Ce dernier est également consacré à l'art. 80 al. 2 CPP. Pour répondre à ces exigences, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision. Il n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige (ATF 134 I 83 consid. 4.1 p. 88 et les références citées). Dès lors que l'on peut discerner les motifs qui ont guidé la décision de l'autorité, le droit à une décision motivée est respecté même si la motivation présentée est erronée. L'autorité peut passer sous silence ce qui, sans arbitraire, lui paraît à l'évidence non établi ou sans pertinence (ATF 129 I 232 consid. 3.2 p. 236; 126 I 97 consid. p.102). Il n'y a ainsi violation du droit d'être entendu que si l'autorité ne satisfait pas à son devoir minimum d'examiner les problèmes pertinents (ATF 129 I 232 consid. 3.2 p. 236; 126 I 97 consid. 2b p. 102 s. et les références citées).
1.2.2 En l'espèce, la cour cantonale a expliqué les motifs pour lesquels elle considérait que le recourant avait agi fautivement, à savoir que les honoraires qu'il avait facturés étaient trop élevés eu égard à la situation financière de la société et qu'ils n'étaient pas calculés en fonction de l'activité fournie, mais du train de vie du recourant. Celui-ci pouvait ainsi comprendre les motifs pour lesquels une infraction à l'art. 165 CP était retenue, à cet égard, à son encontre et contester utilement cette décision. Le grief selon lequel la cour cantonale aurait violé son droit à une décision motivée est infondé.
2. Le recourant invoque une violation de l'art. 165 CP.
2.1 Il conteste en premier lieu l'existence d'une faute de gestion. Les honoraires qu'il avait facturés n'étaient pas exagérés. Pour déterminer la rémunération à laquelle il avait droit, il fallait tenir compte de son cahier des charges, de son expérience professionnelle ou de ses responsabilités. En l'absence de tels éléments, il était difficile, voire impossible, de déterminer la rémunération à laquelle il aurait pu prétendre sans que celle-ci soit exagérée. Il avait perçu une somme totale de 316'688 entre 1999 et 2001, ce qui n'était pas excessif. En outre, les frais du voyage de son épouse en Thaïlande avaient été facturés à la société car il était conforme aux coutumes locales qu'il soit accompagné par son épouse lors d'un voyage d'affaires.
2.1.1 Selon l'art. 165 ch. 1 CP, le débiteur qui, de manières autres que celles visées à l'art. 164, par des fautes de gestion - notamment par une dotation insuffisante en capital, par des dépenses exagérées, par des spéculations hasardeuses, par l'octroi ou l'utilisation à la légère de crédits, par le bradage de valeurs patrimoniales ou par une négligence coupable dans l'exercice de sa profession ou dans l'administration de ses biens -, aura causé ou aggravé son surendettement, aura causé sa propre insolvabilité ou aggravé sa situation alors qu'il se savait insolvable, sera, s'il a été déclaré en faillite ou si un acte de défaut de biens a été dressé contre lui, puni d'une peine privative de liberté de cinq ans au plus ou d'une peine pécuniaire.
L'infraction de gestion fautive ne peut être commise que par le débiteur. Toutefois, lorsque le délit est commis dans la gestion d'une personne morale, celle-ci peut être commise par la personne physique qui a agi pour elle aux conditions de l'art. 172 aCP, en vigueur à l'époque des faits (depuis le 1er janvier 2007, cf. art. 29 CP), qui déclare punissable d'une telle infraction celui qui aura agi en qualité d'organe ou de membre d'un tel organe.
L'art. 165 al. 1 CP mentionne comme faute de gestion les dépenses exagérées. Les dépenses peuvent apparaître exagérées en fonction des ressources du débiteur ou en tenant compte de leur faible justification commerciale (Bernard Corboz, Les infractions en droit suisse, vol. I, Berne 2010, n. 24 ad art. 165 CP; Stephan Kesselbach, Krise und Sanierung bei Aktiengesellschaften - insbesondere aus strafrechtlicher Sicht, 2000, p. 131; Bruno Kistler, La gestion fautive en tant que délit intentionnel, PJA 1997, p. 1494). Une entreprise fait notamment des dépenses exagérées si elle acquiert des équipements luxueux pour ses bureaux alors que sa situation financière est précaire, si elle acquiert des stocks disproportionnés en regard de sa trésorerie et de ses possibilités d'écoulement ou si elle consacre des sommes manifestement disproportionnées, compte tenu de ses ressources, à des voyages, des invitations ou des missions dont on ne peut raisonnablement attendre des résultats en rapport avec les dépenses (Corboz, op. cit., n. 24 ad art. 165 CP). Sont aussi qualifiées de dépenses exagérées les dépenses professionnelles effectuées par les dirigeants d'une entreprise pour conserver leur train de vie dans l'entreprise, comme l'achat ou la location de voitures de service luxueuses ou l'établissement de somptueuses notes de frais pour des repas d'affaires absolument pas nécessaires à la bonne marche de l'entreprise (Yann Wermeille, La diminution effective de l'actif au préjudice des créanciers et la gestion fautive, RPS 1999, p. 387). Il en va de même des dépenses qui vont à l'encontre du but de la société, comme des prélèvements privés opérés par les organes sur la fortune de la société, ou du prélèvement d'honoraires injustifiés (Alexander Brunner, Basler Kommentar, Strafgesetzbuch II, 2007, n. 30 ad art. 165 CP).
2.1.2 La cour cantonale a jugé que le Tribunal correctionnel avait considéré de manière pertinente que les honoraires facturés en 2000 constituaient des dépenses exagérées eu égard à l'activité commerciale de la société et à son chiffre d'affaires, ainsi qu'au fait qu'ils étaient fixés en fonction du train de vie du recourant, que celui-ci avait été incapable de restreindre. L'intéressé ne pouvait ignorer, en sa qualité de professionnel, la disproportion manifeste entre sa rétribution et les rentrées de la société anonyme, celle en nom collectif ayant déjà connu des difficultés.
2.1.3 Le recourant ne conteste pas, à juste titre, que compte tenu de sa fonction d'administrateur au sein de la société, il était susceptible d'être auteur d'une infraction à l'art. 165 CP.
Les témoins A._ et F._ ont estimé à 8'000 ou 10'000 francs le montant que le recourant était autorisé à s'octroyer. Il doit être admis qu'il s'agit là du montant qui doit être considéré comme conforme à ce à quoi il pouvait prétendre compte tenu du volume d'activité que ses tâches impliquaient ainsi que de la situation financière de la société. Il n'était pas lié à la société par un contrat de travail. Il ne percevait pas un salaire fixe auquel il avait contractuellement droit, mais des honoraires dont le montant n'était pas défini. Celui-ci pouvait donc être adapté aux circonstances, et notamment aux ressources de la société. La cour cantonale a retenu, de manière à lier le Tribunal fédéral (art. 105 al. 1 LTF), que les montants facturés étaient manifestement disproportionnés par rapport à la marche de l'entreprise. La décision cantonale constate également que les montants perçus n'étaient pas fixés en fonction de l'activité exercée, mais du train de vie du recourant et qu'il avait été incapable de se restreindre malgré les difficultés de la société. Le recourant le conteste, sans toutefois élever aucun grief d'arbitraire à l'encontre de cette constatation, qui lie également le Tribunal fédéral. En facturant des honoraires qui n'étaient pas fixés en fonction de l'activité exercée et dépassaient la capacité financière de la société, le recourant a ainsi procédé à des dépenses exagérées au sens de l'art. 165 CP.
Il importe peu qu'un tiers employé pour effectuer le travail du recourant n'aurait pas eu un salaire inférieur aux honoraires facturés par lui, comme il le soutient. Outre le fait qu'une telle affirmation ne repose sur aucun fait constaté par l'autorité cantonale, cela ne permet pas encore de démontrer que le recrutement d'un employé dont le salaire aurait correspondu aux honoraires perçus par le recourant n'aurait pas également constitué une dépense exagérée. Le cahier des charges du recourant ou ses qualifications professionnelles ne sont pas davantage des éléments pertinents puisqu'ils ne sont pas aptes à démontrer que les honoraires facturés ne dépassaient pas les ressources de la société.
Le recourant invoque enfin qu'entre 1999 et 2001, ses honoraires se sont élevés, au total, à 316'688 francs, soit une moyenne annuelle de 105'562 francs, ce qui ne pouvait être considéré comme excessif. Il ne peut cependant tirer argument du fait qu'en 1999 et 2001 son activité n'a pas justifié la facturation d'honoraires élevés pour s'exonérer d'avoir effectué des dépenses exagérées en 2000.
Ainsi, en définitive, en considérant que les honoraires facturés par le recourant en 2000 constituaient des dépenses exagérées eu égard à la situation précaire dans laquelle se trouvait la société, qui ne réalisait pas de bénéfice, la cour cantonale n'a pas violé le droit fédéral.
Le recourant conteste encore que le paiement par la société des frais du voyage effectué par son épouse en Thaïlande soit considéré comme une dépense exagérée. Son argument selon lequel cette dépense était justifiée eu égard au fait que, conformément aux coutumes locales, il était préférable qu'il soit accompagné par son épouse afin de créer un climat favorable aux négociations, ne se fonde pas sur les faits constatés qui lient le Tribunal fédéral (art. 105 al. 1 LTF). Il est irrecevable. Pour le surplus, il était conforme au droit fédéral de considérer, ainsi que l'a fait la cour cantonale, qu'en facturant à la société le déplacement de son épouse, alors que celui-ci était d'ordre privé, le recourant a commis une faute de gestion.
2.2 Le recourant conteste l'existence d'un lien de causalité entre les fautes de gestion qui lui sont reprochées et le surendettement de la société ou son aggravation.
2.2.1 Un comportement est la cause naturelle d'un résultat s'il en constitue l'une des conditions sine qua non, c'est-à-dire si, sans lui, le résultat ne se serait pas produit (ATF 133 IV 158 consid. 6.1 p. 167; 125 IV 195 consid. 2b p. 197). La constatation du rapport de causalité naturelle relève du fait. Lorsque la causalité naturelle est établie, il faut encore rechercher si le comportement incriminé est la cause adéquate du résultat. Tel est le cas lorsque, d'après le cours ordinaire des choses et l'expérience de la vie, le comportement était propre à entraîner un résultat du genre de celui qui s'est produit (ATF 133 IV 158 consid. 6.1 p. 168; 131 IV 145 consid. 5.1 p. 147). Il s'agit là d'une question de droit (ATF 122 IV 17 consid. 2c/bb p. 23).
La gestion fautive doit avoir pour conséquence le surendettement du débiteur ou son insolvabilité. Il n'est pas nécessaire que les actes reprochés à l'auteur soient seuls à l'origine du surendettement ni qu'ils en soient la cause directe. Il suffit que l'acte de gestion fautive ait joué un rôle causal en contribuant à l'apparition du surendettement ou à son aggravation et qu'il ait été propre, d'après le cours ordinaire des choses et l'expérience de la vie, à entraîner un tel résultat (ATF 115 IV 38 consid. 2 p. 41). La notion de surendettement, qui s'applique au débiteur soumis à la poursuite par la voie de la faillite, découle de l'art. 725 al. 2 CO et signifie que, sur le plan comptable, les dettes ne sont plus couvertes ni sur la base d'un bilan d'exploitation, ni sur la base d'un bilan de liquidation, autrement dit que les passifs excèdent les actifs (Corboz, op. cit., n. 31 ad art. 165 CP).
2.2.2 La cour cantonale a considéré qu'il était incontestable que les dépenses excessives avaient aggravé la situation de la société anonyme et qu'elles étaient dans un rapport de causalité naturelle avec celle-ci. Si des mesures d'assainissement avaient été prises, elles n'avaient manifestement pas suffi pour endiguer le surendettement chronique de la société. En outre, les rétributions exagérées ne pouvaient, selon le cours normal des affaires, que détériorer la situation financière de l'entreprise.
2.2.3 Le recourant fait valoir en premier lieu que sa rémunération annuelle ne s'est élevée en moyenne qu'à 105'562 francs entre 1999 et 2001.
Le fait que le montant des honoraires facturés était faible en 1999 ou en 2001 a tout au plus permis d'éviter que l'endettement de la société soit plus conséquent, mais n'exclut pas un lien de causalité entre les dépenses qualifiées d'exagérées effectuées en 2000 et le surendettement de la société.
Le recourant invoque ensuite que la société a été assainie au mois d'août 2000. La recapitalisation avait pour but de permettre à la société de faire face à ses engagements futurs et de supprimer les pertes antérieures au 30 juin 2000, que les actionnaires avaient prises à leur charge. Les faits qui lui étaient reprochés étaient antérieurs à cette date et ils ne pouvaient donc pas être la cause de la faillite de la société.
Les comptes au 30 juin 2000 faisaient apparaître une perte de 263'515 francs. Des mesures d'assainissement ont être prises à cette date consistant en une augmentation de capital de 1'500'000 francs, puis une réduction de 263'000 francs. L'opération qui consiste généralement plutôt à réduire le capital, puis à l'augmenter (cf. Kesselbach, op. cit., p. 37, 83; Michel Heinzmann, Die Herabsetzung des Aktienkapitals, 2004, n. 467 p. 228, Peter Böckli, Schweizer Aktienrecht, 4ème éd., 2009, n. 381 ss p. 327 s.) constitue une méthode connue d'assainissement. Cela étant, contrairement à ce que le recourant semble soutenir, les faits qui lui sont reprochés ne sont pas tous antérieurs au 30 juin 2000, mais également postérieurs puisqu'il lui est reproché d'avoir facturé des honoraires trop élevés sur l'ensemble de l'année 2000. Dans la mesure où des dépenses exagérées au sens de l'art. 165 CP ont encore été effectuées après le 30 juin 2000, la circonstance invoquée par le recourant n'est pas de nature à exclure tout lien de causalité naturelle et adéquate entre les actes qui lui sont reprochés et le surendettement de la société.
Le recourant fait enfin valoir que les pertes de la société s'étaient élevées à 1'394'483 francs entre le 1er juillet 2000 et le 31 décembre 2001 alors que les honoraires qu'il avait prélevés n'étaient que de 99'500 francs durant cette période. Il en déduit que sa rémunération ne peut avoir été la cause de la faillite de la société, laquelle résultait du fait que la marge brute de la société était faible, voire négative. Ce fait ne ressort pas de l'état de fait cantonal et le recourant n'invoque pas à cet égard une constatation arbitraire des faits (art. 9 Cst.). En tout état de cause, il n'en reste pas moins qu'il était dans le cours ordinaire des choses qu'en facturant des honoraires qui dépassaient la capacité financière de l'entreprise, le recourant aggravait la situation de celle-ci. La faute de gestion n'a pas besoin d'être la seule cause ou la cause directe du surendettement et il n'est pas déterminant que d'autres éléments aient, le cas échéant, contribué au surendettement de la société.
Dès lors, en définitive, il était conforme au droit fédéral que de retenir que les fautes de gestion commises par le recourant présentaient un lien de causalité naturelle et adéquate avec le surendettement de la société, à tout le moins pour celles postérieures à l'assainissement, ce qui suffit pour admettre la culpabilité du recourant, sans qu'il soit nécessaire de davantage examiner si cette circonstance était de nature à exclure un lien de causalité avec les dépenses exagérées antérieures.
2.3 Le recourant ne fait pas valoir, pour le surplus, que les autres conditions d'application de l'art. 165 CP ne seraient pas réunies, en particulier d'un point de vue subjectif, et ce, à juste titre dans la mesure où il ne pouvait ignorer que ses dépenses étaient exagérées, la société ne réalisant pas de bénéfice, et où il devait être prévisible pour lui qu'elles contribueraient au surendettement de celle-ci puisqu'il avait déjà dû prendre des mesures de réorganisation à la suite des difficultés rencontrées dans l'exploitation de la société en nom collectif. Il doit dès être admis que c'est sans violer l'art. 165 CP que la décision cantonale retient que le recourant s'est rendu coupable de gestion fautive. Le recourant ne conteste enfin pas la peine prononcée à son encontre.
3. Le recourant réclame qu'une indemnité lui soit allouée dans la mesure où la complexité des faits justifiait qu'il recourt au service d'un mandataire professionnel. Il invoque l'art. 429 al. 1 CPP, lequel prévoit notamment que si le prévenu est acquitté totalement ou en partie ou s'il bénéficie d'une ordonnance de classement, il a droit à une indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure (let. a).
3.1 Le mémoire de recours doit contenir les conclusions et les motifs à l'appui de celles-ci (art. 42 al. 1 LTF). Les motifs doivent exposer succinctement en quoi l'acte attaqué viole le droit (art. 42 al. 2 LTF). Pour satisfaire à cette obligation de motiver, le recourant doit discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit. Il faut qu'à la lecture de son exposé, on comprenne clairement quelles règles de droit auraient été, selon lui, transgressées par l'autorité cantonale (cf. ATF 134 II 244 consid. 2.1 p. 245 s.; 134 V 53 consid. 3.3 p. 60). Selon la jurisprudence, un mémoire de recours ne satisfait pas aux exigences minimales fixées à l'art. 42 al. 2 LTF lorsque sa motivation reprend mot pour mot l'argumentation déjà développée devant la juridiction inférieure et que, partant, le recourant ne discute pas les motifs de la décision entreprise et n'indique pas - même succinctement - en quoi ceux-ci méconnaissent le droit selon lui. Le recourant ne saurait se contenter de renvoyer aux actes cantonaux ou de reproduire la motivation déjà présentée dans la procédure cantonale (ATF 134 II 244 consid. 2.1-2.3 p. 246 s.).
3.2 Le recourant se borne à reprendre mot pour mot l'argumentation qu'il avait déjà présentée devant la cour cantonale à l'appui de sa demande d'indemnisation. En l'absence de toute critique de la décision attaquée sur ce point, son grief est irrecevable faute de motivation suffisante (art. 42 al. 2 LTF).
4. Il résulte de ce qui précède que le recours est rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 4'000 francs, sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 24 mai 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Rieben