Faits:
A. Par jugement du 24 mars 2011, le Tribunal correctionnel de la Broye et du Nord vaudois a notamment libéré X._ des chefs d'accusation de lésions corporelles simples qualifiées, de mise en danger de la vie d'autrui, de rixe et d'agression et l'a condamné à une amende de 100 fr. pour contravention à la LStup. Il a ordonné la relaxation immédiate de X._ détenu depuis 267 jours, pour autant qu'il ne doive pas être détenu pour une autre cause.
Le Ministère public a fait appel contre ce jugement qu'il a toutefois retiré. X._ n'a pas formé d'appel ou d'appel joint. Le jugement de première instance est devenu définitif et exécutoire.
B. Le 9 mars 2012, X._ a adressé au Tribunal d'arrondissement de la Broye et du Nord vaudois une demande d'indemnité fondée sur l'art. 429 CPP dans laquelle il a conclu à l'allocation d'un montant de 75'750 fr. 20.
Par décision du 21 mars 2012, le Tribunal d'arrondissement de la Broye et du Nord vaudois a alloué à X._, à la charge de l'Etat de Vaud, une indemnité de 17'053 fr. 20 pour ses frais de défense ainsi qu'une indemnité pour tort moral de 40'000 francs.
C. Par jugement du 3 juillet 2012, la Cour d'appel pénale du Tribunal cantonal vaudois a admis l'appel formé par le Ministère public et a annulé la décision de première instance.
D. X._ forme un recours en matière pénale et un recours constitutionnel subsidiaire contre ce jugement. Il conclut, sous suite de frais et dépens, à l'annulation du jugement attaqué et au renvoi de la cause à l'instance précédente pour nouvelle décision au sens des considérants. Il sollicite par ailleurs l'assistance judiciaire.
Invités à déposer des observations sur le recours, la cour cantonale y a renoncé en se référant aux considérants de son jugement, alors que le Ministère public a conclu à son rejet.
Considérant en droit:
1. Le jugement attaqué a été rendu, en dernière instance cantonale, dans une cause de droit pénal. Il peut donc faire l'objet d'un recours en matière pénale au sens des art. 78 ss LTF, de sorte que le recours constitutionnel subsidiaire est exclu (art. 113 LTF). Il convient donc d'examiner l'ensemble des griefs soulevés par le recourant dans la procédure du recours en matière pénale.
2. Le recourant invoque une violation de l'art. 429 CPP.
2.1 Selon l'alinéa 1 de cette disposition, le prévenu acquitté partiellement ou totalement a le droit à une indemnité notamment pour ses dépenses occasionnées par l'exercice raisonnable de ses droits de procédure (let. a) et à une réparation du tort moral en cas de privation de liberté (let. c). L'alinéa 2 prévoit que l'autorité pénale examine d'office les prétentions du prévenu. Il résulte de cette disposition qu'il incombe à l'autorité pénale, à tout le moins, d'interpeller le prévenu sur cette question et, comme le prévoit la loi, de l'enjoindre au besoin à chiffrer et justifier ses prétentions en indemnisation (cf. arrêt 1B_475/2011 du 11 janvier 2012 consid. 2.2 et 2.3).
2.2 Aux termes de l'art. 5 al. 3 Cst., les organes de l'État et les particuliers doivent agir de manière conforme aux règles de la bonne foi. De ce principe général découle notamment le droit fondamental du particulier à la protection de sa bonne foi dans ses relations avec l'État, consacré à l'art. 9 in fine Cst., dont le Tribunal fédéral contrôle librement le respect (ATF 138 I 49 consid. 8.3.1 p. 53 et les références citées).
2.3 La cour cantonale a considéré que la demande d'indemnisation du recourant aurait dû être présentée dans le cadre de la procédure au fond et ne pouvait pas faire l'objet d'une décision séparée, postérieure au jugement au fond définitif et exécutoire. Elle a déduit des art. 81 al. 4 let. b et 342 al. 4 CPP que la procédure pénale ne connaissait pas de décision sur le fond fragmentée ouvrant des possibilités d'appel distinctes et successives, mais bien un unique jugement au fond comportant le cas échéant deux volets, l'un pénal, l'autre sur l'indemnisation, si le procès avait fait l'objet d'une scission. Elle a considéré que le recourant aurait dû faire appel du jugement d'acquittement rendu le 24 mars 2011 pour se plaindre de l'absence d'indemnisation. Faute de l'avoir fait, il était forclos à requérir postérieurement, dans une procédure séparée, une telle indemnisation. L'absence d'appel équivalait à une renonciation à l'indemnisation.
2.4 On déduit de l'art. 429 CPP, en particulier de l'intervention d'office de l'autorité pénale exigée à l'alinéa 2, que celle-ci doit traiter avec le jugement pénal la question des prétentions en indemnités du prévenu acquitté. Cette solution est corroborée par l'art. 81 al. 4 let. b CPP qui prévoit en particulier que le dispositif du jugement doit contenir le prononcé relatif aux indemnités. Tout au plus, l'autorité pénale peut-elle décider de scinder les débats en application de l'art. 342 CPP et de statuer sur la question de l'indemnisation dans un second temps, après s'être prononcée sur la culpabilité. Conformément à l'art. 342 al. 4 CPP, ce n'est qu'ensuite du prononcé du jugement complet que la voie de recours (l'appel) sera ouverte.
En l'espèce, contrairement à ce qu'impose l'art. 429 al. 2 CPP, l'autorité de jugement n'a pas examiné d'office la question des indemnités et a rendu son jugement du 24 mars 2011 sans statuer à cet égard. Certes, le recourant aurait été légitimé à se plaindre d'une telle omission dans le cadre d'un appel dirigé contre le jugement d'acquittement du 24 mars 2011 (cf. WEHRENBERG/BERNHARD, in Basler Kommentar, Schweizerische Strafprozessordnung, 2011, no 32 ad art. 429 CPP). Toutefois, contrairement à l'approche de la cour cantonale, on ne saurait déduire de l'absence d'appel, une renonciation du recourant à une indemnisation.
La renonciation à une indemnisation est certes possible (cf. WEHRENBERG/BERNHARD, op. cit., no 31 ad art. 429 CPP; NIKLAUS SCHMID, Schweizerische Strafprozessordnung : Praxiskommentar, 2009, no 12 ad art. 429 CPP). Aucune renonciation expresse n'existe en l'occurrence. Un comportement passif peut le cas échéant équivaloir à une renonciation lorsque le prévenu ne réagit pas à l'invitation faite par l'autorité selon l'art. 429 al. 2 CPP de chiffrer et justifier ses prétentions (cf. WEHRENBERG/BERNHARD, ibidem). En l'espèce, à défaut de toute intervention de l'autorité, une renonciation ne saurait se déduire de la seule absence d'appel du recourant contre le jugement du 24 mars 2011.
De surcroît, la violation par l'autorité de jugement de l'examen d'office auquel elle était tenue selon l'art. 429 al. 2 CPP ne saurait avoir pour conséquence de priver le recourant de son droit à une indemnisation. Le principe de la bonne foi implique que le recourant n'a pas à subir de préjudice en raison de l'erreur de l'autorité de jugement. Seule une négligence procédurale grossière du recourant ou de son avocat pourrait faire échec au principe de la bonne foi (cf. ATF 138 I 49 consid. 8.3.1 p. 53 précité). En l'occurrence, le CPP était en vigueur depuis moins de trois mois lorsque le jugement du 24 mars 2011 a été rendu. La phase de l'instruction de la cause avait été menée sous l'égide du droit cantonal de procédure. Aucune jurisprudence n'existait quant à la procédure à suivre pour une indemnisation. Dans de telles circonstances, aucune négligence ne peut être opposée au recourant ou à son conseil de n'avoir pas formé appel contre le jugement du 24 mars 2011 pour se plaindre du non-traitement de l'indemnisation.
Il s'ensuit que la cour cantonale a violé l'art. 429 CPP en retenant que le recourant avait renoncé à toute indemnisation. La situation particulière du cas d'espèce implique de reconnaître au recourant de pouvoir faire valoir ses prétentions en indemnisation dans une procédure séparée au sens des art. 363 ss CPP, faute pour celles-ci d'avoir été traitées dans le jugement du 24 mars 2011.
3. Au vu de ce qui précède, le recours doit être admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité précédente pour nouveau jugement au sens des considérants.
4. Le recourant obtient gain de cause. Il ne supporte pas de frais (art. 65 al. 2 et 66 al. 1 LTF). Il peut prétendre à de pleins dépens (art. 68 al. 1 LTF). La requête d'assistance judiciaire est sans objet (art. 64 al. 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, le jugement attaqué est annulé et la cause renvoyée à la cour cantonale pour nouveau jugement.
2. Il n'est pas perçu de frais judiciaires.
3. L'Etat de Vaud versera au conseil du recourant la somme de 3000 fr. à titre de dépens.
4. La demande d'assistance judiciaire est sans objet.
5. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 13 novembre 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet