Faits:
A. Jugé le 11 mai 2010 par le Tribunal correctionnel de Lausanne, A.X._ a été libéré des accusations de voies de fait qualifiées, menaces qualifiées, contrainte sexuelle, actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance et violation du devoir d'assistance ou d'éducation. Il a, en revanche, été condamné pour actes d'ordre sexuel avec des enfants et viol à cinq ans et demi de peine privative de liberté.
Statuant par arrêt du 6 septembre 2010 sur le recours de A.X._, la Cour de cassation du Tribunal cantonal vaudois a annulé le jugement du 11 mai 2010 pour le motif qu'il était lacunaire et entaché de contradictions. Elle a renvoyé la cause devant le Tribunal correctionnel de la Broye et du Nord vaudois pour nouveau jugement.
Par jugement du 20 décembre 2010, le Tribunal correctionnel de la Broye et du Nord vaudois a libéré A.X._ de toutes les accusations portées contre lui.
Statuant par arrêt du 4 avril 2011 sur le recours de B.X._, fille de A.X._, la Cour de cassation vaudoise l'a admis en considérant que les caresses prodiguées par celui-ci sur le sexe de celle-là réalisaient l'infraction d'actes d'ordre sexuel avec des enfants (art. 187 CP) et a renvoyé la cause au tribunal correctionnel pour qu'il fixe la peine, statue sur les prétentions civiles de l'enfant et réexamine la question des frais de première instance en tenant compte de cette condamnation.
B. Sur la base de cet arrêt de renvoi, le Tribunal correctionnel de l'arrondissement de La Broye et du Nord vaudois a, par jugement du 22 mars 2012, condamné A.X._, pour actes d'ordre sexuel avec des enfants, à 90 jours-amende à 30 fr. le jour, peine entièrement complémentaire à celle de 90 jours-amende à 30 fr. prononcée le 9 avril 2010 par le Juge d'instruction de Lausanne et à celle de 30 jours-amende à 30 fr. prononcée le 25 janvier 2012 par le Procureur de Lausanne, sous déduction de 193 jours de détention avant jugement, suspendu l'exécution de la peine de jours-amende et fixé un délai d'épreuve de 4 ans, subordonné le sursis à la poursuite du suivi auprès du Centre de traitement en alcoologie, pris acte de la reconnaissance de dette signée par A.X._ en faveur de B.X._, réservé pour le surplus les prétentions civiles de cette dernière, fixé l'indemnité du défenseur d'office de A.X._, l'avocat Cyrille Piguet, à 1'944 fr., TVA et débours compris, et dit que le remboursement à l'Etat de dite indemnité sera exigible pour autant que la situation de A.X._ se soit améliorée.
C. Par jugement du 30 juillet 2012, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel formé par A.X._, qui tendait à l'allocation par l'Etat de Vaud d'une indemnité pour frais de défense et tort moral d'un total de 54'860 fr. 55 plus intérêt à 5 % l'an dès le 20 décembre 2010.
D. A.X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement, concluant, sous suite de dépens, principalement à sa réforme en ce sens que l'Etat de Vaud est condamné à lui verser 20'600 fr., subsidiairement 13'733 fr., plus intérêt à 5 % l'an dès le 20 décembre 2010 à titre de réparation morale et 11'947 fr. plus intérêt à 5 % l'an dès le 20 décembre 2010 à titre d'indemnité pour frais de défense. Subsidiairement, il conclut à l'annulation du jugement. Il sollicite par ailleurs l'assistance judiciaire.
Des déterminations n'ont pas été requises.
Considérant en droit:
1. Invoquant une violation des art. 135 al. 4 let. b et 429 al. 1 let. a CPP, le recourant sollicite l'allocation d'une indemnité pour frais de défense.
La procédure s'est déroulée en partie sous l'égide de l'ancien droit cantonal. La question des frais de défense est toutefois directement régie par l'art. 429 al. 1 let. a CPP (cf. arrêt 6B_618/2011 du 22 mars 2012 consid. 1.2.1; arrêt 6B_690/2012 du 13 février 2013 consid. 1.2).
Analysant les art. 135 al. 4 let. b et 429 al. 1 let. a CPP, le Tribunal fédéral a jugé que le prévenu qui n'a pas été défendu par un avocat de choix mais a bénéficié de l'assistance judiciaire pour la procédure cantonale et par ce biais d'un défenseur d'office n'a pas le droit à une indemnité pour frais de défense selon l'art. 429 al. 1 let. a CPP, l'art. 135 al. 4 CPP n'imposant pas une autre interprétation (ATF 138 IV 205 consid. 1). Il n'y a pas lieu de revenir sur cette jurisprudence, à laquelle il est renvoyé. Il s'ensuit que le recourant, qui a bénéficié de l'assistance judiciaire, ne saurait revendiquer une indemnité pour frais de défense. Son grief est infondé.
2. 2.1 Le recourant prétend avoir droit à une indemnité pour tort moral selon l'art. 429 al. 1 let. c CPP à raison de la détention provisoire de 193 jours qu'il a subie du 26 octobre au 27 novembre 2007 puis du 3 mai au 15 octobre 2010. Libéré de différents chefs d'accusation, il a finalement été condamné à 90 jours-amende. Selon lui, 103 jours doivent dès lors être indemnisés à 200 fr. le jour.
2.2 La cour cantonale n'a pas expressément examiné la question du droit applicable. Elle s'est référée au CPP pour traiter les prétentions en indemnisation du tort moral. La détention provisoire invoquée comme fondement desdites prétentions est antérieure à l'entrée en vigueur du CPP. Y compris jusqu'à l'arrêt de renvoi du 4 avril 2011 (supra, let. A), la procédure a été régie par l'ancien droit cantonal. A la suite dudit renvoi, le CPP a été appliqué pour le jugement du 22 mars 2012 puis le jugement ici attaqué. Le Tribunal fédéral a jugé que les anciennes règles cantonales matérielles restaient applicables aux prétentions en indemnisation lorsque la procédure pénale s'était entièrement déroulée sous l'égide des anciennes règles cantonales de procédure (cf. arrêt 6B_265/2012 du 10 septembre 2012 consid. 2.2). Cette jurisprudence est sans portée en l'occurrence dès lors que la procédure pénale n'a pas entièrement été régie par l'ancien droit cantonal mais s'est achevée sous le nouveau droit. La doctrine est d'avis que les prétentions en indemnisation sont régies par le droit applicable au moment du déroulement des actes de procédure litigieux (cf. NIKLAUS SCHMID, Übergangsrecht der Schweizerischen Strafprozessordnung, 2010, n° 357 p. 100, n° 369 p. 103 et n° 373 p. 104). Elle évoque l'application immédiate du nouveau droit par simplification lorsqu'il n'est pas plus défavorable que l'ancien droit (cf. SCHMID, op. cit., n° 362 p. 101 et n° 374 p. 105). En l'espèce, le recourant ne conteste pas l'application du CPP ni ne laisse entendre qu'il lui serait moins favorable que l'ancien droit cantonal, ce qui ne paraît pas être le cas (cf. art. 163a CPP/VD, disposition qui permettait le cas échéant d'exclure l'indemnisation du prévenu acquitté qui avait provoqué ou compliqué fautivement la procédure). Il s'ensuit que l'application du CPP par la cour cantonale ne prête pas le flanc à la critique.
2.3 L'art. 429 al. 1 let. c CPP prévoit que si le prévenu est acquitté totalement ou en partie, il a droit à une réparation du tort moral subi en raison d'une atteinte particulièrement grave à sa personnalité, notamment en cas de privation de liberté. Selon l'art. 430 al. 1 let. a CPP, l'autorité peut refuser la réparation du tort moral dans le cas où le prévenu a provoqué illicitement et fautivement l'ouverture de la procédure ou a rendu plus difficile la conduite de celle-ci.
L'art. 430 al. 1 let. a CPP qui permet de refuser une indemnisation est le pendant de l'art. 426 al. 2 CPP en matière de frais, cette dernière disposition permettant de mettre tout ou partie des frais à la charge du prévenu acquitté s'il a de manière illicite et fautive provoqué l'ouverture de la procédure ou rendu plus difficile la conduite de celle-ci. Il est dès lors adéquat de se référer à la jurisprudence rendue en matière de condamnation aux frais du prévenu acquitté (cf. infra consid. 2.5.2).
2.4 Le recourant relève que seul un tiers des frais a été mis à sa charge, le reste étant laissé à la charge de l'Etat. Il en déduit qu'il a au moins droit à une indemnisation de son tort moral équivalant aux deux tiers de ce qu'il réclame.
Comme relevé (supra consid. 2.3 in fine), il existe une correspondance entre les art. 426 al. 2 et 430 al. 1 let. a CPP. Selon l'arrêt publié aux ATF 137 IV 352 consid. 2.4.2, en cas de condamnation aux frais, il n'y a pas lieu d'envisager une indemnisation du prévenu notamment pour tort moral, alors que lorsque les frais sont supportés par l'Etat en tout ou partie, une indemnisation entre en ligne de compte dans la même proportion.
En l'espèce, le jugement de première instance du 22 mars 2012 a mis les frais à la charge du recourant à raison d'un tiers, le solde étant laissé à la charge de l'Etat. Ce jugement ne s'est cependant pas prononcé sur une indemnisation du tort moral en vertu de l'art. 429 al. 1 let. c CPP. Cette question a uniquement et pour la première fois été traitée dans le cadre de l'appel du recourant. Dès lors que l'appel émanait du seul recourant, la cour cantonale ne pouvait pas revoir au détriment de celui-ci les frais tels qu'arrêtés en première instance mais devait uniquement se prononcer sur l'indemnité pour tort moral réclamée. Dans ces conditions, le recourant n'est pas fondé à invoquer sur la base de la mise des frais à charge de l'Etat à raison de deux tiers en première instance qu'il a droit à une indemnité dans la même proportion pour le tort moral.
En l'espèce, le jugement de première instance du 22 mars 2012 a mis les frais à la charge du recourant à raison d'un tiers, le solde étant laissé à la charge de l'Etat. Ce jugement ne s'est cependant pas prononcé sur une indemnisation du tort moral en vertu de l'art. 429 al. 1 let. c CPP. Cette question a uniquement et pour la première fois été traitée dans le cadre de l'appel du recourant. Dès lors que l'appel émanait du seul recourant, la cour cantonale ne pouvait pas revoir au détriment de celui-ci les frais tels qu'arrêtés en première instance mais devait uniquement se prononcer sur l'indemnité pour tort moral réclamée. Dans ces conditions, le recourant n'est pas fondé à invoquer sur la base de la mise des frais à charge de l'Etat à raison de deux tiers en première instance qu'il a droit à une indemnité dans la même proportion pour le tort moral.
2.5 2.5.1 Le recourant se réfère à l'arrêt de la Cour de cassation cantonale du 4 avril 2011 dont il cite des passages. Sur leur base, il conteste avoir causé illicitement et fautivement l'ouverture de l'enquête pénale. En particulier, il déduit de la mention dans le jugement attaqué du rapport gynécologique faisant état d'une lésion de l'hymen de l'enfant que la cour cantonale a ainsi sous-entendu qu'il était l'auteur d'un abus sexuel sur sa fille et a par conséquent violé la présomption d'innocence.
2.5.2 La condamnation d'un prévenu acquitté à supporter tout ou partie des frais, respectivement le refus de lui allouer une indemnisation à raison du préjudice subi par la procédure pénale, doit respecter la présomption d'innocence, consacrée par les art. 32 al. 1 Cst. et 6 par. 2 CEDH. Celle-ci interdit de rendre une décision défavorable au prévenu libéré en laissant entendre que ce dernier serait néanmoins coupable des infractions qui lui étaient reprochées. Une condamnation aux frais, respectivement un refus d'indemnisation, n'est ainsi admissible que si le prévenu a provoqué l'ouverture de la procédure pénale dirigée contre lui ou s'il en a entravé le cours. A cet égard, seul un comportement fautif et contraire à une règle juridique entre en ligne de compte (cf. arrêt 6B_331/2012 du 22 octobre 2012 consid. 2.3).
Pour déterminer si le comportement en cause est propre à justifier l'imputation des frais ou le refus d'une indemnité, le juge peut prendre en considération toute norme de comportement écrite ou non écrite résultant de l'ordre juridique suisse pris dans son ensemble, dans le sens d'une application par analogie des principes découlant de l'art. 41 CO (ATF 119 la 332 consid. 1 b p. 334; 116 la 162 consid. 2c p. 169). Le fait reproché doit constituer une violation claire de la norme de comportement (ATF 119 la 332 consid. 1 b p. 334; 116 la 162 consid. 2d p. 171).
2.5.3 Contrairement à ce qu'indique le recourant, la référence au rapport gynécologique par la cour cantonale (cf. jugement p. 13 et 14) ne permet pas de retenir qu'elle aurait de la sorte laissé entendre que celui-ci était coupable d'une infraction contre l'intégrité sexuelle (viol ou contrainte sexuelle). La mention du rapport est uniquement intervenue dans la description par la cour cantonale du déroulement de la procédure. De la sorte, elle n'a nullement violé la présomption d'innocence.
2.5.4 Le recourant s'est vu reprocher les infractions réprimées par les art. 187, 189, 190, 191 et 219 CP pour des actes commis à l'encontre de sa fille décrits sous ch. 2 à 5 de l'ordonnance de renvoi du 30 octobre 2008, aggravée à deux reprises (cf. jugement p. 4 et 5). Les différentes infractions reprochées reposaient sur des faits distincts décrits dans l'ordonnance de renvoi mais qui étaient étroitement intriqués, dès lors qu'ils concernaient le comportement du recourant à l'égard de sa fille. Le recourant a été condamné en vertu de l'art. 187 CP et libéré des autres infractions.
La cour cantonale a retenu qu'en exposant sa fille à la violence conjugale, à son alcoolisme et à des comportements sexuellement ambigus, le recourant avait violé ses obligations découlant du droit de la famille, en particulier des art. 301 et 302 al. 1 CC. Elle a relevé que le recourant avait compromis le développement de sa fille en la mettant trop rapidement dans une place d'adulte du point de vue de la sexualité, en la mêlant à des violences conjugales et en n'ayant pas la bonne distance relationnelle avec elle. Son comportement illicite était à l'origine de la procédure pénale, ce qui excluait le droit à une indemnité.
Le recourant ne remet pas en cause, tout du moins pas de manière recevable sous l'angle de l'art. 106 al. 2 LTF, les faits retenus par la cour cantonale selon lesquels il avait exposé sa fille à la violence conjugale, à son alcoolisme et à ses comportements sexuellement ambigus. La cour a en particulier décrit les comportements sexuellement ambigus (cf. jugement p. 12) et relevé que le recourant avait lui-même admis avoir fait « une énorme bêtise » (cf. jugement p. 14 in initio). Sur la base de ces différents éléments, il n'est pas contestable que le recourant a failli à ses obligations civiles à l'égard de sa fille, en particulier telles qu'elles résultent de l'art. 302 al. 1 CC. Le comportement sexuellement ambigu du recourant envers sa fille a clairement été à l'origine de la procédure pénale et était susceptible de jouer un rôle dans l'examen des différentes infractions reprochées. Un tel comportement était propre à faire naître, selon le cours ordinaire des choses et l'expérience de la vie, le soupçon d'infractions justifiant l'ouverture d'une enquête pénale. Dans ces conditions, l'application de l'art. 430 al. 1 let. a CPP ne prête pas le flanc à la critique.
2.6 Le recourant est d'avis que l'application de l'art. 430 al. 1 let. a CPP n'aurait pas dû conduire à une suppression de l'indemnisation mais uniquement à une réduction.
L'autorité cantonale jouit d'un large pouvoir d'appréciation (cf. WEHRENBERG/BERNHARD, in Basler Kommentar, Schweizerische Strafprozessordnung, 2011, n° 10 ad art. 430 CPP). En l'espèce, au vu du comportement du recourant justifiant l'application de l'art. 430 al. 1 let. a CPP (cf. supra consid. 2.5.4), la cour cantonale n'a pas abusé de son pouvoir d'appréciation en refusant l'octroi d'une indemnité. Le grief est infondé.
3. Le recours doit être rejeté. Comme les conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (art. 64 al. 1 LTF). Le recourant devra donc supporter les frais (art. 66 al. 1 LTF), dont le montant sera toutefois fixé en tenant compte de sa situation financière.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 4 mars 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet