Faits:
A. Par jugement du 4 novembre 2008, le Tribunal correctionnel de l'arrondissement de La Broye et du Nord vaudois a reconnu X._ coupable de lésions corporelles simples qualifiées, de voies de faits qualifiées, de menaces, de menaces qualifiées, d'actes d'ordre sexuel avec un enfant et de contrainte sexuelle. Il l'a condamné à une peine privative de liberté de 3 ans, sous déduction de 95 jours de détention préventive, a suspendu l'exécution d'une partie de cette peine à raison de 18 mois et a fixé un délai d'épreuve de 5 ans.
Nonobstant les dénégations de X._, cette autorité a retenu qu'en date du 25 avril 2007 en fin d'après-midi, alors qu'il se trouvait dans l'appartement familial et qu'il avait consommé passablement d'alcool, celui-ci avait demandé à ses deux enfants cadets d'aller jouer à l'extérieur. Il avait ensuite demandé à Y._, sa fille aînée née le 11 mars 1994, de le rejoindre dans le hall d'entrée. Il l'avait alors immédiatement saisie par le menton, lui avait prodigué un baiser lingual et l'avait dévêtue complètement. Il avait ensuite enlevé son pantalon et ses sous-vêtements, avait passé ses bras autour de sa fille de manière à la maintenir près de lui, puis avait frotté son sexe en érection contre son pubis jusqu'à éjaculation. Il avait enfin essuyé son sperme tombé sur le sol avec un chiffon à vaisselle et avait menacé sa fille de la tuer au cas où elle parlerait à quiconque de ce qui venait de se passer. Les premiers juges ont fondé leur conviction sur le fait que la jeune victime avait immédiatement réagi en téléphonant à sa mère qui était au travail. En pleurs, elle s'était aussi confiée à son frère et à sa s?ur. Une fois la mère revenue du travail, la victime avait tout révélé avec émotion et avait contacté la police le lendemain pour déposer plainte contre son père. Le récit de l'enfant était en outre corroboré par des traces du sperme de son père retrouvées sur le sol, là où elle avait indiqué que l'abus s'était produit, à proximité immédiate de la porte d'entrée, ainsi que sur le chiffon dont il s'était servi pour essuyer cette surface. X._ n'avait pas été en mesure de fournir d'explication crédible à l'existence de ces traces et à leurs emplacements.
B. Par acte du 13 avril 2011, X._ a requis la révision de ce jugement. A l'appui de sa demande, il a transmis un courrier daté du 4 janvier 2011 dans lequel sa fille Y._ indique, au sujet des actes d'ordre sexuel subis, notamment que "du début à la fin c'était des mensonges" et qu'elle ne voulait "pas que [son] père soit puni par [sa] faute" ni "perdre [sa] famille et c'est pour cette raison qu'[elle] demande de tout arrêter".
C. Par jugement du 11 mai 2011, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté la demande de révision.
D. X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement, dont il conclut, sous suite de dépens, à l'annulation et au renvoi de la cause en instance cantonale.
Il a également sollicité l'assistance judiciaire. Par ordonnance du 15 septembre 2011, le Président de la Cour de céans a rejeté cette requête. X._ s'est ensuite acquitté de l'avance de frais requise et a derechef conclu à l'octroi de l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Le recourant se plaint d'une violation des <ref-law> et 385 CP.
1.1 Il relève que le courrier de sa fille du 4 janvier 2011 constitue un fait nouveau. Selon lui, les nouvelles déclarations de sa fille sont sérieuses. Celle-ci aurait dû être entendue. Les dires de son épouse corroborant les propos de leur fille auraient aussi dû être pris en compte.
1.2 La demande de révision et la décision attaquée sont postérieures à l'entrée en vigueur du CPP. Il s'ensuit que les règles de compétence et de procédure des <ref-law> s'appliquent. Les motifs de révision pertinents sont en revanche ceux prévus par le droit applicable au moment où la décision dont la révision est demandée a été rendue. Cette réserve est toutefois sans portée s'agissant d'une révision en faveur du condamné, le motif de révision prévu à l'<ref-law> correspondant à celui de l'<ref-law> (arrêts 6B_683/2011 du 21 novembre 2011 consid. 4.1; 6B_310/2011 du 20 juin 2011 consid. 1.1 et références citées).
L'<ref-law> prévoit notamment que toute personne lésée par un jugement entré en force peut en demander la révision s'il existe des faits ou des moyens de preuve qui étaient inconnus de l'autorité inférieure et qui sont de nature à motiver l'acquittement ou une condamnation sensiblement moins sévère du condamné.
Cette disposition reprend en particulier la double exigence posée par l'<ref-law> selon laquelle les faits ou moyens de preuve invoqués doivent être nouveaux et sérieux (cf. Message relatif à l'unification du droit de la procédure pénale du 21 décembre 2005, FF 2006 1303 ad art. 417 [actuel <ref-law>]; THOMAS FINGERHUTH, in Kommentar zur StPO, 2010, n. 54 ss et 61 ss ad <ref-law>; MARIANNE HEER, in Basler Kommentar, Schweizerische Strafprozessordnung, 2011, n. 46 ss et 65 ss ad <ref-law>).
Les faits ou moyens de preuve sont nouveaux lorsque le juge n'en a pas eu connaissance au moment où il s'est prononcé, c'est-à-dire lorsqu'ils ne lui ont pas été soumis sous quelque forme que ce soit. Ils sont sérieux lorsqu'ils sont propres à ébranler les constatations de fait sur lesquelles se fonde la condamnation et que l'état de fait ainsi modifié rend possible un jugement sensiblement plus favorable au condamné (<ref-ruling> consid. 1 p. 73).
Savoir si l'autorité cantonale s'est fondée sur une juste conception de faits ou de moyens de preuve nouveaux et sérieux et si la modification, le cas échéant, de l'état de fait sur lequel repose la condamnation est de nature à entraîner une décision plus favorable au condamné relève du droit. En revanche, déterminer si un fait ou un moyen de preuve était effectivement inconnu du juge relève de l'établissement des faits. Il en va de même de la question de savoir si un fait ou un moyen de preuve nouveau est propre à modifier l'état de fait retenu, puisqu'elle relève de l'appréciation des preuves, étant rappelé qu'une vraisemblance suffit au stade du rescindant (<ref-ruling> consid. 1 p. 73).
1.3 En l'espèce, la cour cantonale a exclu que les nouvelles déclarations de la victime invoquées par le recourant constituent un moyen de preuve nouveau. Elle s'est référée à un passage du message du Conseil fédéral, selon lequel "le fait survenu après le jugement dont la révision est demandée n'est pas considéré comme inconnu" (FF 2006 p. 1303). Le passage précité n'a pas la portée que lui prête la cour cantonale. Tout au plus exclut-il un fait qui n'existait pas au moment du jugement et qui survient ensuite. N'est en revanche concerné ni le moyen de preuve découvert postérieurement au jugement ni le fait qui existait déjà au moment du jugement mais qui n'a été révélé qu'ensuite. Un tel moyen de preuve ou un tel fait sont quant à eux nouveaux. L'approche cantonale quant au caractère nouveau est donc erronée. Cela ne justifie toutefois pas en soi l'admission du recours dès lors que la cour cantonale a également rejeté la demande de révision au motif que le moyen de preuve offert n'était pas sérieux.
Sur ce dernier point, la cour cantonale a considéré que les nouvelles déclarations de la victime n'étaient pas de nature à ébranler les constatations de fait des premiers juges. Elle s'est déclarée non convaincue par ces déclarations car la fille du recourant exprimait avant tout son inquiétude que ce dernier soit expulsé de Suisse et déplorait les conséquences pour sa mère et ses frère et s?ur. Selon la cour, il était notoire que les victimes au sein d'une famille, nonobstant ce qu'elles avaient subi, se sentaient injustement à l'origine des désagréments causés au reste de la famille et que, ployant sous le poids de cette fausse responsabilité, revenaient sur leurs déclarations. La cour a ajouté que les dires de la victime n'étaient pas le seul élément qui avait fondé la condamnation. Les circonstances de la révélation des faits par la victime, la découverte des traces de sperme à l'endroit désigné par cette dernière et l'incapacité du recourant à fournir une explication avaient également emporté la conviction des premiers juges (cf. jugement attaqué, p. 5).
En niant que le nouveau moyen de preuve soit de nature à ébranler les faits sur lesquels repose la condamnation du recourant, la cour cantonale a tranché une question de fait (cf. supra consid. 1.2 in fine).
1.4 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. La partie recourante ne peut ainsi critiquer ces faits que s'ils ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (sur cette notion, cf. <ref-ruling> consid. 2.4 p. 5; 58 consid. 4.1.2 p. 62), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 4.2.3 p. 5).
Le recourant se borne à mettre en avant les nouvelles déclarations de sa fille. Il ne cherche pas à démontrer en quoi les différents éléments exposés par la cour cantonale pour nier que lesdites déclarations puissent ébranler les faits à l'origine de la condamnation procéderaient d'une appréciation arbitraire des preuves, même sous l'angle de la seule vraisemblance. Purement appellatoire, l'argumentation du recourant est irrecevable.
1.5 Le recourant évoque aussi que sa fille et son épouse auraient dû être entendues en application de l'<ref-law>.
Selon cette disposition, la juridiction d'appel détermine les compléments de preuve à administrer et les compléments à apporter au dossier. On comprend de la solution du jugement attaqué que la cour cantonale n'a pas considéré comme utile de procéder à une mesure d'instruction dès lors qu'elle considérait les nouvelles déclarations de la fille comme inaptes à ébranler les faits à l'origine de la condamnation. En ce sens, elle n'a pas violé l'<ref-law> ni le droit d'être entendu du recourant (sur la conformité d'une appréciation anticipée des preuves à la lumière de ce droit, cf. <ref-ruling> consid. 5.3 p. 236-237).
2. Il s'ensuit que le recours doit être rejeté dans la mesure où il est recevable. Les conclusions étaient vouées à l'échec. L'assistance judiciaire ne peut partant être accordée au recourant (<ref-law>). Celui-ci supportera les frais de la procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 29 novembre 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod