Faits: A. Par jugement du 4 novembre 2008, le Tribunal correctionnel de l'arrondissement de La Broye et du Nord vaudois a reconnu X._ coupable de lésions corporelles simples qualifiées, de voies de faits qualifiées, de menaces, de menaces qualifiées, d'actes d'ordre sexuel avec un enfant et de contrainte sexuelle. Il l'a condamné à une peine privative de liberté de 3 ans, sous déduction de 95 jours de détention préventive, a suspendu l'exécution d'une partie de cette peine à raison de 18 mois et a fixé un délai d'épreuve de 5 ans. Nonobstant les dénégations de X._, cette autorité a retenu qu'en date du 25 avril 2007 en fin d'après-midi, alors qu'il se trouvait dans l'appartement familial et qu'il avait consommé passablement d'alcool, celui-ci avait demandé à ses deux enfants cadets d'aller jouer à l'extérieur. Il avait ensuite demandé à Y._, sa fille aînée née le 11 mars 1994, de le rejoindre dans le hall d'entrée. Il l'avait alors immédiatement saisie par le menton, lui avait prodigué un baiser lingual et l'avait dévêtue complètement. Il avait ensuite enlevé son pantalon et ses sous-vêtements, avait passé ses bras autour de sa fille de manière à la maintenir près de lui, puis avait frotté son sexe en érection contre son pubis jusqu'à éjaculation. Il avait enfin essuyé son sperme tombé sur le sol avec un chiffon à vaisselle et avait menacé sa fille de la tuer au cas où elle parlerait à quiconque de ce qui venait de se passer. Les premiers juges ont fondé leur conviction sur le fait que la jeune victime avait immédiatement réagi en téléphonant à sa mère qui était au travail. En pleurs, elle s'était aussi confiée à son frère et à sa s?ur. Une fois la mère revenue du travail, la victime avait tout révélé avec émotion et avait contacté la police le lendemain pour déposer plainte contre son père. Le récit de l'enfant était en outre corroboré par des traces du sperme de son père retrouvées sur le sol, là où elle avait indiqué que l'abus s'était produit, à proximité immédiate de la porte d'entrée, ainsi que sur le chiffon dont il s'était servi pour essuyer cette surface. X._ n'avait pas été en mesure de fournir d'explication crédible à l'existence de ces traces et à leurs emplacements. B. Par acte du 13 avril 2011, X._ a requis la révision de ce jugement. A l'appui de sa demande, il a transmis un courrier daté du 4 janvier 2011 dans lequel sa fille Y._ indique, au sujet des actes d'ordre sexuel subis, notamment que "du début à la fin c'était des mensonges" et qu'elle ne voulait "pas que [son] père soit puni par [sa] faute" ni "perdre [sa] famille et c'est pour cette raison qu'[elle] demande de tout arrêter". C. Par jugement du 11 mai 2011, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté la demande de révision. D. X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement, dont il conclut, sous suite de dépens, à l'annulation et au renvoi de la cause en instance cantonale. Il a également sollicité l'assistance judiciaire. Par ordonnance du 15 septembre 2011, le Président de la Cour de céans a rejeté cette requête. X._ s'est ensuite acquitté de l'avance de frais requise et a derechef conclu à l'octroi de l'assistance judiciaire. Il n'a pas été ordonné d'échange d'écritures.