Faits:
A. Par jugement du 27 juin 2008, le Tribunal criminel de l'arrondissement de l'Est vaudois a notamment condamné X._ pour meurtre et assassinat à la peine privative de liberté à vie. Il lui était reproché d'avoir tué sa mère, A._, et d'avoir assassiné sa s?ur, B._, ainsi que C._.
Par arrêt du 29 octobre 2008, la Cour de cassation pénale du canton de Vaud a rejeté le recours de X._ contre ce jugement.
X._ a formé un recours au Tribunal fédéral (réf. 6B_118/2009), recours dont l'instruction est actuellement suspendue.
B. Par arrêt du 23 novembre 2009, la Chambre des révisions civiles et pénales du canton de Vaud a admis la demande de révision déposée par X._ et renvoyé la cause au Tribunal criminel de l'arrondissement de Lausanne pour nouvelle instruction et nouveau jugement.
Suite à une nouvelle instruction complète de la cause, cette autorité a, par jugement du 18 mars 2010, notamment confirmé la condamnation de X._ pour meurtre et assassinat à la peine privative de liberté à vie.
Par arrêt du 4 octobre 2010, la Cour de cassation pénale du canton de Vaud a rejeté le recours de X._ contre ce jugement.
X._ a formé un recours en matière pénale contre le jugement du 18 mars 2010 et l'arrêt du 4 octobre suivant (réf. 6B_12/2011), recours actuellement pendant.
C. Par jugement du 16 août 2011, la Cour d'appel pénale du canton de Vaud a rejeté, dans la mesure de sa recevabilité, la demande de révision formée par X._ le 22 juin 2011. En bref, cette autorité a estimé que les faits entourant les ciseaux invoqués à l'appui de la demande de révision (emplacement, traces s'y trouvant, etc.) n'étaient pas des éléments inconnus de l'autorité inférieure pouvant donner lieu à une révision au sens de l'art. 410 al. 1 let. a CPP.
D. X._ forme un recours en matière pénale contre ce jugement. Il conclut à l'annulation de cette décision et au renvoi de la cause à l'autorité précédente pour qu'elle ordonne la révision demandée, subsidiairement pour qu'elle rende une nouvelle décision au sens des considérants. Il requiert également la récusation des juges ayant rendu antérieurement des décisions en sa défaveur.
Aucun échange d'écritures n'a été ordonné.
Considérant en droit:
1. Le recourant requiert la récusation des juges fédéraux ayant rendu antérieurement des décisions en sa défaveur, dont quatre désignés nommément. Cette demande est manifestement mal fondée dès lors que la participation à une procédure antérieure devant le Tribunal fédéral ne constitue pas un motif de récusation d'un juge, en vertu du texte clair de l'art. 34 al. 2 LTF, si elle ne s'accompagne pas d'autres éléments qui permettraient de tenir l'un des motifs de récusation précisés à l'art. 34 al. 1 LTF pour réalisés. Or, le recourant ne fait valoir aucune circonstance de ce genre. Dans ces conditions, les art. 6 par. 1 CEDH, 58 Cst., 21 al. 2 et al. 3 CPP, invoqués par le recourant, ne lui sont d'aucun secours.
2. Le Tribunal fédéral apprécie d'office et librement la recevabilité des recours qui lui sont soumis (ATF 136 II 470 consid. 1 p. 472).
2.1 Il n'examine, en général, que les questions juridiques que la partie recourante soulève conformément aux exigences légales relatives à la motivation du recours (art. 42 al. 2 LTF; ATF 135 I 91 consid. 2.1 p. 93). Afin de satisfaire à cette obligation, le recourant doit discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (cf. ATF 134 V 53 consid. 3.3 p. 60; 134 II 244 consid. 2.1 p. 245 s.). Le renvoi à une demande de révision est ainsi irrecevable (cf. arrêt 6B_377/2011 du 23 septembre 2011 consid. 4).
De plus, le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux que s'ils ont été invoqués et motivés de manière précise (art. 106 al. 2 LTF). L'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits violés et préciser en quoi consiste la violation (ATF 136 I 65 consid. 1.3.1 p. 68).
2.2 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. La partie recourante ne peut ainsi critiquer ces faits que s'ils ont été établis en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (sur cette notion, cf. ATF 137 I 1 consid. 2.4 p. 5; 58 consid. 4.1.2 p. 62), et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
Le recourant invoque de nombreux faits qui ne ressortent pas de l'arrêt entrepris. Faute pour lui de démontrer, conformément aux exigences posées par l'art. 106 al. 2 LTF, en quoi leur omission serait arbitraire, cela tant dans la motivation que dans le résultat de la décision, il ne peut en être tenu compte. Il en va en particulier des faits exposés en pages 6 à 9 du recours.
3. Le recourant dénonce une violation de son droit d'être entendu. En l'absence de motivation conforme aux exigences précitées (cf. supra consid. 2.1 in fine), son grief est irrecevable.
4. Dans une argumentation confuse, le recourant estime que la décision entreprise, rejetant sa demande de révision, est arbitraire à plusieurs égards.
4.1 La demande de révision et la décision attaquée sont postérieures à l'entrée en vigueur du CPP. Il s'ensuit que les règles de compétence et de procédure des art. 410 ss CPP s'appliquent. Les motifs de révision pertinents sont en revanche ceux prévus par le droit applicable au moment où la décision dont la révision est demandée a été rendue. Cette réserve est toutefois sans portée s'agissant d'une révision en faveur du condamné, le motif de révision prévu à l'art. 410 al. 1 let. a CPP correspondant à celui de l'art. 385 CP (arrêt 6B_310/2011 du 20 juin 2011 consid. 1.1 et références citées).
4.2 L'art. 410 al. 1 let. a CPP permet à toute personne lésée par un jugement entré en force d'en demander la révision s'il existe des faits ou des moyens de preuve qui étaient inconnus de l'autorité inférieure et qui sont de nature à motiver l'acquittement ou une condamnation sensiblement moins sévère du condamné.
Cette disposition reprend la double exigence posée par l'art. 385 CP selon laquelle les faits ou moyens de preuve invoqués doivent être nouveaux et sérieux (cf. Message relatif à l'unification du droit de la procédure pénale du 21 décembre 2005, FF 2006 1303 ad art. 417 [actuel art. 410 CPP]).
4.2.1 Les faits ou moyens de preuve sont inconnus lorsque le juge n'en a pas eu connaissance au moment où il s'est prononcé, c'est-à-dire lorsqu'ils ne lui ont pas été soumis sous quelque forme que ce soit (ATF 137 IV 59 consid. 5.1.2 p. 66 - 67). Cette condition n'est pas remplie lorsque le juge, les ayant examinés, n'en a pas déduit les conclusions qu'il fallait ou n'a pas pris conscience de ce que le fait ou le moyen de preuve devait démontrer (ATF 122 IV 66 consid. 2b p. 68).
Pour que l'on puisse se convaincre qu'un élément de preuve ressortant du dossier est resté inconnu du juge, il faut tout d'abord que cet élément soit à ce point probant, sur une question décisive, que l'on ne puisse imaginer que le juge ait statué dans le même sens s'il en avait pris connaissance. S'il y a matière à appréciation et discussion, cela exclut que l'inadvertance soit manifeste. Cette première condition ne suffit cependant pas, parce que cela permettrait de se plaindre en tout temps d'une appréciation arbitraire des preuves non explicitée. Il faut encore que des circonstances particulières montrent que cette situation est due à l'ignorance du moyen de preuve, et non pas à l'arbitraire. Cette question doit être examinée de cas en cas, en tenant compte, non pas seulement de la teneur du jugement critiqué, mais de l'ensemble des circonstances. Celles-ci doivent faire apparaître à l'évidence que le juge n'a pas eu connaissance d'un moyen de preuve figurant à la procédure. Dans le doute, on doit supposer qu'il a pris connaissance de toutes les pièces du dossier (ATF 122 IV 66 consid. 2b p. 69; MARIANNE HEER, in Basler Kommentar, Schweizerische Strafprozessordnung, 2011, n. 41 ad art. 410 CPP; NIKLAUS SCHMID, Handbuch des schweizerischen Strafprozessrechts, 2009, n. 1594 p. 727-728).
4.2.2 Le recourant ne peut se prévaloir de la violation de la présomption d'innocence dans le cadre de la procédure de révision (ATF 114 IV 138 consid. 2b p. 141; plus récemment arrêt 6P.141/2005 du 24 janvier 2006 consid. 4.2). Il lui appartient au contraire d'établir que les conditions d'une révision sont données (HEER, op. cit., n. 1 ad art. 412 CPP; SCHMID, op. cit., n. 1608 p. 735).
4.2.3 Déterminer si un fait ou un moyen de preuve était effectivement inconnu du juge est une question de fait qui ne peut être revue que sous l'angle de l'arbitraire dans l'établissement des faits ou l'appréciation des preuves (cf. ATF 130 IV 72 consid. 1 p. 73).
4.3 Que ce soit sous le nouveau ou l'ancien droit, seule une décision entrée en force peut faire l'objet d'une demande de révision (respectivement art. 410 al. 1 CPP; STEPHAN GASS, Basler Kommentar, Strafrecht II, 2007, n. 69 ad art. 385 CP; STEFAN TRECHSEL/VIKTOR LIEBER, Schweizerisches Strafgesetzbuch Praxiskommentar, 2008, n. 5 ad art. 385 CP; en droit vaudois: BOVAY ET AL., Procédure pénale vaudoise, 3e éd. 2008, n° 1.4 ad art. 455 aCPP/VD). L'autorité précédente a laissé indécise la question de savoir si le jugement du 18 mars 2010 était entré en force, ce malgré la procédure actuellement pendante devant le Tribunal fédéral contre l'arrêt rejetant le recours à son encontre. Faute de tout grief à ce sujet et au vu de ce qui suit, cette question peut rester ouverte.
4.4 Le recourant soutient que les "pièces essentielles" du dossier pénal se contredisent quant à l'emplacement exact où a été retrouvée la paire de ciseaux. Selon lui, cette incohérence constitue un élément nouveau et sérieux dont le Tribunal d'arrondissement n'avait pas connaissance. Cet élément n'a par ailleurs pas été traité, ce de manière arbitraire, par l'autorité précédente.
4.4.1 Ce dernier argument est infondé. L'autorité précédente a examiné cette question en relevant que les différents documents cités par le recourant, afin de soutenir que les ciseaux avaient été décrits comme placés à différents endroits, étaient, comme l'indique d'ailleurs celui-ci, des pièces essentielles du dossier, soit des rapports officiels de police et du médecin légiste. Selon elle, il ne faisait dès lors pas de doute qu'il s'agissait là des premiers documents à être examinés par un tribunal. La quasi-totalité de ces documents étaient par ailleurs cités dans le jugement du Tribunal d'arrondissement de Lausanne. L'autorité précédente a ainsi conclu que ces pièces étaient connues de ce tribunal et dès lors que les descriptions de l'emplacement des ciseaux contenues dans celles-ci n'étaient pas nouvelles. Elle a également jugé qu'il n'y avait pas de raison de penser qu'à la lecture de l'ensemble des pièces précitées, les juges auraient forcément douté de l'emplacement de la paire de ciseaux (arrêt entrepris, ch. 3.3, p. 8-9). Ce faisant, elle a estimé que les éléments invoqués par le recourant n'étaient pas à ce point probants, sur une question décisive, que l'on ne puisse imaginer que le juge ait statué dans le même sens s'il en avait pris connaissance.
4.4.2 En niant le caractère inconnu des éléments invoqués, l'autorité précédente a tranché une question de fait (cf. supra consid. 4.2.3). Le recourant critique cette appréciation, sans toutefois en démontrer le caractère insoutenable. Il n'établit ainsi pas qu'il était inimaginable que le juge puisse statuer comme il l'a fait en connaissant les éléments invoqués. En effet, au vu de la position du corps de A._, dont une partie se trouvait en suspension au dessus de l'endroit où étaient placés les ciseaux, la description de leur positionnement par rapport au corps était difficile. Il n'est toutefois pas même vraisemblable que de telles variations dans cette description, eussent-elles été inconnues du Tribunal d'arrondissement de Lausanne, aient été propres à modifier l'état de fait retenu. Les auteurs des documents cités décrivent certes de manière différente, mais non contradictoire, une même réalité, soit l'emplacement des ciseaux tel qu'il ressort de la scène du crime, immortalisée de manière indiscutable par les photographies détaillées prises lors de la découverte des cadavres, le 4 janvier 2006 (pièce 220, notamment photographies 14 et 15). Ces pièces établissent ainsi que les ciseaux, photographiés sous différents angles de vue, se trouvaient bel et bien sous la fesse du cadavre de A._ - même si cette partie du corps n'était pas elle-même en contact avec le sol où se trouvaient les ciseaux - et étaient difficilement visibles (pièce 220, photos 14 et 15). Que tous les moyens de preuve à disposition de l'autorité inférieure ne mentionnent pas systématiquement la présence des ciseaux n'est pas propre à remettre ce fait en question.
Au surplus, le recourant n'établit pas l'existence de circonstances particulières permettant de convaincre que l'appréciation du Tribunal d'arrondissement de Lausanne sur cette question est due non pas à un soi-disant arbitraire mais à l'ignorance prétendue des éléments invoqués. Le seul fait que - selon l'interprétation tronquée que le recourant donne des pièces citées - ces éléments apparaissent contradictoires entre eux ou fassent naître un "doute" quant à l'existence même des ciseaux, leur emplacement ou l'authenticité des photographies les montrant sous le corps de A._, n'est à cet égard pas suffisant. Tel n'est pas non plus le cas d'autres détails de la procédure sans rapport avec les ciseaux - par exemple la couleur de la chemise de nuit de A._ - censés démontrer un "manque de certitude et de constance dans les rapports des enquêteurs" (recours, p. 22).
Le recourant n'établit ainsi pas qu'il était arbitraire de considérer que les descriptions relatives à l'emplacement des ciseaux, résultant des pièces du dossier soumis à l'autorité inférieure, étaient connues de cette dernière.
4.5 Le recourant invoque comme autre moyen de preuve prétendument nouveau et sérieux "la contradiction du lien" entre la date du dépôt de son ADN sur les ciseaux et la date du drame. Il soutient que cet élément n'aurait pas été traité, ce de manière arbitraire, par l'autorité précédente.
Cette autorité a examiné ce moyen et considéré qu'il ne s'agissait pas là d'un argument nouveau. Il avait en effet déjà été soulevé contre le jugement du Tribunal d'arrondissement de l'Est vaudois (arrêt entrepris, p. 9), auquel s'est référé à de multiples reprises le jugement dont la révision est demandée.
Le recourant n'expose pas concrètement dans quelle mesure cette appréciation serait arbitraire. Il ne cite notamment pas un élément, dont il démontre qu'il aurait été inconnu du Tribunal d'arrondissement de Lausanne. On ne peut dès lors que s'en tenir à l'appréciation de l'autorité précédente que cet élément n'était pas inconnu du Tribunal d'arrondissement de Lausanne et que dès lors il ne justifiait pas l'admission de la demande de révision en vertu de l'art. 410 al. 1 let. a CPP.
4.6 Le recourant soutient que l'autorité précédente a fait preuve d'arbitraire en ne tenant pas compte du fait nouveau et sérieux qu'est "l'impossibilité de faire une reconstitution de la scène du crime" (recours, p. 18).
4.6.1 Au vu du carnet photographique détaillé figurant en pièce 220, pièce citée par le jugement du 18 mars 2010 (arrêt entrepris ch. 3.3, p. 8), une telle reconstitution n'apparaît aucunement impossible. Le recourant le reconnaît d'ailleurs, sollicitant l'admission de sa demande de révision afin précisément de pouvoir procéder à une reconstitution (recours, p. 19). Partant, l'impossibilité invoquée par le recourant n'en est pas une et ne saurait fonder une demande de révision. Dans l'hypothèse inverse, il aurait, du reste, incombé au recourant d'établir notamment la nouveauté d'une telle impossibilité au sens de l'art. 410 al. 1 let. a CPP. Or, le recourant n'explicite absolument pas en quoi cette prétendue impossibilité, ressortant selon lui d'éléments du dossier soumis au Tribunal d'arrondissement de Lausanne, devrait être considérée comme inconnue de cette autorité. Faute de démontrer que la décision entreprise était insoutenable dans son résultat, le grief d'arbitraire est infondé.
4.6.2 Au demeurant, l'art. 411 al. 1 CPP exige que les motifs de révision soient exposés et justifiés dans la demande. L'"impossibilité de faire une reconstitution de la scène du crime", que le recourant n'a invoquée comme un fait prétendument nouveau et sérieux qu'au stade des déterminations (recours, p. 18), ne respecte pas cette exigence et est partant irrecevable. Dans ces conditions, on ne saurait considérer que l'autorité précédente est tombée dans l'arbitraire ou a violé le droit fédéral en n'entrant pas en matière sur cet élément, le jugement entrepris précisant d'ailleurs, ch. 5 p. 9, que la demande de révision est rejetée "pour autant qu'elle soit recevable", ce qui sous-entend que tous les arguments du recourant ne l'étaient pas.
4.7 Pour le surplus, le recourant critique la manière dont le Tribunal d'arrondissement de Lausanne a apprécié les moyens de preuve, connus de lui, et constaté les faits. De tels griefs doivent être soulevés dans le cadre d'un recours ordinaire et n'ont pas leur place dans une procédure de révision, moyen de recours subsidiaire (FF 2006 1303 ad art. 417; HEER, op. cit., n. 37 ad art. 410 CPP; cf. ATF 122 IV 66 consid. 2b p. 69). Ils sont dès lors ici irrecevables.
5. Le recourant succombe. Il supportera donc les frais de la cause (art. 66 al. 1 LTF) fixés en tenant compte de sa situation financière défavorable (art. 65 al. 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. La demande de récusation est rejetée.
2. Le recours est rejeté dans la mesure où il est recevable.
3. Les frais judiciaires, arrêtés à 1'600 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du canton de Vaud.
Lausanne, le 21 novembre 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod