Faits:
A. Par jugement du 11 novembre 2011, le Tribunal de police de l'arrondissement de la Côte a condamné X._ pour escroquerie à une peine de 270 jours-amende, à 20 fr. le jour avec sursis et délai d'épreuve de 3 ans. Il a également donné acte de ses réserves civiles à A._ SA et condamné le recourant à verser à cette société une indemnité pour ses dépens.
B. Par jugement du 20 juin 2012, dont les considérants complets ont été notifiés le 25 septembre suivant, la Cour d'appel pénale du Tribunal cantonal vaudois, notamment composée du juge B._, a admis l'appel de X._, réformé le jugement du 11 novembre 2011 en ce sens que X._ est condamné pour escroquerie à une peine de 150 jours-amende, à 20 fr. le jour avec sursis et délai d'épreuve de 2 ans, et qu'il est pris acte de la transaction intervenue entre X._ et A._ SA prévoyant une reconnaissance de dette de celui-là en faveur de celle-là et un retrait par A._ SA de sa plainte et de son appel contre le jugement du 11 novembre 2011.
C. Par jugement du 24 juillet 2012, notifié le 16 août suivant, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté la requête de récusation de X._ à l'encontre du juge B._.
D. Le 26 octobre 2012, X._ a déposé un recours en matière pénale auprès du Tribunal fédéral. Il conclut à l'annulation du jugement du 24 juillet 2012 et au renvoi de la cause à l'autorité précédente. Subsidiairement, il requiert la réforme du jugement du 20 juin 2012 en ce sens qu'il est acquitté, qu'il lui est donné acte de ses prétentions civiles contre A._ SA et qu'il reçoit une indemnité fondée sur l'<ref-law>. Plus subsidiairement encore, il conclut à l'annulation du jugement rendu le 20 juin 2012 et au renvoi de la cause à l'autorité cantonale pour nouvelle décision. Il sollicite le bénéfice de l'assistance judiciaire.
Aucun échange d'écriture n'a été ordonné.

Considérant en droit:
1. Le recourant invoque que les art. 30 Cst., 56 et 57 CPP imposaient la récusation du juge d'appel B._.
1.1 Conformément aux art. 78 et 92 al. 1 LTF, une décision relative à la récusation dans une cause pénale peut faire immédiatement l'objet d'un recours en matière pénale. Elle ne peut plus être attaquée ultérieurement (<ref-law>).
Le jugement de la Cour d'appel pénale du 24 juillet 2012, rejetant la demande de récusation formée par le recourant, lui a été notifié le 16 août 2012. Ce dernier n'a pas recouru contre cette décision dans le délai imparti par l'<ref-law>. Les moyens interjetés contre celle-ci sont par conséquent irrecevables.
1.2 Au demeurant, c'est en vain que le recourant laisse entendre en se référant à l'arrêt 1P.353/2006 du 8 août 2006, que le motif de récusation, prétendument découvert après le prononcé du jugement au fond, peut être soulevé dans le cadre du recours au Tribunal fédéral. Il perd en effet de vue l'<ref-law>, qui prévoit que lorsqu'un motif de récusation n'est découvert qu'après la clôture de la procédure, les dispositions sur la révision sont applicables. On peut considérer que le jugement du 24 juillet 2012 s'inscrit dans le cadre de cette disposition.
1.3 Quoiqu'il en soit, la récusation invoquée est infondée pour les motifs suivants. En vertu du principe de la bonne foi et de l'interdiction de l'abus de droit, en relation avec le droit à un juge indépendant et impartial, la partie qui a connaissance d'un motif de récusation doit l'invoquer aussitôt, sous peine d'être déchue du droit de s'en prévaloir ultérieurement (cf. <ref-ruling> consid. 2.2 p. 4 et arrêts cités). En l'occurrence, le recourant avait connaissance de l'existence, au sein de la partie plaignante, de C._, cousin au 4ème degré du magistrat dont la récusation était demandée, depuis novembre 2007. C._ était ainsi notamment indiqué dans un courrier adressé au recourant comme son supérieur hiérarchique dès le 13 novembre 2007 (cf. pièce 4/2; jugement du 24 juillet 2012, p. 5; recours, p. 5). Le recourant a été informé de la composition de la cour le 23 avril 2012. Le principe de la bonne foi imposait qu'il demande sans retard, sous peine d'irrecevabilité, des éclaircissements, respectivement la récusation du magistrat visé. Il ne pouvait en revanche attendre, comme il l'a fait, juillet 2012, soit après la communication du dispositif du jugement d'appel, en arguant n'avoir découvert l'existence de C._ comme fondé de procuration au sein de la société plaignante que le 5 juillet 2012. Il était par conséquent déchu du droit de se prévaloir du motif de récusation qu'il invoque aujourd'hui encore.
Par surabondance, son grief de violation des art. 56 et 57 CPP était vain: qu'un magistrat et l'un des employés de la partie plaignante, inscrit au registre du commerce comme titulaire d'une procuration collective à deux, soient cousins au quatrième degré, alors qu'ils n'entretiennent aucune relation depuis des années, ne constitue pas un motif de récusation au sens de l'art. 56 let. d ou f CPP ni n'impose une obligation d'annonce au sens de l'<ref-law>.
2. Le Tribunal fédéral statue sur la base des faits retenus par l'arrêt attaqué (<ref-law>), sous réserve des cas prévus à l'<ref-law>. La partie recourante ne peut ainsi les critiquer que s'ils ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (sur la notion d'arbitraire, cf. <ref-ruling> consid. 6.1 p. 379 s.), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le grief d'arbitraire doit être invoqué et motivé de manière précise (<ref-law>; <ref-ruling> consid. 2.2 p. 69).
Au vu de ce qui précède, il ne saurait être tenu compte des faits allégués par le recourant, notamment en page 8 de son recours, qui ne ressortent pas du jugement du 20 juin 2012 et pour lesquels aucun grief d'arbitraire n'est soulevé.
3. Le recourant estime qu'aucune des conditions cumulatives posées par l'<ref-law> pour retenir une escroquerie n'est remplie.
3.1 En vertu de cette disposition, se rend coupable d'escroquerie celui qui, dans le dessein de se procurer ou de procurer à un tiers un enrichissement illégitime, aura astucieusement induit en erreur une personne par des affirmations fallacieuses ou par la dissimulation de faits vrais ou l'aura astucieusement confortée dans son erreur et aura de la sorte déterminé la victime à des actes préjudiciables à ses intérêts pécuniaires ou à ceux d'un tiers.
3.2 L'escroquerie suppose une tromperie, qui peut se présenter sous la forme d'affirmations fallacieuses, de dissimulation de faits vrais ou encore consister à conforter la dupe dans l'erreur. Pour qu'il y ait tromperie par affirmations fallacieuses, il faut que l'auteur ait affirmé un fait dont il connaissait la fausseté. L'affirmation peut résulter de n'importe quel acte concluant. Il n'est donc pas nécessaire que l'auteur ait fait une déclaration. Il suffit qu'il ait adopté un comportement dont on déduit qu'il affirme un fait (arrêt 6B_243/2009 du 26 mai 2009 consid. 2.2.1).
L'astuce est réalisée lorsque l'auteur recourt à un édifice de mensonges, à des manoeuvres frauduleuses ou à une mise en scène, mais aussi lorsqu'il donne simplement de fausses informations, si leur vérification n'est pas possible, ne l'est que difficilement ou ne peut raisonnablement être exigée, de même que si l'auteur prévoit, en fonction des circonstances, que la dupe renoncera à le faire en raison d'un rapport de confiance particulier. Il y a notamment manoeuvre frauduleuse lorsque l'auteur fait usage de titres falsifiés ou obtenus sans droit ou de documents mensongers. L'astuce ne saurait toutefois être admise si la dupe pouvait se protéger avec le minimum de prudence que l'on pouvait attendre d'elle. Il n'est cependant pas nécessaire qu'elle ait fait preuve de la plus grande diligence et qu'elle ait recouru à toutes les mesures de prudence possibles ou, autrement dit, qu'elle ait fait tout ce qu'elle pouvait pour éviter d'être trompée. Pour apprécier si l'auteur a usé d'astuce et si la dupe a omis de prendre des mesures de prudence élémentaires, il faut prendre en considération la situation particulière de la dupe, telle que l'auteur la connaît et l'exploite (<ref-ruling> consid. 3 p. 20 s. et références citées).
La conséquence de la tromperie astucieuse doit être que la dupe, dans l'erreur, accomplit un acte préjudiciable à ses intérêts pécuniaires ou à ceux d'un tiers.
Sur le plan subjectif, l'auteur doit agir intentionnellement et dans le dessein de se procurer ou de procurer à un tiers un enrichissement illégitime, un résultat correspondant n'étant cependant pas une condition de l'infraction (<ref-ruling> consid. 4b p. 214).
3.3 Le recourant a été engagé à 100 %, le 1er septembre 2002, par A._ SA, partie plaignante. Le 12 novembre 2007, celle-ci a résilié le contrat de travail du recourant pour le 29 février 2008. Dès mi-janvier 2008, le recourant a fourni à la partie plaignante des certificats médicaux successifs attestant d'une incapacité de travail totale du 14 janvier 2008 au 29 février 2009. Sans en informer la partie plaignante ni son assurance perte de gain, le recourant a toutefois pris un emploi auprès d'une autre société et travaillé effectivement pour celle-ci dès le 24 mai 2008 à raison de 3 jours en mai puis de 12 jours par mois en moyenne jusqu'à fin novembre 2008. Durant cette période, il a touché un revenu total de 15'947 fr. 05 de cette société. Il a également reçu de l'assurance perte de gain de la partie plaignante 24'235 fr. 20 entre le 22 avril 2008 et le 30 septembre 2008. Après cette date, cette assurance a décidé, sur la base d'une expertise du recourant ne mettant pas en évidence de pathologie médicale, de ne plus verser de prestations. La partie plaignante a alors informé le recourant que le délai de congé avait recommencé à courir et a repris le versement du salaire complet du recourant, jusqu'à fin novembre 2008. Entre le 1er mars 2008 et le 30 novembre 2008, elle lui a versé 42'344 fr. 35.
3.4 Le recourant a trompé son employeur, respectivement l'assurance perte de gain de celui-ci, en leur faisant croire, par le biais de la remise régulière de certificats médicaux, qu'il était en incapacité de travail totale, ce qui dès le 24 mai 2008 ne correspondait pas à la réalité, dès lors que le recourant travaillait pour une société tierce. Le grief du recourant, tiré d'une absence de tromperie, est infondé.
3.5 Pour recevoir des prestations de la part de la partie plaignante et de son assurance perte de gain, le recourant a dissimulé à son psychiatre non seulement qu'il pouvait travailler, mais surtout qu'il travaillait, ce afin d'obtenir des certificats médicaux à intervalles réguliers attestant d'une incapacité totale de travailler. Il a ensuite remis à son employeur ces certificats médicaux, tout en lui cachant avoir repris une activité salariée auprès d'un tiers. La partie plaignante comme son assurance perte de gain n'avaient aucun moyen de vérifier que le recourant ne travaillait pas ailleurs. On ne peut non plus leur reprocher de n'avoir pas vérifié immédiatement la véracité des certificats médicaux remis par le recourant en le soumettant à une expertise, finalement effectuée le 17 septembre 2008: d'une part, la partie plaignante et le recourant étaient liés par des rapports de travail depuis plus de cinq ans, qui justifiaient, même s'ils avaient été résiliés, que la partie plaignante fasse confiance au recourant. D'autre part, les certificats émanaient d'un médecin-psychiatre et revêtaient par conséquent une valeur probante certaine. Enfin, le problème constaté était d'ordre psychologique et partant plus difficilement vérifiable. La tromperie était ainsi bel et bien astucieuse.
3.6 Du fait de celle-ci, la partie plaignante et son assurance ont cru à tort que le recourant était en incapacité totale de travail du 24 mai 2008 à fin novembre 2008. Il n'est pas déterminant de savoir si durant cette période la capacité de travail du recourant était totale ou partielle. Il importe uniquement que l'erreur de l'assurance perte de gain a conduit celle-ci à verser au recourant des indemnités journalières entières, qui n'étaient pas, en partie ou totalement, dues. La partie plaignante a quant à elle complété ces indemnités afin que le recourant reçoive l'équivalent de son salaire, ce sans fournir aucune contre-prestation, alors qu'il en était au moins en partie capable. Ainsi la partie plaignante et son assurance étaient dans l'erreur, ce qui les a conduit à verser au recourant des prestations indues jusqu'à fin novembre 2008, soit à accomplir un acte préjudiciable à leurs intérêts pécuniaires.
3.7 La cour cantonale a discuté de l'élément subjectif sous l'angle du dessein d'enrichissement, qu'elle a admis. Savoir ce que l'auteur a su, voulu, envisagé ou accepté relève de l'établissement des faits (<ref-ruling> consid. 2.3.2 p. 156). En l'occurrence, il se déduit sans conteste du comportement du recourant qu'il a agi pour tromper la partie plaignante, respectivement son assurance perte de gain en occultant sa situation réelle. Le recourant ne formule aucun grief recevable sous l'angle de l'art. 106 la. 2 LTF pour établir qu'il était arbitraire de retenir une volonté délictuelle. L'intention est réalisée.
S'agissant du dessein d'enrichissement, celui-ci vise non pas le salaire perçu par le recourant pour l'activité qu'il a exercée en faveur d'un tiers, mais la dissimulation par le recourant à la partie plaignante et à son assurance de cet emploi - qui allait bien au-delà d'une activité accessoire - afin de leur faire croire qu'il était en complète incapacité de travail et d'obtenir ainsi des indemnités pour perte de gain entière et/ou des prestations de salaire, sans avoir notamment à travailler pour la partie plaignante. Il a donc bien agi avec un dessein d'enrichissement illégitime, soit celui de recevoir des prestations indues.
3.8 Il résulte de ce qui précède que la condamnation du recourant pour escroquerie ne viole pas le droit fédéral.
4. Le recours doit être rejeté dans la mesure de sa recevabilité. Les conclusions étaient vouées à l'échec de sorte que l'assistance judiciaire est refusée pour ce motif déjà (art. 64 al. 1 et 2 LTF). Le recourant supportera les frais de justice, ses revenus, gains intermédiaires compris, ainsi que ceux de son épouse le lui permettant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 19 mars 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod