Faits:
A. Par jugement du 17 août 2011, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a libéré X._ de l'accusation de vol, l'a reconnu coupable de vol par métier et de violation du secret des postes et télécommunications, l'a condamné à 36 mois de peine privative de liberté, sous déduction de la détention avant jugement, peine partiellement complémentaire à celle de 9 jours d'emprisonnement prononcée le 18 juin 2003, a suspendu l'exécution de la peine à raison de 24 mois avec délai d'épreuve de 3 ans, a ordonné la restitution à La Poste Suisse des montants séquestrés et dit que X._ est le débiteur de La Poste Suisse de 404'997 fr., sous déduction des montants séquestrés restitués, acte étant donné à celle-ci de ses réserves civiles pour le surplus.
B. Statuant sur l'appel de X._, la Cour d'appel pénale du Tribunal cantonal vaudois l'a rejeté par jugement du 8 décembre 2011, ramenant d'office le montant dû à La Poste Suisse à 401'393 francs. En bref, il est reproché à X._, alors qu'il était employé par La Poste Suisse, d'avoir détourné de nombreux plis bancaires contenant des espèces, du 17 avril 2003 au 25 février 2009, jour de son arrestation.
C. X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement, concluant, sous suite de dépens, au renvoi de la cause à l'autorité précédente. Il sollicite par ailleurs l'assistance judiciaire.
La Cour d'appel et le Ministère public ont renoncé à se déterminer et se sont référés au jugement attaqué.

Considérant en droit:
1. Le recourant n'a pas formellement conclu à la réforme du jugement attaqué ni à son annulation mais s'est borné à demander le renvoi à l'autorité précédente. Sur le plan pénal, on comprend toutefois de la motivation présentée que le recourant n'admet qu'une petite partie des vols et conteste pour le surplus les vols reprochés, dont il entend être libéré. Cette motivation s'interprète comme conclusion suffisante. Sur le plan civil, le recourant conteste la prise en compte de 657 fr. dans le montant du dommage alloué et est d'avis que l'autorité précédente n'était pas en mesure de statuer et aurait dû renvoyer l'intimée à agir devant le juge civil en application de l'<ref-law>. Dans cette mesure, on peut admettre que le mémoire contient une conclusion recevable quant à l'aspect civil. En revanche, faute de conclusions chiffrées et d'indications précises dans le mémoire quant aux postes du dommage contestés, sous réserve des 657 fr. précités, le recourant ne formule aucune conclusion recevable susceptible de mettre en cause la quotité du dommage alloué (cf. <ref-ruling> consid. 2 p. 237).
2. Le recourant s'en prend à l'établissement des faits. Il conteste être l'auteur des détournements de fonds reprochés.
2.1 Le Tribunal fédéral statue sur la base des faits retenus par l'arrêt entrepris (<ref-law>), sous réserve des cas prévus à l'<ref-law>. La partie recourante ne peut ainsi critiquer ces faits que s'ils ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (sur la notion d'arbitraire, cf. <ref-ruling> consid. 2.4 p. 5; 58 consid. 4.1.2 p. 62), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Conformément à l'<ref-law>, le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux que s'ils ont été invoqués et motivés de manière précise. L'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits violés et préciser en quoi consiste la violation (<ref-ruling> consid. 2.8 p. 494). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.2.3 p. 5).
2.2 La cour d'appel s'est référée au raisonnement du tribunal correctionnel. Le tribunal a considéré que l'activité délictuelle du recourant était beaucoup plus importante que celle admise par celui-ci. Le tribunal a en particulier mis en avant les éléments suivants pour retenir la culpabilité du recourant. La plupart des vols commis depuis le 17 avril 2003 concernait des envois express de banques. Le recourant était présent à son poste de travail s'agissant des vols qui lui ont été imputés. Aucun cas de vol concernant les envois de la Banque Y._ n'a été recensé lorsqu'il était absent. Aucun autre employé n'était présent de manière systématique lors de tous les cas imputés au recourant.
2.3 Le recourant se contente d'opposer sa propre version des faits à l'approche suivie par la cour d'appel. Il met en avant que d'autres vols ont également eu lieu lorsqu'il était absent, que de nombreux employés pouvaient être concernés, que d'autres vols se sont passés après son départ. Ce faisant, le recourant formule une argumentation appellatoire, partant irrecevable. Il ne formule aucun grief susceptible de faire apparaître l'appréciation des preuves comme arbitraire.
3. Le recourant relève que le tribunal correctionnel lui a imputé 173 vols (cf. jugement première instance p. 22), alors que la cour d'appel a retenu 134 vols, soit les vols commis de nuit lorsque le recourant était présent, excluant au bénéfice du doute ceux commis le jour (cf. jugement attaqué p. 16). Selon lui, cette diminution du nombre de vols aurait dû conduire à une réduction de la peine ou, à tout le moins, à ce que la question de la peine fasse l'objet d'une motivation spécifique par la cour d'appel. Il invoque une motivation insuffisante.
Le recourant ne remet pas en cause la qualification de vol par métier (<ref-law>) retenue. Lorsque la qualification de vol par métier s'applique, elle exclut un concours (<ref-law>) entre les vols commis. Les différents actes forment une entité juridique (cf. MARCEL ALEXANDER NIGGLI / CHRISTOF RIEDO, BasK, 2ème éd., n. 107 ad <ref-law>). Il n'en reste pas moins que l'ampleur des actes est susceptible de jouer un rôle du point de vue de la culpabilité, donc de la fixation de la peine. En l'espèce, la cour d'appel a abandonné près d'un quart des vols par rapport à ceux reprochés par le tribunal correctionnel, n'en retenant ainsi que 134 au lieu de 173. Dans sa motivation quant à la fixation de la peine, elle s'est contentée, en quelques brèves phrases, de se référer à la motivation de première instance et de dire que la peine fixée ne relevait ni d'un abus ni d'un excès du pouvoir d'appréciation dont jouissait l'autorité de première instance (jugement attaqué, p. 17 in fine et 18). Cette approche méconnaît le libre pouvoir d'examen dont dispose la cour d'appel, aussi en matière de fixation de la peine (cf. <ref-law>; LUZIUS EUGSTER, BasK, n. 1 ad <ref-law>; MARKUS HUG, Kommentar zur StPO, Donatsch/Hansjakob/Lieber éditeurs, n. 20 ad <ref-law> p. 1921). Surtout, ce faisant, la cour d'appel n'a pas expliqué quelle portée avait l'abandon d'une partie des vols du point de vue de la fixation de la peine. Il lui incombait de fournir une motivation explicite à cet égard. Le jugement attaqué viole les art. 47 et 50 CP. Le recours doit être admis sur ce point.
4. Le recourant s'en prend ensuite aux prétentions civiles.
4.1 Il conteste le montant du dommage alloué à l'intimée. Selon lui, 657 fr. doivent être retranchés.
La fixation du dommage constitue une question de fait (<ref-ruling> consid. 6.2 p. 366; <ref-ruling> consid. 2.2 p. 141). La cour d'appel a arrêté le dommage à 401'393 fr., montant qui correspond à l'addition des postes qui, à partir du 17 avril 2003, ressortent en vert de la pièce 58 (cf. jugement attaqué p. 16). Le recourant entend soustraire à ce montant des postes antérieurs au 17 avril 2003 qui ressortent en bleu de la pièce 58. Les postes en question ne paraissent pourtant pas avoir été pris en compte dans le montant de 401'393 francs. Il incombait au recourant de fournir une explication claire à cet égard de manière à démontrer l'arbitraire dans la détermination du montant du dommage. La motivation qu'il présente est insuffisante au regard des exigences accrues posées par l'<ref-law> (supra consid. 2.1). Elle est par conséquent irrecevable.
4.2 Invoquant une violation de l'<ref-law>, le recourant prétend que la cour d'appel aurait dû renvoyer l'intimée à agir devant le juge civil.
L'<ref-law> prévoit que dans le cas où le jugement complet des conclusions civiles exigerait un travail disproportionné, le tribunal peut traiter celles-ci seulement dans leur principe et, pour le surplus, renvoyer la partie plaignante à agir par la voie civile. Les prétentions de faible valeur sont, dans la mesure du possible, jugées par le tribunal lui-même.
Pour le recourant, le travail disproportionné résiderait dans la conversion en francs suisses des différents montants en monnaies étrangères qu'il a dérobés. L'argument est infondé. Sur la pièce 58, l'intimée a elle-même indiqué la correspondance en francs suisses des montants en monnaies étrangères. La conversion de monnaies étrangères en francs suisses à propos de quelques dizaines de postes du dommage ne saurait constituer un travail disproportionné au sens de l'<ref-law>.
4.3 Le recourant laisse encore entendre qu'il n'est pas possible de savoir quels taux de change ont été appliqués. Il ne formule toutefois pas une critique précise, poste par poste du dommage, en démontrant dans quel cas un taux de change, qui constitue un fait notoire (<ref-ruling> consid. 3 p. 625), aurait faussement été appliqué. Son grief est insuffisamment motivé au regard de l'<ref-law> et est irrecevable. De plus, faute de conclusion suffisante, le recourant n'est de toute façon pas habilité à mettre en cause la quotité du dommage (cf. supra consid. 1 in fine), serait-ce par le biais des taux de change appliqués.
5. Le recours doit être partiellement admis (supra consid. 3). Pour le surplus, il est rejeté dans la mesure où il est recevable. Vu le sort du recours, une partie des frais sera supportée par le recourant (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière. Ce dernier a requis l'assistance judiciaire. Cette requête est sans objet dans la mesure où il obtient gain de cause et peut, à ce titre, prétendre à des dépens réduits de la part du canton (art. 64 al. 2 et 68 al. 1 LTF). Le recours était, pour le surplus, dénué de chance de succès, si bien que l'assistance judiciaire doit être refusée dans cette mesure (<ref-law>).
Dès lors que que le point sur lequel le recours est admis concerne la peine, seul le ministère public et la cour cantonale ont été invités à se déterminer, l'intimée n'ayant pas d'intérêt à pouvoir se déterminer à cet égard.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis, le jugement attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision au sens des considérants. Pour le surplus, le recours est rejeté dans la mesure où il est recevable.
2. La part des frais judiciaires mise à la charge du recourant est arrêtée à 1'000 fr., le solde demeurant à la charge de l'Etat.
3. La demande d'assistance judiciaires est rejetée dans la mesure où elle n'est pas sans objet.
4. Une indemnité de 1'000 fr., à verser au conseil du recourant à titre de dépens, est mise à la charge du canton de Vaud.
5. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 11 juin 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet