Faits:
A. Par jugement du 14 septembre 2011, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a condamné X._ pour infraction grave à la loi fédérale sur les stupéfiants à une peine privative de liberté de 2 ans, dont 18 mois avec sursis pendant 4 ans, sous déduction de 42 jours de détention avant jugement. Il a également ordonné la confiscation et la dévolution à l'Etat des montants de 6754 fr. 10 et de 4240 euros.
B. Par jugement du 8 décembre 2011, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté les appels formulés par le recourant et par le Ministère public.
En bref, il ressort les éléments suivants de cet arrêt.
A trois reprises dans le courant du mois de novembre 2009, X._ a servi, en toute connaissance de cause, de chauffeur à son cousin, Y._, afin qu'il puisse livrer de l'héroïne à des toxicomanes. Le 25 novembre 2009, il a également aidé son cousin à conditionner de l'héroïne dans des quantités indéterminées. Le 4 décembre 2009, il a livré un total de 10 g d'héroïne à deux toxicomanes, transaction pour laquelle il n'a fait aucun bénéfice. Enfin, le 9 décembre 2009, accompagné de son épouse, il a véhiculé son cousin à Bâle afin que ce dernier acquière de l'héroïne. Sur le chemin du retour, il a été interpellé au volant de sa voiture, dans laquelle ont été retrouvés un pain d'héroïne de 197 g et 218,5 g de produit de coupage. Lors de cette interpellation, 4000 fr. et 1970 euros ont été retrouvés dans le sac à main de son épouse, la plus grande partie en petites coupures, ainsi que 2754 fr. 10 sur X._. Un montant de 2270 euros, également en petites coupures, a été retrouvé à son domicile. L'activité de X._ a porté sur une quantité d'au moins 70 g d'héroïne pure. Sa situation financière était difficile. Il avait des poursuites à hauteur de 16'669 fr. 55 et ne touchait qu'un montant de l'ordre de 3500 fr. par mois pour lui, sa femme et ses deux fils. Quant à son casier judiciaire, il comporte trois condamnations pour divers infractions à la LCR ainsi qu'une condamnation pour recel et délit à la loi fédérale sur les armes.
C. X._ forme un recours en matière pénale contre ce jugement. Il conclut, sous suite de frais et dépens, à sa réforme en ce sens que sa peine est réduite à un an de privation de liberté, sous déduction de 42 jours de détention préventive, avec sursis pendant 4 ans et à la restitution en ses mains des montants de 2754 fr. 10 et 2270 euros. Il requiert, par ailleurs, le bénéfice de l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Le recourant reproche à la cour cantonale d'être tombée dans l'arbitraire en déduisant de sa mauvaise situation financière et des petites coupures retrouvées en plusieurs endroits que les fonds avaient une provenance illicite et qu'il avait agi dans un dessein d'enrichissement. Le recourant objecte qu'il gagnait alors 3500 fr. par mois, que son fils lui versait régulièrement son salaire d'apprenti, qu'il avait perçu 12800 fr. de son assurance au mois de juillet 2009 et que les 4000 fr. et 1970 euros retrouvés dans le sac à main de son épouse appartenaient à son cousin. Il souligne, dans ce contexte, que la cour cantonale a constaté qu'il avait agi "sans faire de bénéfice" le 4 décembre 2009 et qu'il n'était pas non plus question de rémunération dans les autres cas.
1.1 Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>). Il n'en va différemment que si le fait a été établi en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4, p. 313; sur la notion d'arbitraire, v. : <ref-ruling> consid. 2.4 p. 5). L'invocation de ce moyen ainsi que, de manière générale, de ceux déduits du droit constitutionnel et conventionnel (<ref-law>), suppose une argumentation claire et détaillée (<ref-ruling> consid. 1.4 p. 287), circonstanciée (<ref-ruling> consid. 3, p. 105). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> c. 5.1 p. 356 et les références citées).
1.2 En tant qu'elle consiste, pour l'essentiel, à opposer une nouvelle fois sa propre appréciation des faits à celle de la cour cantonale, l'argumentation du recourant apparaît largement appellatoire. Il en va, en particulier, ainsi lorsqu'il allègue qu'une partie des sommes en cause aurait appartenu à un tiers, que l'un de ses deux fils lui aurait remis la quasi-totalité de ses salaires d'apprenti et que le solde des sommes saisies proviendrait d'une prestation d'assurance. Sur ce dernier point, la cour cantonale a, notamment, relevé que le mode de versement de cette prestation, intervenue quelque quatre mois avant la saisie, n'était pas établi, cependant que les sommes retrouvées étaient importantes, qu'elles avaient été découvertes en plusieurs endroits, sous forme de petites coupures en deux devises différentes. Le recourant ne discute d'aucune manière ces derniers éléments de fait et ne démontre pas en quoi il serait insoutenable, sur cette base, d'exclure l'origine qu'il avait alléguée des fonds retrouvés. Appellatoires et insuffisamment motivés, les griefs sont irrecevables.
Invoquant, par ailleurs, un revenu de 3500 fr. par mois, le recourant ne démontre pas non plus en quoi il serait insoutenable de conclure de ses revenus et de sa situation obérée qu'il n'avait guère de ressources financières à l'époque des faits.
L'arrêt entrepris retient, enfin, que pour la livraison d'héroïne du 4 décembre 2009, le recourant avait agi sans faire de bénéfice. La cour cantonale a, en outre, exposé quant aux autres faits retenus qu'il n'était pas non plus question de rémunération dans le jugement de première instance (arrêt entrepris, consid. 5.2.3 p. 18). Contrairement à ce que paraît penser le recourant, on ne saurait en déduire que l'autorité précédente aurait considéré qu'il avait agi à titre gratuit. Elle a simplement indiqué, ce faisant, que les premiers juges n'avaient pas traité de la question de la rémunération de manière détaillée pour chacun de ces cas. Elle pouvait, dès lors, sans contradiction, après avoir exclu que ces sommes avaient pour origine le versement d'une compagnie d'assurance et constaté que le recourant n'avait guère de ressources financières, conclure des circonstances dans lesquelles ces montants avaient été retrouvés qu'ils provenaient des activités illicites du recourant, en déduire l'existence d'un dessein d'enrichissement et tenir compte de cette circonstance au stade de la fixation de la peine.
2. Invoquant les art. 10 Cst. et 5 par. 3 CEDH ainsi que l'arrêt 1B.115/2008 du 2 juin 2008, le recourant reproche ensuite aux autorités cantonales d'avoir violé le principe de la célérité. Il relève que 9 mois se sont écoulés entre l'ordonnance de renvoi et les débats de première instance.
2.1 Pour ce qui concerne le principe invoqué et ses conséquences sur la fixation de la peine il est renvoyé à l'arrêt publié aux <ref-ruling>. Il suffit de relever que cet arrêt (consid. 3.3.3) se réfère à de la jurisprudence selon laquelle apparaissent comme des carences choquantes, une inactivité de 13 à 14 mois au stade de l'instruction, un délai de 4 ans pour qu'il soit statué sur un recours contre l'acte d'accusation, un délai de 10 à 11 mois pour que le dossier soit transmis à l'autorité de recours.
2.2 En l'espèce, le temps écoulé entre le renvoi en jugement et les débats de première instance n'excède pas 9 mois. Cette durée n'atteint pas celles jugées choquantes par la jurisprudence rappelée ci-dessus. De surcroît, le temps écoulé entre le renvoi et les débats peut s'expliquer, notamment, par les mesures nécessaires à la préparation et à la convocation de ces derniers, de sorte que la situation n'est pas nécessairement comparable à une inactivité complète au stade de l'instruction ou à la transmission du dossier à l'autorité de recours. Il s'ensuit que la seule invocation des 9 mois écoulés ne démontre pas l'existence d'une violation du principe de la célérité. Enfin, le recourant ne peut rien déduire en sa faveur de la jurisprudence à laquelle il se réfère, qui a trait à l'application du principe de la célérité lorsque le prévenu est en détention préventive, situation dans laquelle les impératifs de célérité doivent être mis en relation avec l'atteinte à la liberté personnelle causée par la privation de liberté. Pour le surplus, le recourant ne tente pas de démontrer que la durée globale de la procédure violerait, en elle-même, le principe de la célérité. Au demeurant, les faits s'étant déroulés à fin 2009 et le recourant ayant été jugé au mois de septembre 2011, moins de 24 mois plus tard, il n'apparaît pas que tel soit le cas. Le grief est infondé.
3. Le recourant soutient que la peine infligée serait arbitrairement sévère.
3.1 Les règles générales régissant la fixation de la peine ont été rappelées dans l'arrêt publié aux <ref-ruling> (consid. 2.1 et les références citées). Il suffit d'y renvoyer en soulignant que le juge dispose d'un large pouvoir d'appréciation et que le Tribunal fédéral, qui examine l'ensemble de la question d'office (<ref-law>), n'intervient que lorsque l'autorité cantonale a fait un usage vraiment insoutenable de la marge de manoeuvre que lui accorde le droit fédéral, s'il a fixé une peine en dehors du cadre légal, s'il s'est fondé sur des critères étrangers à l'<ref-law> ou si des éléments d'appréciation importants n'ont pas été pris en compte. L'exercice de ce contrôle suppose que le juge exprime, dans sa décision, les éléments essentiels relatifs à l'acte ou à l'auteur qu'il prend en compte, de manière à ce que l'on puisse constater que tous les aspects pertinents ont été pris en considération et comment ils ont été appréciés, que ce soit dans un sens aggravant ou atténuant (<ref-law>). Il peut passer sous silence les éléments qui, sans abus du pouvoir d'appréciation, lui apparaissent non pertinents ou d'une importance mineure. La motivation doit cependant justifier la peine prononcée, en permettant de suivre le raisonnement adopté même si le juge n'est pas tenu d'exprimer en chiffres ou en pourcentages l'importance qu'il accorde à chacun des éléments qu'il cite (<ref-ruling> consid. 2c p. 104 s.).
3.2 Le recourant reproche tout d'abord à l'autorité précédente de ne pas avoir tenu compte de sa bonne réputation. Il s'écarte sur ce point, de manière inadmissible, des faits retenus par la cour cantonale (<ref-law>), qui a indiqué que le recourant avait déjà été condamné à quatre reprises.
3.3 Le recourant fait ensuite grief à l'autorité cantonale de n'avoir pas tenu compte de son état de santé et de sa situation de famille. Il rappelle qu'il perçoit une rente AI suite à un accident du travail et qu'il est père de deux enfants mineurs de 13 et 14 ans.
La vulnérabilité face à la peine ne doit être retenue comme circonstance atténuante que si elle rend la sanction considérablement plus dure que pour la moyenne des autres condamnés (arrêt 6B_533/2011 du 10 novembre 2011 consid. 7.1). Le recourant n'expose pas en quoi ses problèmes de santé, préexistants à la commission des faits, auraient pour conséquence une sensibilité accrue à la peine, pas plus qu'il n'expose en quoi sa situation familiale présenterait un caractère si exceptionnel qu'une réduction de la peine prononcée s'imposerait pour ce motif.
3.4 Le recourant ne cite en définitive aucun élément important, propre à modifier la peine, qui aurait été omis ou pris en considération à tort. Au vu des circonstances, il n'apparaît pas que la peine infligée, qui entre, par ailleurs, dans le premier degré de l'échelle des peines envisageables pour une infraction grave à la LStup (<ref-law> en corrélation avec l'<ref-law>), soit exagérément sévère au point de constituer un abus du pouvoir d'appréciation.
4. Le recourant invoque une violation de l'article 43 CP et conteste le refus du sursis complet.
4.1 Les conditions permettant d'assortir une peine de privation de liberté de 24 mois au plus du sursis ou du sursis partiel ont été examinées dans l'arrêt publié aux <ref-ruling> consid. 4 p. 4 ss ainsi que consid. 5 p. 9 ss, spéc. consid. 5.5.2 p. 14 ss, auquel il est renvoyé, tout en rappelant que les autorités cantonales disposent d'un large pouvoir d'appréciation en la matière.
4.2 Lors de l'examen de l'octroi du sursis, la cour cantonale a, en substance, retenu que les actes commis par le recourant étaient graves et qu'il n'avait pas démontré une prise de conscience de cette gravité donnant des explications dénuées de crédibilité et revenant sur ses précédentes déclarations. Elle a, en outre, souligné que les précédentes condamnations du recourant ne l'avaient pas dissuadé de commettre de nouvelles infractions, par ailleurs, plus graves.
Le recourant prétend tout d'abord que la cour cantonale n'aurait pas tenu compte du fait qu'il n'avait agi qu'en tant que chauffeur-livreur et qu'il n'avait pas vendu de drogue pour son propre compte dans le cadre de l'examen de l'octroi du sursis, mais uniquement au stade de l'examen de la part ferme de la peine. Le recourant n'expose toutefois pas en quoi cette circonstance influencerait le pronostic. En outre, à côté de l'absence de prise de conscience du recourant et de ses antécédents, la cour cantonale a tenu compte de la gravité des faits. Elle avait ainsi nécessairement à l'esprit ceux pour lesquels le recourant est condamné, soit principalement son rôle de chauffeur-livreur, au moment d'examiner l'octroi du sursis. Le recourant reproche également à l'autorité précédente de n'avoir pas tenu compte de sa bonne réputation, de son état de santé et de sa situation familiale. S'agissant de sa prétendue bonne réputation, il est renvoyé à ce qui a été exposé plus haut sur le caractère irrecevable de cet élément (v. consid. 3.2). Quant à son état de santé et sa situation familiale, ils n'ont pas changé entre le moment de la commission des infractions et le jugement. Le recourant n'est ainsi pas nouvellement père ou tombé subitement malade de telle manière que cela aurait pu avoir une influence sur son état d'esprit et ses chances d'amendement.
Au vu de ce qui précède, la cour cantonale a pris en considération tous les éléments pertinents et n'en a omis aucun au moment de faire le pronostic sur le comportement futur du recourant. Même en tenant compte des 42 jours de détention préventive, l'ensemble des circonstances permettait, sans abus ni excès du pouvoir d'appréciation, de n'octroyer qu'un sursis partiel.
Enfin, le recourant ne prétend pas qu'une peine pécuniaire ferme ou une amende au sens de l'article 42 al. 4 CP l'aurait détourné de commettre de nouvelles infractions. Bien qu'elle ne se soit pas expressément penchée sur la question, la cour cantonale a indiqué que le recourant avait déjà été condamné à trois reprises à des peines pécuniaires ce qui ne l'avait toutefois pas détourné de commettre à nouveau des infractions, par ailleurs, plus graves. Cela suffit à exclure l'effet dissuasif d'une peine pécuniaire ferme ou d'une amende, de sorte que rien ne s'opposait au prononcé d'un sursis partiel. La part de la peine à exécuter a été fixée à 6 mois, soit au minimum légal (<ref-law>). Il n'y a pas lieu de réexaminer ce point.
5. Le recourant conteste enfin la confiscation d'une partie des montants séquestrés, soit de 2754 fr. 10 et de 2270 euros dont il prétend qu'ils proviennent de ses économies, le solde appartenant à son cousin Y._. Le recourant soutient que c'est de manière arbitraire que l'autorité précédente aurait retenu que les montants séquestrés provenaient de son activité délictueuse. Il est renvoyé à cet égard à ce qui a été exposé plus haut (v. consid. 1.2) sur le caractère appellatoire de ces arguments, qui sont irrecevables.
6. Le recours était d'emblée dénué de chances de succès. L'assistance judiciaire doit être refusée (<ref-law>). Le recourant supporte les frais de la cause, qui seront fixés en tenant compte de sa situation économique, qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1'600 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 11 juin 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet