Faits: A. Par jugement du 14 septembre 2011, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a condamné X._ pour infraction grave à la loi fédérale sur les stupéfiants à une peine privative de liberté de 2 ans, dont 18 mois avec sursis pendant 4 ans, sous déduction de 42 jours de détention avant jugement. Il a également ordonné la confiscation et la dévolution à l'Etat des montants de 6754 fr. 10 et de 4240 euros. B. Par jugement du 8 décembre 2011, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté les appels formulés par le recourant et par le Ministère public. En bref, il ressort les éléments suivants de cet arrêt. A trois reprises dans le courant du mois de novembre 2009, X._ a servi, en toute connaissance de cause, de chauffeur à son cousin, Y._, afin qu'il puisse livrer de l'héroïne à des toxicomanes. Le 25 novembre 2009, il a également aidé son cousin à conditionner de l'héroïne dans des quantités indéterminées. Le 4 décembre 2009, il a livré un total de 10 g d'héroïne à deux toxicomanes, transaction pour laquelle il n'a fait aucun bénéfice. Enfin, le 9 décembre 2009, accompagné de son épouse, il a véhiculé son cousin à Bâle afin que ce dernier acquière de l'héroïne. Sur le chemin du retour, il a été interpellé au volant de sa voiture, dans laquelle ont été retrouvés un pain d'héroïne de 197 g et 218,5 g de produit de coupage. Lors de cette interpellation, 4000 fr. et 1970 euros ont été retrouvés dans le sac à main de son épouse, la plus grande partie en petites coupures, ainsi que 2754 fr. 10 sur X._. Un montant de 2270 euros, également en petites coupures, a été retrouvé à son domicile. L'activité de X._ a porté sur une quantité d'au moins 70 g d'héroïne pure. Sa situation financière était difficile. Il avait des poursuites à hauteur de 16'669 fr. 55 et ne touchait qu'un montant de l'ordre de 3500 fr. par mois pour lui, sa femme et ses deux fils. Quant à son casier judiciaire, il comporte trois condamnations pour divers infractions à la LCR ainsi qu'une condamnation pour recel et délit à la loi fédérale sur les armes. C. X._ forme un recours en matière pénale contre ce jugement. Il conclut, sous suite de frais et dépens, à sa réforme en ce sens que sa peine est réduite à un an de privation de liberté, sous déduction de 42 jours de détention préventive, avec sursis pendant 4 ans et à la restitution en ses mains des montants de 2754 fr. 10 et 2270 euros. Il requiert, par ailleurs, le bénéfice de l'assistance judiciaire. Il n'a pas été ordonné d'échange d'écritures.