Faits: A. Par jugement du 30 octobre 2007, le Tribunal correctionnel de l'arrondissement de La Broye et du Nord vaudois a condamné X._, pour infraction grave à la LStup, à une peine privative de liberté de sept ans, sous déduction de la détention préventive. Il a également révoqué le sursis qui lui avait été accordé le 7 mai 2003 par les autorités fribourgeoises et ordonné l'exécution de la peine de vingt jours d'emprisonnement. Ce jugement retient, en bref, les éléments suivants. A.a Originaire du Kosovo, né en 1963, titulaire d'un diplôme de technicien de laboratoire en biologie, X._ a immigré en Suisse en 1988, où il a d'abord travaillé quatre ans comme saisonnier dans la construction avant d'obtenir un permis B, puis un permis d'établissement et, enfin, la nationalité suisse par naturalisation en 2003. Il a interrompu son activité professionnelle en 1993 en raison de problèmes de santé. Il est en incapacité totale de travail depuis avril 2003, souffrant de problèmes de dos et de la maladie de Parkinson. Toujours en attente d'une décision de l'AI, il est pris en charge par les services sociaux depuis septembre 2004. Il a eu trois enfants avec son épouse dont il est séparé depuis fin septembre 2002. Il a l'autorité parentale et la garde de sa fille Y._. A.b Dans le courant de 2001, à Estavayer-le-Lac, X._ a rencontré A._ et B._, lesquels avaient l'intention d'échanger un kilo d'héroïne contre 500 g de cocaïne. Dans ce but, il a mis les intéressés en contact avec C._ et D._ et organisé un rendez-vous au cours duquel il a fonctionné comme interprète. Ce premier contact ayant été positif et l'affaire ayant été pratiquement conclue, B._ a volontairement écarté X._ de la transaction, afin d'éviter de devoir lui verser une commission. A.c Fin juillet et début août 2004, X._ est entré en contact avec E._, à Zurich, lequel disposait d'héroïne en grandes quantités. Il est entré en pourparlers avec celui-ci par téléphone puis en le rencontrant à Yverdon-les-Bains en vue d'un échange de un à trois kilos de cocaïne provenant de Nord-africains contre une quantité double d'héroïne. A.d Au mois de septembre 2004, F._ et G._ se sont rendus à Zurich, où ils ont pris en charge un kilo de cocaïne. Ils ont livré cette drogue à X._ à la gare d'Yverdon-les-Bains, le même jour. Le lendemain, un des fournisseurs a encaissé le prix de la livraison auprès de F._, à Yverdon également. A.e Le 1er juillet 2005, H._ a réceptionné cinq kilos d'héroïne conditionnée en dix pains de 500 g envoyée du Kosovo par son cousin I._. Le lendemain, H._ a été interpellé à Yverdon-les-Bains où il avait rendez-vous avec X._. Il était en possession d'un échantillon de 2.4 g d'héroïne prélevé sur un des pains qu'il avait reçus la veille et destiné à X._. Ce dernier était en effet en relation avec des clients potentiels intéressés par tout ou partie de l'héroïne livrée à Bienne. B. Par arrêt du 27 février 2008, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de X._. C. Ce dernier dépose un recours en matière pénale auprès du Tribunal fédéral. Il se plaint d'arbitraire, d'une violation du principe de la présomption d'innocence et soutient que la peine qui lui a été infligée est trop sévère. Il conclut, principalement, à son acquittement et, subsidiairement, au renvoi de la cause à l'instance inférieure pour nouveau jugement. Il requiert également l'assistance judiciaire.