Faits:
A. Par jugement du 30 octobre 2007, le Tribunal correctionnel de l'arrondissement de La Broye et du Nord vaudois a condamné X._, pour infraction grave à la LStup, à une peine privative de liberté de sept ans, sous déduction de la détention préventive. Il a également révoqué le sursis qui lui avait été accordé le 7 mai 2003 par les autorités fribourgeoises et ordonné l'exécution de la peine de vingt jours d'emprisonnement.
Ce jugement retient, en bref, les éléments suivants.
A.a Originaire du Kosovo, né en 1963, titulaire d'un diplôme de technicien de laboratoire en biologie, X._ a immigré en Suisse en 1988, où il a d'abord travaillé quatre ans comme saisonnier dans la construction avant d'obtenir un permis B, puis un permis d'établissement et, enfin, la nationalité suisse par naturalisation en 2003.
Il a interrompu son activité professionnelle en 1993 en raison de problèmes de santé. Il est en incapacité totale de travail depuis avril 2003, souffrant de problèmes de dos et de la maladie de Parkinson. Toujours en attente d'une décision de l'AI, il est pris en charge par les services sociaux depuis septembre 2004. Il a eu trois enfants avec son épouse dont il est séparé depuis fin septembre 2002. Il a l'autorité parentale et la garde de sa fille Y._.
A.b Dans le courant de 2001, à Estavayer-le-Lac, X._ a rencontré A._ et B._, lesquels avaient l'intention d'échanger un kilo d'héroïne contre 500 g de cocaïne. Dans ce but, il a mis les intéressés en contact avec C._ et D._ et organisé un rendez-vous au cours duquel il a fonctionné comme interprète. Ce premier contact ayant été positif et l'affaire ayant été pratiquement conclue, B._ a volontairement écarté X._ de la transaction, afin d'éviter de devoir lui verser une commission.
A.c Fin juillet et début août 2004, X._ est entré en contact avec E._, à Zurich, lequel disposait d'héroïne en grandes quantités. Il est entré en pourparlers avec celui-ci par téléphone puis en le rencontrant à Yverdon-les-Bains en vue d'un échange de un à trois kilos de cocaïne provenant de Nord-africains contre une quantité double d'héroïne.
A.d Au mois de septembre 2004, F._ et G._ se sont rendus à Zurich, où ils ont pris en charge un kilo de cocaïne. Ils ont livré cette drogue à X._ à la gare d'Yverdon-les-Bains, le même jour. Le lendemain, un des fournisseurs a encaissé le prix de la livraison auprès de F._, à Yverdon également.
A.e Le 1er juillet 2005, H._ a réceptionné cinq kilos d'héroïne conditionnée en dix pains de 500 g envoyée du Kosovo par son cousin I._. Le lendemain, H._ a été interpellé à Yverdon-les-Bains où il avait rendez-vous avec X._. Il était en possession d'un échantillon de 2.4 g d'héroïne prélevé sur un des pains qu'il avait reçus la veille et destiné à X._. Ce dernier était en effet en relation avec des clients potentiels intéressés par tout ou partie de l'héroïne livrée à Bienne.
B. Par arrêt du 27 février 2008, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de X._.
C. Ce dernier dépose un recours en matière pénale auprès du Tribunal fédéral. Il se plaint d'arbitraire, d'une violation du principe de la présomption d'innocence et soutient que la peine qui lui a été infligée est trop sévère. Il conclut, principalement, à son acquittement et, subsidiairement, au renvoi de la cause à l'instance inférieure pour nouveau jugement. Il requiert également l'assistance judiciaire.

Considérant en droit:
1. 1.1 Le recours ordinaire au Tribunal fédéral peut notamment être formé pour violation du droit fédéral (<ref-law>), y compris les droits constitutionnels. Sous peine d'irrecevabilité, il doit être motivé conformément à l'<ref-law>, respectivement à l'<ref-law> pour les griefs mentionnés à cette disposition, dont les exigences correspondent à celles qui résultaient de l'art. 90 al. 1 let. b OJ pour le recours de droit public (<ref-ruling> consid. 1.4 p. 287).
1.2 S'agissant d'un recours pour arbitraire dans l'établissement des faits, le recourant doit exposer pourquoi l'autorité de recours a refusé à tort de qualifier d'arbitraire l'appréciation des preuves par les juges inférieurs. La simple reprise de l'argumentation présentée devant l'instance inférieure ne répond pas à cette condition (<ref-ruling> consid. 1b p. 495 s.).
2. Invoquant l'arbitraire et une violation de la présomption d'innocence, le recourant estime que c'est à tort que les autorités inférieures ont retenu son implication dans diverses opérations en matière de stupéfiants.
2.1 Tel qu'il est formulé, le grief revient à se plaindre d'une violation du principe "in dubio pro reo" en tant que règle de l'appréciation des preuves, non pas en tant que règle sur le fardeau de la preuve, donc, en définitive, à se plaindre d'arbitraire dans l'appréciation des preuves (<ref-ruling> consid. 2a p. 40 s.). Le recourant n'établit d'ailleurs pas de violation du principe invoqué en tant que règle sur le fardeau de la preuve.
La notion d'arbitraire a été rappelée récemment dans l'<ref-ruling> consid. 5.4 p. 148, auquel on peut donc se référer. En bref, une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais dans son résultat.
2.2 S'agissant de l'échange de cocaïne contre de l'héroïne (cf. supra consid. A.b), le recourant reproche à l'autorité cantonale de ne pas avoir tenu compte de certaines déclarations à décharge, ni du fait que la transaction s'était finalement déroulée sans lui.
Les autorités cantonales ont admis la culpabilité du recourant en se basant sur les déclarations de A._ et C._, dont les mises en cause sont énoncées sous la forme d'aveux auto-accusatoires, ainsi que sur le fait que le recourant avait admis connaître chacune des parties à l'échange avant qu'elles ne fussent mises en contact.
Le recourant ne démontre pas qu'il était arbitraire, c'est-à-dire manifestement insoutenable, de déduire sa participation au trafic sur la base des éléments précités. Les seules déclarations de C._ auxquelles il se réfère et selon lesquelles celui-ci ne savait pas pourquoi le recourant était là ne suffisent pas pour infirmer l'appréciation des autorités cantonales. Pour le reste, l'argumentation selon laquelle l'intéressé n'aurait rien touché de la transaction et ne revêtirait par conséquent pas la qualité de courtier constitue une question de droit, qui sera examinée ci-dessous (cf. infra consid. 3). Le grief est donc irrecevable.
2.3 Le recourant conteste également son implication dans les trois autres opérations (cf. supra consid. A.c, A.d et A.e), estimant, en substance, que les éléments retenus sont insuffisants pour fonder sa culpabilité.
Ce faisant, l'intéressé se contente de reprendre les griefs invoqués dans son mémoire cantonal sans critiquer les arguments que la Cour de Cassation lui a opposés pour les écarter. Une telle motivation est irrecevable (cf. supra consid. 1.2). Il en va de même des critiques dirigées exclusivement contre le jugement de première instance, seule la décision prise en dernière instance cantonale pouvant faire l'objet d'un recours en matière pénale (<ref-law>).
3. Invoquant une violation de l'<ref-law> et se référant à la définition donnée à l'<ref-law>, le recourant conteste avoir joué le rôle de courtier, expliquant qu'il n'a rien touché dans le cadre de l'échange de cocaïne contre de l'héroïne et que cette transaction a finalement été conclue sans son aide (cf. supra consid. A.b).
3.1 La notion de courtage de l'<ref-law> doit être interprétée, en raison des versions allemande et italienne, de manière large et autonome par rapport à l'<ref-law>. Cette expression vise toute activité d'intermédiaire consistant soit à mettre en relation un aliénateur et un acquéreur potentiel de stupéfiants, soit à négocier, même en partie, pour l'un d'eux (<ref-ruling> consid. 2a p. 404).
3.2 Selon les constatations cantonales, dans le courant de 2001, le recourant a rencontré A._ et B._, lesquels avaient l'intention d'échanger un kilo d'héroïne contre 500 g de cocaïne. Dans ce but, il a mis les intéressés en contact avec C._ et D._ et organisé un rendez-vous au cours duquel il a fonctionné comme interprète. Ce premier contact ayant été positif et l'affaire ayant été pratiquement conclue, B._ a volontairement écarté le recourant, afin d'éviter de devoir lui verser une commission.
Au regard de ces éléments, le recourant a manifestement exercé une activité d'intermédiaire au sens défini ci-dessus et il importe peu qu'il n'ait finalement pas perçu de commission. Par conséquent, l'autorité précédente a correctement interprété la notion de courtage contenue à l'<ref-law> et le grief doit être rejeté.
4. Le recourant soutient que la peine qui lui a été infligée est particulièrement disproportionnée par rapport aux faits qui lui sont reprochés.
4.1 En ce qui concerne la fixation de la peine, l'<ref-law> correspond à l'art. 63 aCP et à la jurisprudence y relative. Le principe demeure que la peine doit être fixée d'après la culpabilité de l'auteur et celle-ci doit être appréciée en fonction d'une série de critères, énumérés, de manière non limitative, à l'<ref-law> et dont la jurisprudence rendue en application de l'art. 63 aCP exigeait déjà qu'ils soient pris en compte (<ref-ruling> consid. 2.1 p. 19).
En matière de stupéfiants, la quantité de drogue, même si elle ne joue pas un rôle prépondérant, constitue un élément important. Elle perd cependant de l'importance au fur et à mesure que l'on s'éloigne de la limite à partir de laquelle le cas doit être considéré comme grave au sens de l'<ref-law>. Le type de drogue et sa pureté doivent aussi être pris en considération. Le type et la nature du trafic en cause sont aussi déterminants. L'appréciation est différente selon que l'auteur a agi de manière autonome ou comme membre d'une organisation (<ref-ruling> consid. 2d/cc p. 206). L'étendue du trafic entrera également en considération. Enfin, le nombre d'opérations constitue un indice pour mesurer l'intensité du comportement délictueux. Outre les éléments qui portent sur l'acte lui-même, le juge doit prendre en considération la situation personnelle du délinquant. Les mobiles, c'est-à-dire les raisons qui ont poussé l'auteur à agir, ont aussi une influence sur la détermination de la peine (<ref-ruling> consid. 2b p. 301).
4.2 Le recourant soutient que sa peine est excessivement sévère par rapport aux condamnations prononcées dans les arrêts 6S.496/2006 et 6S.363/2004.
Comme le Tribunal fédéral a eu l'occasion de le rappeler à maintes reprises, la comparaison d'une peine d'espèce avec celle prononcée dans d'autres cas concrets est d'emblée délicate, compte tenu des nombreux paramètres qui interviennent dans la fixation de la peine, et elle est généralement stérile, dès lors qu'il existe presque toujours des différences entre les circonstances, objectives et subjectives, que le juge doit prendre en considération dans chacun des cas (<ref-ruling> consid. 3a p. 144). La jurisprudence a par ailleurs toujours souligné la primauté du principe de la légalité sur celui de l'égalité (<ref-ruling> consid. 2c p. 47), de sorte qu'il ne suffirait pas que le recourant puisse citer l'un ou l'autre cas où une peine particulièrement clémente a été fixée pour prétendre à un droit à l'égalité de traitement (<ref-ruling> consid. 3a p. 144).
Les comparaisons auxquelles procède le recourant ne sont pas pertinentes, puisque elles sont fondées sur les seules quantités de drogue en jeu, alors que celles-ci ne sont qu'un élément parmi d'autres pour fixer la peine. En outre, dans les deux cas cités par l'intéressé, le Tribunal fédéral a rejeté les pourvois des condamnés contre la quotité de la peine, ce qui signifie simplement que la sanction n'a pas été considérée comme trop sévère, mais non pas qu'une peine plus sévère n'eût pas aussi été encore compatible avec le large pouvoir d'appréciation qu'accorde l'<ref-law>.
4.3 Le recourant estime que l'importance de son rôle doit être relativisée. Il explique également que les quantités de drogue retenues ne sont justifiées par aucun élément déterminant et n'atteignent d'ailleurs même pas un kilo d'héroïne ou de cocaïne. Il conteste enfin avoir agi par appât du gain.
Le rôle du recourant a été défini pour chaque opération (cf. supra consid. A.b à A.e) et ne peut en aucun cas être minimisé. En effet, l'intéressé a permis à des fournisseurs de traiter avec des grossistes et a ainsi favorisé la circulation, l'écoulement et la mise sur le marché de quantités importantes de stupéfiants sur une période de cinq ans. Sa place dans le trafic est déterminante même s'il a limité au maximum ses contacts physiques avec la drogue, le rôle d'intermédiaire indicateur ou négociateur l'exposant beaucoup moins à une interpellation en flagrant délit que celui de vendeur, transporteur ou acheteur. L'argument est donc infondé.
Les quantités de drogue en cause sont en grande partie établies. Les seuls doutes, qui portent sur le trafic opéré en juillet et août 2004 (cf. supra consid. A.c), ont pour le reste été clairement exposés par les autorités précédentes. Par ailleurs, les quantités retenues dépassent largement la limite du cas grave prévue par l'<ref-law>. La critique est par conséquent infondée.
Enfin, déterminer la volonté de l'auteur ou le dessein dans lequel il a agi relève des constatations de fait qui lient la Cour de droit pénal. Or selon les constatations cantonales au sujet desquelles aucun arbitraire n'est démontré, le seul mobile de l'intéressé a été l'appât du gain, alors que son existence et celle des siens étaient pourtant assurées par des prestations sociales. Par ailleurs, les autorités ont admis, au bénéfice du doute, que son enrichissement n'avait pas été considérable dans la mesure où son train de vie n'avait pas révélé un soudain afflux de richesse. Le grief est donc vain.
4.4 Le recourant reproche à l'autorité cantonale de ne pas avoir suffisamment tenu compte des pressions exercées par la famille J._, de l'intensité et de la durée de son activité, de l'absence de liens temporels entre les divers trafics et de son bon comportement depuis son interpellation.
L'infraction réprimée par l'<ref-law> est passible d'une peine privative de liberté d'un an au moins, susceptible d'être cumulée avec une peine pécuniaire (<ref-law>), son maximum étant de 20 ans (<ref-law>). Homme mûr, intelligent, habile et formé, le recourant a su mettre à profit ses nombreux contacts pour se spécialiser dans un rôle de courtier en matière de commerce de stupéfiants. Son implication dans les divers trafics relevés (cf. supra consid. A.b à A.e) porte sur des quantités considérables et s'étend sur une certaine période. Il n'est lui-même pas toxicomane et sa responsabilité est entière. Il a agi par seul appât du gain, alors que son existence et celle de sa famille étaient assurées par des prestations sociales; son enrichissement n'a cependant pas été considérable. Il n'a éprouvé aucun scrupule, sa seule préoccupation ayant été de se protéger des risques d'arrestation et d'accusation pénale. A décharge, son état de santé s'est dégradé. De plus, il se préoccupe de ses enfants. Enfin, s'agissant de la dernière transaction (cf. supra consid. A.e), il a fait l'objet de pressions de la part du clan J._ pour rembourser sa dette et sa liberté de décision a été restreinte, dès lors qu'il a agi sous l'effet d'une menace grave (<ref-law>). Sur le vu de ces éléments, la peine infligée ne constitue pas un abus du large pouvoir d'appréciation appartenant au juge de répression. En conséquence, elle a été fixée sans violer le droit fédéral.
5. En conclusion, le recours est rejeté dans la mesure de sa recevabilité. Comme ses conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>) et le recourant supporte les frais (<ref-law>), fixés en fonction de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La requête d'assistance judiciaire est rejetée.
3. Les frais judiciaires, fixés à 1'600 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour de cassation pénale.
Lausanne, le 12 novembre 2008
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Schneider Bendani