Faits:
A. Par jugement du 12 décembre 2006, le Tribunal d'arrondissement II Bienne-Nidau a notamment reconnu X._ coupable de viol qualifié, de viols, de séquestration, d'infractions qualifiées à la LStup et de rupture de ban. Partant, il l'a condamné à 6 ans de réclusion et à l'expulsion à vie du territoire suisse, a ordonné l'internement du condamné et la suspension de l'exécution de la peine au profit de l'internement.
A la base de cette condamnation, les faits suivants ont été retenus.
En été 2004 à Nidau, X._ a fermé la porte de son appartement à clef, alors que B._ se trouvait à l'intérieur, puis a jeté les clefs dans un tiroir. Il l'a empêchée d'appeler de l'aide en détruisant la puce électronique de son téléphone mobile. En profitant de l'emprise qu'il avait sur elle en raison de sa grande consommation de pilules thaïes et en faisant usage de la force, il l'a contrainte à des relations sexuelles complètes. Suite à ces actes, il a interdit à sa victime de partir, lui a offert et remis des pilules thaïes et l'a empêchée de quitter l'appartement pendant plusieurs heures.
Toujours à Nidau, au début de l'été 2005, X._ a profité de l'emprise qu'il avait sur C._ en raison de sa consommation massive de stupéfiants. Il lui a offert des pilules thaïes et l'a contrainte à des relations sexuelles complètes. Il lui a serré le cou de manière à ce qu'elle perde quasiment connaissance puis lui a donné une gifle pour qu'elle reprenne conscience.
Un autre jour, X._ a emmené de force C._ dans la salle de bain, dont il a fermé la porte à clef, et a contraint sa victime à entretenir des relations complètes.
B. Par arrêt rendu le 6 septembre 2007 et rédigé le 31 mars 2008, la 3ème Chambre pénale de la Cour suprême du canton de Berne a confirmé la déclaration de culpabilité de X._ et la peine privative de liberté de 6 ans infligée au condamné. Elle a par ailleurs renoncé à l'expulsion, qui est désormais du seul ressort de la police, et réformé le jugement de première instance en renonçant à prononcer une mesure d'internement.
C. X._ forme un recours en matière pénale contre cet arrêt, concluant à son annulation en tant qu'il le reconnaît coupable de viol qualifié, de viols et de séquestration, ainsi qu'au renvoi de la cause à l'autorité cantonale pour qu'elle procède à une nouvelle administration de preuves et rende une nouvelle décision. Il invoque une violation de son droit d'être entendu et l'interdiction de l'arbitraire. Il sollicite également l'assistance judiciaire.
D. Il n'a pas été demandé d'observations.

Considérant en droit:
1. Rendue en matière pénale (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>), la décision attaquée, qui met fin à la procédure (<ref-law>), peut faire l'objet d'un recours en matière pénale (<ref-law>). L'accusé, qui a succombé dans ses conclusions (<ref-law>), a qualité pour recourir.
Le recours peut notamment être formé pour violation du droit fédéral (<ref-law>), qui englobe les droits constitutionnels. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), à moins que le recourant ne démontre que ces faits ont été établis de façon manifestement inexacte, à savoir arbitraire au sens de l'art. 9 Cst. (FF 2001 p. 4135), ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le Tribunal fédéral ne sanctionne une violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>). Les exigences de motivation de l'acte de recours correspondent à celles de l'art. 90 al. 1 let. b OJ (FF 2001 p. 4142).
Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments du recourant ni par la motivation de l'autorité précédente. Toutefois, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 1 et 2 LTF, dont la sanction est l'irrecevabilité (<ref-law>), il n'examine en principe que les griefs invoqués et n'est dès lors pas tenu de traiter des questions qui ne sont plus discutées devant lui. Il ne peut aller au-delà des conclusions des parties (<ref-law>).
2. Le recourant prétend qu'en écartant tous les moyens de preuve invoqués par la défense, l'autorité cantonale a violé son droit à un procès équitable (art. 6 CEDH) et son droit d'être entendu (art. 29 al. 2 Cst.).
2.1 Le droit de fournir des preuves quant aux faits de nature à influer sur le sort de la décision à rendre est une composante du droit d'être entendu garanti par l'art. 29 al. 2 Cst. (<ref-ruling> consid. 2b p. 56; <ref-ruling> consid. 2c p. 578; <ref-ruling> consid. 2a/aa p. 16). Une garantie analogue découle de l'art. 6 par. 3 let. d CEDH, qui dispose que tout accusé a le droit d'interroger ou faire interroger les témoins à charge et d'obtenir la convocation et l'interrogation des témoins à décharge dans les mêmes conditions que les témoins à charge. Il s'agit d'une concrétisation du droit à un procès équitable consacré par les art. 29 al. 1 Cst. et 6 par. 1 CEDH.
Le droit d'être entendu comprend en particulier le droit pour l'intéressé d'offrir des preuves, de prendre connaissance du dossier, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (ATF <ref-ruling> consid. 2a/aa p. 16). Toutefois, le droit d'être entendu ne peut être exercé que sur les éléments qui sont déterminants pour décider de l'issue du litige. Il est ainsi possible de renoncer à l'administration de certaines preuves offertes lorsque le fait à établir est sans importance pour la solution du cas, qu'il résulte déjà de constatations ressortant du dossier ou lorsque le moyen de preuve avancé est impropre à fournir les éclaircissements nécessaires. L'appréciation anticipée des preuves ne constitue pas une atteinte au droit d'être entendu (<ref-ruling> consid. 5.3 p. 148; <ref-ruling> consid. 2.1 p. 428s. et les arrêts cités). Au même titre que toute appréciation des preuves, l'appréciation anticipée de celles-ci est soumise à l'interdiction de l'arbitraire (<ref-ruling> consid. 5b p. 285).
2.2 Le recourant prétend que pour savoir si les relations sexuelles qu'il a entretenues avec C._ étaient ou non consenties, il était important de déterminer si les parties entretenaient déjà une relation de couple. Pour ce faire, il a requis un relevé précis de l'ensemble de ses conversations téléphoniques avec C._, de même que de celles qu'il a eues avec B._, ainsi que l'audition de personnes qui avaient des contacts réguliers avec lui et C._ et qui auraient pu témoigner de la nature de leur relation.
Cependant, ainsi que le relève le recourant lui-même, la cour cantonale a retenu d'une part l'existence d'une relation intime entre le recourant et C._, ce que l'administration des preuves avait permis d'établir, et d'autre part qu'on pouvait déduire du témoignage de l'inspecteur D._ que les écoutes téléphoniques ne comportaient pas d'indices d'un viol. Partant, la cour cantonale pouvait sans arbitraire renoncer à administrer des preuves superflues. S'agissant de B._, le recourant ne prétend pas dans son recours qu'une même relation intime aurait existé entre eux. Il n'expose pas non plus en quoi, dans l'hypothèse où elle aurait été établie, elle aurait permis de faire apparaître comme insoutenables les faits retenus relatifs au viol. Il se contente d'affirmer que les juges cantonaux sont tombés dans l'arbitraire en considérant comme crédibles les faits dénoncés par B._ sans les faire vérifier grâce à un relevé complet des écoutes réalisées. Or, l'arrêt cantonal admet que les écoutes téléphoniques ne comportaient pas d'indices sur les viols, si bien qu'on ne voit pas en quoi l'analyse de ces écoutes serait pertinente et le recourant ne montre pas en quoi cette appréciation serait arbitraire. Par conséquent, il n'y a pas lieu d'examiner plus avant le grief du recourant, qui ne répond pas aux exigences de motivation rappelées ci-dessus.
3. Le recourant reproche à l'autorité cantonale de ne pas s'être interrogée sur la crédibilité des déclarations de C._ bien que cette dernière ait faussement nié avoir entretenu des relations intimes avec le recourant avant les prétendus viols dont elle a été victime.
Après avoir clairement dit que le fait qu'une relation intime existait entre C._ et le recourant n'excluait pas un abus sexuel de la part de ce dernier, la cour cantonale a considéré que cette relation, basée sur le trafic de drogue, était manifestement dictée par cette dépendance. Dans ces conditions il était compréhensible que C._ n'ait pas voulu lui donner de connotation sentimentale et admis avoir une relation avec le recourant, ce qui ne saurait remettre en cause la crédibilité de l'ensemble de ses déclarations.
Le recourant se contente de contester cette appréciation sans en démontrer le caractère arbitraire et son grief, qui ne répond pas aux exigences de motivation rappelées ci-dessus, n'a pas à être examiné plus avant. Au demeurant, le fait que la victime ait pu nier avoir eu des relations intimes avec le recourant avant les viols ne permettrait pas encore de conclure à l'arbitraire de l'appréciation cantonale, étant rappelé que l'existence de telles relations n'exclut pas que les viols aient eu lieu.
Le recourant se plaint en outre d'arbitraire du fait que la cour cantonale aurait fait sienne l'analyse de crédibilité des premiers juges, alors que ceux-ci seraient partis, s'agissant du point central de l'existence d'une relation de couple entre C._ et lui, d'une toute autre appréciation des faits. A nouveau, le recourant n'expose pas en quoi il n'était pas possible, sans arbitraire, de suivre le raisonnement des premiers juges à l'exclusion de cet élément et en exposant les raisons pour lesquelles cette divergence ne modifiait pas l'appréciation quant à l'existence des viols imputés au recourant. Par conséquent, sur ce point également, les affirmations du recourant ne remplissent pas les exigences de motivation exposées ci-dessus et il n'y a pas lieu d'examiner ce grief.
4. Le recourant se plaint encore de ce que la cour cantonale se serait appuyée sur les déclarations de l'inspecteur D._ en admettant qu'il aurait agi en trois phases et en mentionnant qu'il avait d'ailleurs déjà agi de même dans le contexte de faits à l'origine de la première enquête neuchâteloise menée contre lui, préférant s'appuyer sur les dires de l'inspecteur précité plutôt que sur l'acquittement dont le recourant a bénéficié pour les inculpations de viol dans le cadre de la procédure neuchâteloise.
La cour cantonale a admis que le recourant avait opéré en trois phases, la première consistant à fidéliser ses victimes en leur offrant de la drogue, la seconde à les faire participer au trafic de drogue et la dernière à les réduire au statut d'objet, parfois sexuel, sans trop de risques dans la mesure où il était peu probable qu'elles fassent appel à la police après avoir vendu de la drogue. Il avait déjà utilisé cette tactique, selon les déclarations de l'inspecteur D._. L'autorité cantonale a toutefois clairement précisé qu'on ne saurait imputer au recourant le fait d'avoir créé une situation de dépendance dans le but d'abuser sexuellement de ses victimes. Ainsi, cette appréciation ne va pas à l'encontre du jugement invoqué par le recourant, par lequel il a été acquitté de la prévention de viol, mais, il faut le souligner, reconnu coupable de contrainte, étant très clairement précisé que le recourant n'avait pas créé de situation de dépendance dans le but d'abuser sexuellement de ses victimes et que la troisième phase dont parle l'autorité cantonale, soit la réduction des victimes au statut d'objet, n'avait pas nécessairement un caractère sexuel. Dans ces conditions, l'arrêt cantonal n'est pas insoutenable et ne viole ni la présomption d'innocence, ni l'autorité de chose jugée.
5. Le recourant reproche enfin à l'autorité cantonale d'avoir refusé de prendre en compte une lettre de B._ écrite après les faits incriminés et dans laquelle elle s'adresse en termes plutôt tendres au recourant.
L'autorité cantonale n'a pas ignoré cette lettre mais au vu de l'état de dépendance de B._ et de sa peur de représailles, elle a considéré qu'il ne fallait pas y attacher trop d'importance et qu'il s'agissait d'une sorte de lettre d'excuses. On ne sait pas à quelle date et dans quelles circonstances elle a été écrite et, selon les déclarations de B._, elle ne concernerait pas le viol.
En se limitant à contester cette appréciation, sans aucunement en démontrer le caractère arbitraire, le grief du recourant ne répond pas aux exigences de motivation rappelées ci-dessus et il n'y a pas lieu de l'examiner.
6. Au vu de ce qui précède, le recours ne peut qu'être rejeté dans la mesure où il est recevable. Comme il était d'emblée dénué de chances de succès, la requête d'assistance judiciaire doit également être rejetée et les frais de la procédure mis à la charge du recourant, en tenant compte de sa situation financière. Il n'est pas alloué d'indemnité aux victimes qui n'ont pas participé à la procédure devant le Tribunal fédéral.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La requête d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la 3ème Chambre pénale de la Cour suprême du canton de Berne.
Lausanne, le 10 juillet 2008
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Schneider Paquier-Boinay