Faits:
A. Au printemps 2004, X._ a rencontré fortuitement Y._, enfant sourde et muette née le 19 janvier 1989, dans le hall de son immeuble. Dans l'ascenseur, X._ a ignoré l'intention de la jeune fille qui désignait le bouton de son étage et l'a conduite à celui où se situait son studio. Il l'a poussée hors de la cabine, a ouvert la porte de son logement, a empoigné la jeune fille pour qu'elle franchisse la porte qu'il a ensuite verrouillée. Il a alors amené la victime à regarder un film pornographique avant de la déshabiller et de la prendre par force sur son lit. Y._ a résisté physiquement dans l'ascenseur, le couloir et le studio. Son handicap l'a empêchée d'appeler au secours.
En été 2004 s'est déroulé un second épisode identique au premier.
B. Par jugement du 16 mai 2007, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a notamment libéré X._ des griefs de contrainte, actes d'ordre sexuel commis sur une personne incapable de discernement et de résistance, séquestration et enlèvement et l'a condamné pour actes d'ordre sexuel avec un enfant, viol et pornographie à une peine privative de liberté de cinq ans. Le tribunal a estimé que le récit de l'enfant était crédible contrairement à la thèse du complot développée par X._.
C. Par arrêt du 24 août 2007, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de X._ et confirmé le jugement de première instance.
D. X._ forme un recours en matière pénale contre cet arrêt. Invoquant une violation du principe in dubio pro reo et de l'<ref-law>, il conclut, principalement, à la réforme de l'arrêt attaqué et à son acquittement de tous les chefs d'accusation retenus à son encontre ainsi qu'au rejet de toutes les conclusions civiles. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale. Il sollicite en outre l'assistance judiciaire et l'effet suspensif.

Considérant en droit:
1. 1.1 Rendu en matière pénale (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>), l'arrêt attaqué, qui met fin à la procédure (<ref-law>), peut faire l'objet d'un recours en matière pénale (<ref-law>). L'accusé, qui a succombé dans ses conclusions (<ref-law>) a qualité pour recourir.
1.2 Le recours peut notamment être formé pour violation du droit fédéral (<ref-law>), qui englobe les droits constitutionnels. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), à moins que le recourant ne démontre que ces faits ont été établis de façon manifestement inexacte, à savoir arbitraire au sens de l'art. 9 Cst. (FF 2001 p. 4135), ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le Tribunal fédéral ne sanctionne une violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>). Les exigences de motivation de l'acte de recours correspondent à celles de l'art. 90 al. 1 let. b OJ (FF 2001 p. 4142).
Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments du recourant ni par la motivation de l'autorité précédente. Toutefois, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 1 et 2 LTF, dont la sanction est l'irrecevabilité (<ref-law>), il n'examine en principe que les griefs invoqués et n'est dès lors pas tenu de traiter des questions qui ne sont plus discutées devant lui. Il ne peut aller au-delà des conclusions des parties (<ref-law>).
2. 2.1 La présomption d'innocence est garantie par les art. 32 al. 1 Cst. et 6 par. 2 CEDH, qui ont la même portée. Elle a pour corollaire le principe "in dubio pro reo", qui concerne tant le fardeau de la preuve que l'appréciation des preuves. En tant que règles sur le fardeau de la preuve, ces principes signifient que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter à l'accusé. Comme règles de l'appréciation des preuves, ils sont violés lorsque le juge qui s'est déclaré convaincu aurait dû, au vu des éléments de preuve qui lui étaient soumis, éprouver des doutes quant à la culpabilité de l'accusé. Le Tribunal fédéral examine librement si ces principes ont été violés en tant que règle sur le fardeau de la preuve, mais il n'examine que sous l'angle de l'arbitraire la question de savoir si le juge aurait dû éprouver un doute, c'est-à-dire celle de l'appréciation des preuves (<ref-ruling> consid. 2a p. 41; <ref-ruling> consid. 4 p. 211; <ref-ruling> consid. 2d p. 37 s.).
Lorsque, comme en l'espèce, le recours est dirigé contre une décision d'une autorité cantonale de dernière instance dont la cognition était limitée à l'arbitraire, l'examen du Tribunal fédéral porte concrètement sur l'arbitraire du jugement de l'autorité inférieure, à la lumière des griefs soulevés dans l'acte de recours. Cependant, pour se conformer aux exigences de motivation rappelées au considérant 1.2 ci-dessus, le recourant ne peut pas simplement reprendre les critiques qu'il a formulées en instance cantonale, mais il doit exposer pourquoi cette dernière aurait refusé à tort de qualifier d'arbitraire l'appréciation des preuves faite par l'autorité de première instance. Le Tribunal fédéral se prononce librement sur cette question (<ref-ruling> consid. 1a/cc et 1b p. 495 et les arrêts cités).
2.2 Dans le cas particulier, le recourant conteste avoir emmené la jeune fille dans son studio et l'avoir violée. En l'absence de toute trace matérielle des événements, le tribunal a motivé sa conviction selon laquelle la version de la victime correspondait à la réalité par le fait qu'elle avait pu décrire succinctement mais complètement l'appartement du recourant et qu'on ne comprenait pas comment elle pourrait mentir avec une telle précision et une telle émotion. Le tribunal a relevé que la psychologue n'avait jamais constaté de tendance à l'affabulation chez la victime. Il a insisté sur l'émotion dégagée par l'enregistrement des déclarations faites par celle-ci à la police, qu'il a opposée à la défense désinvolte ainsi qu'à l'indignation factice de l'accusé et a considéré que les déclarations de la victime avaient une résonance psychologique juste. Il a encore précisé que ces déclarations étaient intervenues dans un contexte d'angoisse et de somatisation et que la victime avait clairement distingué les deux situations auxquelles elle avait été confrontée, ayant également été victime d'attouchements de la part de son beau-père, faits reconnus par ce dernier.
Pour l'essentiel, le moyen du recourant tiré d'une appréciation arbitraire des preuves a été déclaré purement appellatoire par la cour cantonale et a été rejeté.
Devant la cour de céans, le recourant se limite à prétendre que l'autorité de recours s'est contentée de retenir la version de la victime et qu'elle a confirmé sa condamnation uniquement parce qu'elle n'était pas convaincue de son innocence, ne donnant au demeurant aucune explication convaincante sur le refus de prendre en considération sa version plutôt que celle de la victime. Or, il ressort clairement du dossier que le recourant n'a pas été condamné parce qu'il n'a pas pu prouver son innocence, mais au contraire que sa culpabilité a été retenue sur la base d'une appréciation des preuves qui a conduit à admettre que la version de la victime correspondait à la réalité. En tant qu'il conteste cette appréciation des preuves sans en démontrer le caractère arbitraire et sans expliquer en quoi l'arrêt cantonal aurait rejeté à tort son grief, le recourant ne satisfait pas aux exigences de motivation rappelées ci-dessus et il n'y a pas lieu d'examiner ce grief, qui doit être déclaré irrecevable.
3. Le recourant invoque en outre une violation de l'<ref-law> et prétend que des doutes auraient dû être nourris sur sa responsabilité pénale et qu'une expertise psychiatrique aurait donc dû être ordonnée.
3.1 L'<ref-law>, qui prescrit au juge d'ordonner une expertise s'il existe une raison sérieuse de douter de la responsabilité de l'auteur, correspond à l'art. 13 al. 1 aCP (cf. Message concernant la modification des dispositions générales du code pénal et du code pénal militaire; FF 1999, 1787 ss, 1813). La jurisprudence relative à cette dernière disposition conserve donc sa valeur.
Selon celle-là, le juge doit ordonner une expertise non seulement lorsqu'il éprouve effectivement des doutes quant à la responsabilité de l'auteur, mais aussi lorsque, d'après les circonstances du cas particulier, il aurait dû en éprouver, c'est-à-dire lorsqu'il se trouve en présence d'indices sérieux propres à faire douter de la responsabilité pleine et entière de l'auteur (<ref-ruling> consid. 3.3; <ref-ruling> consid. 5.1 et les arrêts cités).
A titre d'exemple de tels indices, la jurisprudence mentionne une contradiction manifeste entre l'acte et la personnalité de l'auteur, le comportement aberrant du prévenu, un séjour antérieur dans un hôpital psychiatrique, une interdiction prononcée en vertu du code civil, l'alcoolisme chronique, la dépendance aux stupéfiants, la possibilité que la culpabilité ait été influencée par un état affectif particulier ou encore l'existence de signes d'une faiblesse d'esprit ou d'un retard mental (cf. <ref-ruling> consid. 4a p. 274; <ref-ruling> consid. 1b p. 75 s.).
La jurisprudence a cependant souligné qu'une capacité délictuelle diminuée ne doit pas être admise en présence de toute insuffisance du développement mental, mais seulement lorsque l'accusé se situe nettement en dehors des normes et que sa constitution mentale se distingue de façon essentielle non seulement de celle des personnes normales mais aussi de celle des délinquants comparables (<ref-ruling> consid. 3.3; <ref-ruling> consid. 4b p. 276).
3.2 Le recourant reproche à l'autorité cantonale d'avoir nié l'existence d'indices suffisants pour ordonner une expertise. Il prétend souffrir de psychopathie grave, du fait qu'il a violé une jeune fille sourde et muette à deux reprises dans des conditions abominables pour ensuite manifester un détachement et une désinvolture considérés comme inquiétants par les premiers juges.
Le recourant, délinquant primaire, a commis deux viols sur une jeune fille handicapée. Du fait de son comportement en procédure et notamment de ses dénégations, on ne dispose d'aucune information sur ses mobiles. Son comportement est certes troublant et on peut s'interroger sur la personnalité et l'état psychique d'un auteur d'actes aussi vils, comme c'est le cas pour tous les délinquants sexuels. Cependant, il ne ressort pas du dossier que ses facultés mentales étaient altérées au moment où il a agi et le recourant n'invoque aucun élément permettant de soupçonner que tel aurait été le cas. Le seul fait qu'il ait commis à deux reprises une infraction sexuelle ne suffit pas à faire douter de sa responsabilité pénale, sauf à considérer que tout individu à la vie apparemment ordinaire qui commettrait de telles infractions serait suspect d'une capacité délictuelle diminuée.
Au surplus, l'expérience enseigne que maintes maladies et comportements dépendent du psychisme. Estimer qu'il y a matière à doute quant à la responsabilité chaque fois qu'il est possible, voire vraisemblable, que les actes ont aussi une origine psychique serait excessif (voir arrêt non publié du 9 septembre 2005 dans la cause 6S.284/2005, consid. 2.3; arrêt du 7 septembre 1983 dans la cause Str.84/1983, publié in SJ 1984 p. 160, consid. 3; <ref-ruling> consid. 7b p. 226).
Le comportement du recourant en cours de procédure, soit le fait qu'il ait toujours nié et nie encore avoir commis de telles infractions ou son attitude désinvolte et son détachement, qui étaient pour le moins malvenus en l'espèce, ne le distinguent pas non plus de la plupart des auteurs d'infractions sexuelles et ne suffisent pas à faire sérieusement douter de sa pleine responsabilité pénale.
Dans ces circonstances, l'autorité cantonale n'a donc pas violé le droit fédéral en refusant d'ordonner une expertise et le grief doit être rejeté.
4. Partant, le recours doit être rejeté dans la mesure où il est recevable. Comme ses conclusions apparaissaient d'emblée vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant, qui succombe, supportera les frais de la cause (<ref-law>), dont le montant sera fixé en tenant compte de sa situation financière (<ref-law>). Il ne sera pas alloué de dépens à la victime qui n'est pas intervenue dans la procédure devant le Tribunal fédéral.
Enfin, la cause étant ainsi tranchée, la requête d'effet suspensif est devenue sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La requête d'assistance judiciaire est rejetée.
3. Un émolument judiciaire de 1000 francs est mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour de cassation pénale du Tribunal cantonal vaudois.
Lausanne, le 16 janvier 2008
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Schneider Paquier-Boinay