Faits: A. Le 9 juillet 2005, entre minuit et une heure du matin, X._ et Y._ ont pénétré masqués dans le domicile de A._, à Lausanne, la sachant seule dans son appartement. Immédiatement après qu'elle ait ouvert la porte, ils l'ont poussée à terre. Ils lui ont ensuite ligoté les mains et les pieds avec de l'adhésif de carrossier. Ils lui ont également entouré la tête de scotch, lui fermant ainsi les yeux et la bouche. Ils l'ont ensuite portée sur son lit, lui ont ôté le bas de son pyjama et l'ont mise sur le ventre, la tête maintenue contre le matelas, entravant ainsi dangereusement sa respiration. Maintenue de force dans cette position, la victime a été pénétrée par le vagin et l'anus jusqu'à éjaculation. Au cours de l'agression, elle a tenté d'expliquer qu'elle manquait d'air. Ses agresseurs lui ont alors mis un vêtement dans la bouche et appuyé un oreiller sur la tête de sorte que sa vie a été mise en danger en raison de l'obstruction des voies respiratoires. La victime a d'ailleurs pensé qu'elle allait mourir. Alors qu'il se trouvait toujours sur elle, X._ lui a appliqué la lame d'un couteau sur la peau en lui tenant, en albanais, les propos suivants: « Où est l'argent ? Donne-moi l'argent sinon je vais te tuer toi et tes fils ». Il l'a en outre frappée à plusieurs reprises à coups de poings sur la tête. Pendant ce temps, Y._ fouillait les lieux à la recherche d'une somme d'argent dont il connaissait l'existence. Après une heure environ, les agresseurs ont quitté les lieux en emportant la somme de 3'515 euros, 10 francs suisses ainsi qu'un téléphone portable et en laissant la victime inerte, attachée sur le lit, l'oreiller sur la tête. L'Institut universitaire de médecine légale (IUML) dans ses rapports des 9 et 14 juillet 2005, a constaté des rougeurs à proximité de l'entrée du vagin de la victime, ainsi que de multiples érythèmes, certains associés à une tuméfaction sous-jacente, localisés au niveau de son visage, de son cuir chevelu, de son dos et de ses poignets, des ecchymoses au quadrant supéro-interne des fesses et des plaies superficielles à la face interne des lèvres. L'IUML a précisé que ces constatations étaient compatibles avec le déroulement des faits tel qu'il avait été décrit par la victime. Y._ et X._ ont toujours nié une quelconque implication dans cette agression. B. Par jugement du 18 décembre 2006, le Tribunal correctionnel de l'arrondissement de Lausanne a notamment condamné Y._, pour brigandage qualifié, violation de domicile, contrainte sexuelle qualifiée commise en commun et viol qualifié commis en commun, à la peine de onze ans et demi de réclusion et l'a expulsé du territoire suisse pour une durée de quinze ans. Par le même jugement, il a aussi condamné X._ pour brigandage qualifié, utilisation abusive d'une installation de télécommunication, violation de domicile, contrainte sexuelle qualifiée commise en commun, viol qualifié commis en commun, faux dans les certificats et infraction à la loi fédérale sur le séjour et l'établissement des étrangers à la peine de douze ans de réclusion. Il l'a en outre expulsé du territoire suisse pour une durée de quinze ans. C. Le 1er mai 2007, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté les recours de Y._ et X._. Elle a constaté que suite à l'entrée en vigueur de la partie générale du CP, les mesures d'expulsion étaient devenues sans objet et a confirmé pour le surplus le jugement de première instance. S'agissant de X._, la cour cantonale a admis que l'appréciation des preuves de l'autorité précédente, qui repose sur les déclarations claires de la victime corroborées par les constatations médicales, n'a rien d'arbitraire et que, sur la base de ces faits, la contrainte sexuelle et le viol étaient tous deux qualifiés au sens des art. 189 al. 3 et 190 al. 3 CP. Elle a par ailleurs considéré que la peine infligée était justifiée eu égard à la culpabilité extrêmement lourde du condamné et à l'absence d'éléments à sa décharge. En ce qui concerne Y._, elle a également jugé qu'il n'était pas arbitraire d'écarter sa version des faits, selon laquelle il aurait été l'amant de la victime, estimant que ça n'était pas la seule manière d'expliquer que les agresseurs aient su que la victime détenait une somme d'argent, les protagonistes se connaissant de longue date et des liens familiaux existant même entre certains d'entre eux. D. Contre cet arrêt, X._ et Y._ forment des recours en matière pénale. Le premier reproche à l'autorité cantonale d'avoir constaté les faits de manière arbitraire, d'avoir violé l'art. 189 al. 3 CP car il conteste avoir fait preuve de cruauté, et enfin de lui avoir infligé une peine excessive, violant l'art. 47 CP. Le second se plaint d'une violation du principe "in dubio pro reo" ainsi que de l'interdiction de l'arbitraire. Tous deux concluent, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour qu'elle statue à nouveau. Ils sollicitent en outre l'assistance judiciaire.