Faits:
A. A.a A plusieurs reprises, entre le 10 août et le 18 septembre 2004, A.X._ a contraint son épouse, B.X._, à subir divers actes d'ordre sexuel au cours desquels il lui a ligoté les mains et les jambes à l'aide de menottes et de lacets, lui a placé un mors dans la bouche, lui a fixé des pinces reliées à des chaînettes - sur lesquelles il tirait pour lui faire mal - au niveau des seins et des lèvres de son sexe, l'a frappée avec une cravache sur les parties génitales et l'a sodomisée.
A.b Le 23 septembre 2004, A.X._, contrarié par l'appel téléphonique de son épouse à son avocat, a brandi un couteau dans sa direction en disant qu'il allait la tuer. Par la suite, il l'a empoignée par les cheveux et l'a projetée au sol. Avant de quitter l'appartement, il a emporté son fusil d'assaut en réitérant ses menaces de mort.
B. Par jugement du 5 septembre 2008, le Tribunal du IIème arrondissement pour le district de Sierre a condamné A.X._, pour contrainte sexuelle et tentative de menaces, à une peine privative de liberté de trois ans et demi, sous déduction de la détention préventive subie.
C. Par jugement du 18 janvier 2010, la IIème Cour pénale du Tribunal cantonal valaisan a admis partiellement l'appel de A.X._. Elle l'a condamné, pour contrainte sexuelle et tentative de menaces, à une peine privative de liberté de trois ans, sous déduction de la détention préventive subie, et l'a mis au bénéfice du sursis partiel à l'exécution de la peine à concurrence de dix-huit mois, pendant un délai d'épreuve de trois ans.
D. A.X._ dépose un recours en matière pénale au Tribunal fédéral. Invoquant l'arbitraire et une violation du principe « in dubio pro reo », il conclut, principalement, à son acquittement des chefs d'accusation retenus à son encontre et, subsidiairement, au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il requiert également l'assistance judiciaire.

Considérant en droit:
1. Le recourant se plaint uniquement d'arbitraire et d'une violation du principe « in dubio pro reo ».
1.1 Tel qu'il est motivé par le recourant, le grief de violation du principe « in dubio pro reo » revient à invoquer une violation de ce principe comme règle de l'appréciation des preuves, et non comme règle sur le fardeau de la preuve, de sorte qu'il se confond en définitive avec celui d'arbitraire également soulevé.
1.2 Une décision, respectivement une appréciation, n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable. Il faut qu'elle soit manifestement insoutenable ou, autrement dit, absolument inadmissible, et cela non seulement dans sa motivation mais dans son résultat (<ref-ruling> consid. 1.3 p. 4 s.; <ref-ruling> consid. 5.4 p. 148).
L'appréciation des preuves est en particulier arbitraire lorsque le juge de répression n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (<ref-ruling> consid. 2.1 p. 9). Il ne suffit pas qu'une interprétation différente des preuves et des faits qui en découlent paraisse également concevable pour que le Tribunal fédéral substitue sa propre appréciation des preuves à celle effectuée par l'autorité de condamnation, qui dispose en cette matière d'une grande latitude. En serait-il autrement, que le principe de la libre appréciation des preuves par le juge du fond serait violé (<ref-ruling> consid. 2d p. 37 s.).
Sous peine d'irrecevabilité, l'arbitraire allégué doit par ailleurs être démontré conformément aux exigences accrues de motivation de l'<ref-law> (cf. <ref-ruling> consid. 1.4 p. 287).
2. Le recourant conteste les événements du 23 septembre 2004, soit avoir proféré des menaces à l'encontre de son épouse.
2.1 Il reproche tout d'abord à l'autorité cantonale d'avoir écarté sa version des faits au profit de celle de la victime, alors que le récit de cette dernière comporte des incohérences sur les coups reçus ce jour-là et qu'elle n'est par conséquent pas crédible.
2.1.1 La Cour pénale a retenu que l'intimée avait été cohérente et constante dans sa relation des événements litigieux et que, pour l'essentiel, elle n'avait pas varié dans ses dépositions successives. S'agissant des coups infligés, elle a relevé que, lorsqu'elle avait été entendue pour la première fois par la police, le 1er octobre 2004, l'intimée n'avait effectivement pas expressément mentionné que le recourant l'avait empoignée par les cheveux et projetée au sol le 23 septembre 2004. Toutefois, elle avait déclaré, au cours de ce même interrogatoire, que, depuis le début de la vie commune, son époux la frappait à chaque fois qu'étaient abordés entre eux des sujets délicats, tels que ses maîtresses ou les questions d'argent. Par ailleurs, le recourant avait admis, devant la police et le juge de district, qu'il lui était arrivé, à plusieurs reprises, de saisir son épouse par les cheveux et de la gifler lorsqu'il était en colère. Se fondant sur ces éléments, la Cour cantonale a estimé qu'il n'y avait rien d'étonnant à ce que l'intimée se fût, dans un premier temps, focalisée sur des actes autrement plus graves, soit les menaces de mort proférées à son endroit, de surcroît, avec une arme, et n'eut pas jugé utile de faire spécialement état de simples voies de fait dont elle était coutumière. Elle a donc admis que l'attitude de la plaignante n'était pas incohérente, ni susceptible d'ôter toute crédibilité à ses déclarations au sujet des faits pertinents (cf. jugement p. 17).
La Cour pénale a également considéré que le recourant, de son côté, s'était montré plutôt inconstant dans ses dépositions devant la police et que ses propos avaient été contredits, sur un certain nombre de points qu'elle a exposés dans sa décision, par les déclarations de sa nouvelle épouse et par les actes du dossier, ce qui ébranlait fortement le crédit que l'on pouvait accorder à ses dénégations (cf. jugement p. 20).
2.1.2 Dans son argumentation, le recourant se contente d'alléguer que la motivation cantonale est arbitraire, sans toutefois procéder à une quelconque démonstration de l'inconstitutionnalité invoquée. Il ne s'en prend aucunement aux arguments qui lui ont été opposés ci-dessus par les juges précédents. Le grief est par conséquent irrecevable, puisqu'insuffisamment motivé.
2.2 Le recourant soutient ensuite que le comportement de l'intimée durant les journées des 24 et 25 septembre 2004 ne correspond pas à celui d'une personne qui aurait vécu la veille au soir des événements violents et qui aurait eu peur de son époux.
2.2.1 Contrairement à ce que semble penser l'intéressé, l'autorité cantonale n'a ignoré aucun élément invoqué par ce denier, dès lors qu'elle a relaté le déroulement des journées précitées (cf. jugement p. 8 et 9) et les motifs qui avaient finalement poussé la plaignante à dénoncer les faits litigieux (cf. jugement p. 11).
2.2.2 La Cour pénale a estimé que le comportement plutôt ambigu de la victime, qui, dans un premier temps en tout cas, était demeurée au domicile conjugal, et le fait qu'elle avait apparemment vaqué à ses tâches habituelles les 24 et 25 septembre 2004, s'expliquait par la crainte et l'état de sujétion de l'épouse envers le recourant. En effet, comme l'avait confirmé Y._, l'intimée vivait dans la crainte permanente et sous la domination totale de son époux. Celui-ci lui interdisait de prendre un emploi, n'acceptait pas qu'elle sorte de la maison, même pour se rendre chez le médecin, et, lorsqu'il était au travail, déviait le téléphone de la maison sur son propre téléphone portable. De plus, ses origines étrangères, sa maîtrise approximative de la langue française, sa personnalité naïve et ignorante, son absence d'insertion dans le monde professionnel avaient placé l'intimée dans une position de dépendance socio-économique vis-à-vis du recourant. Cet état de sujétion était encore accentué par sa préoccupation du bien-être de son fils, qui était atteint de troubles du comportement et nécessitait des soins particuliers, et son appréhension que le recourant mît à exécution sa menace de lui enlever son enfant.
Le recourant se borne à nier que l'intimée eût pu avoir peur de lui en se référant au déroulement des 24 et 25 septembre 2004. Autrement dit, il ne fait que proposer sa propre appréciation des preuves à celle retenue par les juges cantonaux, sans toutefois démontrer en quoi les éléments exposés ci-dessus ne pouvaient permettre d'aboutir à la conclusion selon laquelle l'intimée était sous la domination et vivait dans la crainte de son mari. Le grief est insuffisamment motivé et donc irrecevable.
3. Le recourant conteste l'appréciation des preuves faite en relation avec les actes d'ordre sexuel retenus à son encontre.
3.1 Il nie tout d'abord que les déclarations de Y._ puissent constituer un élément à charge, dès lors celle-ci n'a fait qu'un témoignage indirect des événements et ne connaissait d'ailleurs pas particulièrement bien le couple X._.
3.1.1 Selon les constatations cantonales, Y._, demi-soeur du recourant, a déclaré que l'intimée vivait sous la domination de son époux et dans une crainte permanente de lui. Elle a indiqué que, lors d'une rencontre, le 6 ou 13 septembre 2004, sa belle-soeur lui a déclaré qu'elle ne voulait pas quitter son époux car elle l'aimait et que son fils avait besoin d'un père. Au fil de la discussion, elle en était venue à lui parler des actes d'ordre sexuel auxquels elle était forcée de se soumettre. Elle lui a exposé, à ce propos, que son mari la frappait sur les fesses avec un instrument, lui plaçait un objet dans la bouche pour l'empêcher de crier, lui attachait les mains et la sodomisait, ce qui lui avait provoqué des diarrhées. Elle lui a montré une légère griffure au sein droit causée par l'utilisation des pinces et lui a indiqué l'endroit où était entreposée la cravache. Elle a précisé que ces sévices avaient débuté peu après son retour au Portugal et a spécifié qu'elle n'y avait jamais consenti. Malgré tout, elle n'entendait pas faire appel à la police afin de ne pas faire de tort à son mari et de peur que celui-ci s'en aille avec leur fils. Elle lui a aussi présenté la mallette renfermant notamment les divers ustensiles utilisés par le recourant ainsi qu'un emballage contenant un sexe en plastique. Y._ a effectué une photographie du contenu de ladite mallette, afin de venir en aide à sa belle-soeur, photographie qui figure au dossier (cf. jugement p. 16 et 17).
3.1.2 La Cour pénale a acquis l'intime conviction que les faits litigieux s'étaient bien déroulés de la manière relatée par l'intimée au motif notamment que sa description des différentes pratiques sexuelles auxquelles elle avait été contrainte de se livrer et des circonstances dans lesquelles elles avaient eu lieu correspondait à ce qu'elle avait confié à sa belle-soeur à l'occasion de leur rencontre du 6 ou 13 septembre 2004.
Certes, Y._ n'a fait que répéter, dans son témoignage, ce que lui avait raconté sa belle-soeur. Reste que, conformément au principe de la libre appréciation des preuves, l'autorité était autorisée à fonder sa conviction, entre autres, sur les dépositions de ce témoin, le recourant n'avançant au demeurant aucun élément qui permettrait de mettre en doute le déroulement du dévoilement des actes par l'intimée à sa belle-soeur, celle-là s'étant d'ailleurs confiée avant la dénonciation des faits aux autorités. La critique doit donc être écartée.
Pour le reste, le fait que Y._ ne connaissait pas particulièrement bien les parties ne ressort pas de l'arrêt attaqué et constitue par conséquent un fait nouveau, irrecevable en application de l'<ref-law>.
3.2 Le recourant reproche ensuite à l'autorité précédente de ne pas avoir tenu compte du comportement de l'intimée avant son appel à la police du 25 septembre 2004, comportement qui ne serait pas compatible avec celui d'une personne apeurée et victime de violences sexuelles.
Cette critique, purement appellatoire, se confond avec celle qui a été examinée ci-dessus au consid. 2.2. Il n'y a donc pas lieu d'y revenir.
3.3 Le recourant souligne également des contradictions dans les déclarations de l'intimée, ce qui tendrait à mettre en doute la crédibilité de cette dernière. Il relève en particulier que celle-ci a allégué avoir subi de nombreux actes sexuels violents imposés durant un laps de temps très court, tout en ayant, dans la même période, accepté des relations sexuelles ordinaires. Il explique aussi qu'elle a prétendu avoir été privée de nourriture, avant de se rétracter.
3.3.1 Selon les déclarations de la plaignante, dès son retour du Portugal, le 10 août 2004, les relations sexuelles avec son époux sont devenues plus violentes. Il l'a obligée à porter divers accessoires, en particulier un mors, lui a mis des menottes et lui a lié les mains dans le dos. Il l'a également contrainte à entretenir des relations anales. Ces pratiques se sont déroulées plusieurs fois par semaine, la dernière fois le samedi 18 septembre 2004 (cf. jugement p. 7 et 8). Parfois, il la pénétrait d'abord par le vagin avant d'en arriver aux pratiques susmentionnées. L'intimée a indiqué à ce propos qu'elle avait toujours consenti aux rapports sexuels « normaux » mais jamais aux actes de sodomie et à connotation sadomasochiste (cf. jugement p. 11).
On ne discerne aucune contradiction dans ces déclarations, le fait d'accepter des relations sexuelles ordinaires n'incluant pas le consentement à des rapports anaux ou à des actes à connotation sadomasochiste. Le grief est donc vain.
3.3.2 Selon le jugement entrepris, l'intimée a d'abord déclaré à la police que son époux ne lui fournissait pas les moyens d'assurer sa subsistance et qu'il lui était arrivé de ne manger que du pain pendant plusieurs jours. A l'occasion de son deuxième interrogatoire, elle a expliqué que, deux semaines avant les événements du 25 septembre 2004, son époux avait négligé de lui donner de l'argent pour les besoins du ménage mais que, à l'exception de cette période, « ça allait en règle générale ». La Cour pénale a estimé que, ce faisant, l'intimée s'était simplement employée à préciser ou éventuellement à corriger sa première déposition. Elle a également retenu que Y._ avait exposé que, le 28 août 2004, elle avait trouvé sa belle-soeur maigre et affaiblie et que, lors de sa visite du 6 ou du 13 septembre 2004, elle avait remarqué que le frigo de l'appartement était quasiment vide et qu'il n'y avait pas davantage de nourriture dans les armoires. Les juges cantonaux ont enfin considéré qu'un raisonnement semblable pouvait, mutatis mutandis, être tenu s'agissant des propos de l'intimée au sujet des habitudes nocturnes de son mari, lesquels propos portaient de toute manière sur un aspect totalement accessoire de la cause (cf. jugement p. 18 et 19).
Dans son mémoire, l'intéressé se contente de relever les différentes déclarations de l'intimée au sujet des manquements que cette dernière lui a reprochés. Il ne discute toutefois pas de la manière dont ces propos ont été appréciés par la Cour cantonale, ni ne démontre en quoi le raisonnement précité serait arbitraire, de sorte que son argumentation doit être déclarée irrecevable.
3.4 Le recourant reproche aussi aux juges cantonaux d'avoir tenu compte des caractéristiques physiques des parties pour confirmer son emprise sur son épouse.
L'autorité précédente a considéré que cette dernière vivait dans la crainte permanente et sous la domination totale de son époux en se fondant sur divers éléments. D'une part, Y._ avait confirmé ces faits (cf. supra consid. 3.1.1). D'autre part, l'intimée se trouvait dans une situation de dépendance tant socio-économique qu'affective vis-à-vis de son époux. De plus, son état de sujétion était encore accentué par sa préoccupation du bien-être de son fils, qui nécessitait des soins particuliers et son appréhension que le recourant mît sa menace à exécution de lui enlever son enfant. Enfin, les parties avaient une certaine différence d'âge (10 ans) et de stature, soit 179 cm pour 78 kg contre 141 cm pour 36 kg (cf. jugement p. 21).
Ainsi, la Cour pénale n'a pas admis la soumission de la plaignante en se fondant sur les seules divergences corporelles du couple, mais sur un ensemble d'éléments au sujet desquels le recourant ne démontre aucun arbitraire. Par ailleurs, il n'est pas manifestement insoutenable de considérer notamment les différences physiques dans le cadre de l'examen de la contrainte. Le grief est donc vain.
3.5 Le recourant conteste enfin la prise en compte du rapport de Z._ et se plaint du défaut d'expertise de crédibilité de la victime.
3.5.1 La Cour cantonale a relevé que, dans son rapport du 24 octobre 2006, la psychologue Z._, qui a suivi l'intimée dès l'année 2005, a relevé que celle-ci souffrait d'un stress aigu, avec divers signes réactionnels, tels que des difficultés de concentration et un débordement émotionnel, un sentiment intense de culpabilité et une dévalorisation de soi, ainsi qu'une anxiété, une agitation, des troubles du sommeil, une perte de poids importante et un état continu d'alerte. Selon cette psychologue, ces signes permettaient d'affirmer que sa patiente avait été victime de violences psychiques et physiques (cf. jugement p. 19).
3.5.2 Ainsi, l'autorité précédente n'a pas perdu de vue que la psychologue Z._ était intervenue comme praticienne auprès de l'intimée. Par ailleurs, elle n'a pas considéré le rapport précité comme une expertise de crédibilité, mais l'a examiné plus particulièrement en relation avec l'état de santé de la plaignante, ce qui ne saurait lui être reproché en application du principe de la libre appréciation des preuves. Pour le reste, il ne ressort pas du jugement attaqué que le grief relatif à l'absence d'expertise de crédibilité aurait été soulevé devant la Cour cantonale. Du moins cette dernière ne l'a-t-elle pas examiné, sans que le recourant ne s'en plaigne, ni ne prétende et moins encore ne démontre qu'il n'aurait pu l'invoquer en vertu du droit cantonal de procédure. Le moyen est donc nouveau et, partant irrecevable, faute d'épuisement des instances cantonales (cf. <ref-law>).
4. En définitive, la Cour pénale a fondé sa conviction en se basant sur les indices suivants. D'une part, B.X._ a été cohérente et constante dans sa relation des événements litigieux. D'autre part, sa description des événements correspondait à ce qu'elle avait confié à sa belle-soeur antérieurement à sa dénonciation. De plus, les compagnes successives du recourant ont exposé la nature - notamment sadomasochiste - des pratiques et fantasmes sexuels de ce dernier et leurs dépositions convergeaient, pour l'essentiel, avec la description qu'en avait faite l'intimée. Par ailleurs, le recourant s'était montré plutôt inconstant dans ses dépositions devant la police et ses propos avaient été contredits, sur un certain nombre de points, par les déclarations de sa nouvelle épouse et par les actes du dossier, ce qui ébranlait fortement le crédit que l'on pouvait accorder à ses dénégations.
Fondée sur des éléments objectifs et pertinents, cette appréciation est convaincante et ne peut qu'être confirmée.
5. Le recours doit ainsi être rejeté dans la mesure où il est recevable. Comme ses conclusions étaient d'emblée vouées à l'échec, l'assistance judiciaire ne peut être accordée (cf. <ref-law>). Le recourant devra donc supporter les frais (cf. <ref-law>), dont le montant sera toutefois arrêté en tenant compte de sa situation financière. Il n'y a pas lieu d'allouer de dépens à l'intimée, qui n'a pas été amenée à se déterminer sur le recours.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La requête d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du Valais, Cour pénale II.
Lausanne, le 22 avril 2010
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Favre Bendani