Faits :
A.
Par jugement du 5 novembre 2019, le Tribunal correctionnel de la République et canton de Genève a condamné A._, pour viols et menaces, à une peine privative de liberté de 30 mois sans sursis à raison de six mois, le solde étant assorti du sursis et d'un délai d'épreuve de trois ans. Il l'a également condamné à une peine pécuniaire de 60 jours-amende à 20 fr. l'unité.
B.
Par arrêt du 24 mars 2020, la Chambre pénale d'appel et de révision de la Cour de justice genevoise a rejeté l'appel formé par A._, qui concluait au prononcé d'une peine privative de liberté de 18 mois, assortie du sursis complet, contre le jugement du Tribunal correctionnel.
En substance, A._, qui n'a pas contesté en appel le verdict de culpabilité, a violé à deux reprises (les 10 et 16 juin 2017) son épouse. Il l'a en outre menacée en laissant au domicile conjugal une enveloppe sur laquelle il avait inscrit " Clés de la maison Ne dors que d'un oeil ", ce qui l'avait effrayée, puisque cela signifiait qu'elle ne devait pas dormir tranquillement et devait rester attentive car quelque chose de grave risquait de lui arriver. Le dépôt de cette enveloppe faisait suite à une décision sur mesures provisionnelles octroyant à l'épouse le domicile conjugal et prononçant des mesures d'éloignement à l'encontre de A._.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt cantonal et conclut, avec suite de frais et dépens, au prononcé d'une peine privative de liberté de 18 mois, assortie d'un sursis complet avec un délai d'épreuve de trois ans. Subsidiairement, il requiert le renvoi de la cause à l'autorité cantonale pour nouvelle décision. Il sollicite en outre le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant s'en prend exclusivement à la quotité de la peine prononcée. Il invoque une violation des art. 47 et 49 al. 1 CP en relation avec l'<ref-law>. Il reproche à la cour cantonale de ne pas avoir prononcé une peine compatible avec un sursis complet.
1.1. Le juge fixe la peine d'après la culpabilité de l'auteur (<ref-law>). Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1). La culpabilité est déterminée par la gravité de la lésion ou de la mise en danger du bien juridique concerné, par le caractère répréhensible de l'acte, par les motivations et les buts de l'auteur et par la mesure dans laquelle celui-ci aurait pu éviter la mise en danger ou la lésion, compte tenu de sa situation personnelle et des circonstances extérieures (al. 2).
La culpabilité doit être évaluée en fonction de tous les éléments objectifs pertinents, qui ont trait à l'acte lui-même, à savoir notamment la gravité de la lésion, le caractère répréhensible de l'acte et son mode d'exécution. Du point de vue subjectif, sont pris en compte l'intensité de la volonté délictuelle ainsi que les motivations et les buts de l'auteur. A ces composantes de la culpabilité, il faut ajouter les facteurs liés à l'auteur lui-même, à savoir les antécédents, la réputation, la situation personnelle (état de santé, âge, obligations familiales, situation professionnelle, risque de récidive, etc.), la vulnérabilité face à la peine, de même que le comportement après l'acte et au cours de la procédure pénale (<ref-ruling> consid. 6 p. 66 s. et les références citées). Le juge dispose d'un large pouvoir d'appréciation et le Tribunal fédéral n'intervient que lorsque l'autorité cantonale a fixé une peine en dehors du cadre légal, si elle s'est fondée sur des critères étrangers à l'<ref-law>, si des éléments d'appréciation importants n'ont pas été pris en compte ou, enfin, si la peine prononcée est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (<ref-ruling> consid. 1.2 p. 319). L'exercice de ce contrôle suppose que le juge exprime, dans sa décision, les éléments essentiels relatifs à l'acte ou à l'auteur qu'il prend en compte, de manière à ce que l'on puisse constater que tous les aspects pertinents ont été pris en considération et comment ils ont été appréciés, que ce soit dans un sens aggravant ou atténuant (<ref-law>). Il peut passer sous silence les éléments qui, sans abus du pouvoir d'appréciation, lui apparaissent non pertinents ou d'une importance mineure. La motivation doit cependant justifier la peine prononcée, en permettant de suivre le raisonnement adopté même si le juge n'est pas tenu d'exprimer en chiffres ou en pourcentages l'importance qu'il accorde à chacun des éléments qu'il cite (<ref-ruling> consid. 1.2 p. 319). Plus la peine est élevée, plus la motivation doit être complète (<ref-ruling> consid. 1.2 p. 319).
1.2. Le Tribunal fédéral a exposé les principes régissant la peine d'ensemble en application du principe d'aggravation (art. 49 al 1 CP) aux <ref-ruling> consid. 1.1 p. 316 ss, 144 IV 217 consid. 2 et 3 p. 219 ss et 142 IV 265 consid. 2 p. 266 ss, auxquels on peut également se référer, étant rappelé que si, en raison d'un ou de plusieurs actes, l'auteur encourt plusieurs peines privatives de liberté, le juge le condamnera à la peine de l'infraction la plus grave et en augmentera la durée dans une juste proportion.
1.3. Selon la jurisprudence, lorsque la peine entrant en considération se situe dans un intervalle dont les bornes comprennent la limite supérieure à l'octroi du sursis (24 mois), du sursis partiel (36 mois) ou de la semi-détention (1 an), le juge doit se demander si une peine inférieure à cette limite apparaît encore soutenable et, dans cette hypothèse, la prononcer. Dans le cas inverse, il est libre de prononcer une peine, pour peu qu'elle soit adéquate et justifiable, même si elle n'excède que de peu la limite en cause. Dans tous les cas, le juge doit expressément motiver sa décision sur ce point (arrêt 6B_780/2018 du 9 octobre 2018 consid. 6.1; <ref-ruling> consid. 3.5 s. p. 24 s.).
2.
Le recourant fait grief à la cour cantonale d'avoir prononcé une peine incompatible avec un sursis complet au regard de la gravité de sa faute, qu'il relativise. On comprend par là qu'il invoque une violation du droit fédéral en critiquant en premier lieu l'appréciation de la gravité de sa faute par la cour cantonale.
2.1. La cour cantonale a exposé pour quels motifs elle qualifiait d'importante la faute du recourant, qui avait porté atteinte à l'intégrité sexuelle de son épouse en usant de sa force pour vaincre sa résistance. Elle a certes relevé que le recourant s'était trouvé désemparé dans une situation conflictuelle importante, comme cela ressortait de l'attestation de son thérapeute. Elle a toutefois également relevé, sans que le recourant n'allègue ni de démontre l'arbitraire de ces constatations, qu'il avait agi dans le but d'importuner son épouse, par sentiment de vengeance face à sa propre perte de maîtrise de la situation, après plus de 20 ans de vie commune sans difficultés notables, et dans un contexte de déchéance financière et professionnelle. Les menaces proférées par le recourant à l'encontre de son épouse lorsqu'il s'était retrouvé contraint de quitter le domicile conjugal s'inscrivaient aussi dans la déroute de sa vie conjugale. Il avait reconnu sa faute, même si ses propos devant les premiers juges laissaient apparaître que sa prise de conscience n'était pas complète. Il n'avait pas réellement exprimé de regrets envers son épouse, cherchant plutôt à se poser en victime. Si sa souffrance face à une situation qui le dépassait était réelle, elle n'expliquait ni n'excusait son recours à la violence et ses gestes, qui procédaient de la satisfaction d'une pulsion profondément égoïste. Rien dans sa situation personnelle ne justifiait ses actes. Sa collaboration à l'instruction avait été correcte. Il ne contestait plus les faits reprochés au stade de l'appel, mais persistait à se poser en victime et à blâmer la situation et le contexte plutôt que d'admettre pleinement sa responsabilité. Il minimisait sa responsabilité en cherchant à faire porter la faute par son épouse en affirmant n'avoir "pas fait exprès". Le contexte conjugal n'était pas de nature à amoindrir la faute, l'agression sexuelle étant utilisée comme un moyen de dominer son conjoint et de lui imposer son point de vue.
2.2. L'argumentation du recourant est irrecevable dans la mesure où elle s'écarte de l'état de fait de la cour cantonale, par lequel le Tribunal fédéral est lié (cf. <ref-law>). Contrairement à ce que le recourant affirme, la cour cantonale n'a pas ignoré que les viols ont eu lieu dans le cadre d'un conflit conjugal lié à de graves difficultés financières. Pour le surplus, le recourant substitue, de manière appellatoire, son appréciation des circonstances dans lesquelles les infractions au préjudice de son épouse ont été perpétrées, pour minimiser sa faute, sans établir en quoi l'appréciation cantonale, qui a retenu que la faute était importante, violerait le droit fédéral. Le recourant tente à nouveau, toujours de manière appellatoire et partant irrecevable, de faire porter la responsabilité de ses agissements à son épouse en lui reprochant ses sorties et en faisant valoir que cette situation insupportable était à l'origine de son comportement et qu'il voulait seulement reprendre le contrôle de sa vie conjugale et sauver sa famille. Une telle argumentation révèle de surcroît que l'appréciation de la cour cantonale relative à la prise de conscience incomplète du recourant est fondée. Contrairement à ce qu'il soutient, la cour cantonale n'a pas ignoré la situation personnelle du recourant dès lors qu'elle l'a détaillée dans la partie en fait du jugement querellé, étant rappelé que celui-ci forme un tout et que l'on admet que le juge garde à l'esprit l'ensemble des éléments qui y figurent (cf. arrêts 6B_870/2020 du 3 septembre 2020 consid. 3; 6B_347/2020 du 3 juillet 2020 consid. 4.3 et la référence citée). En tant qu'il se plaint de l'effet de la peine sur son avenir, il sera rappelé que selon la jurisprudence, l'effet de la peine sur l'avenir du condamné, en tant qu'élément de prévention spéciale, ne permet que des corrections marginales, la peine devant toujours rester proportionnée à la faute (arrêts 6B_233/2020 du 5 juin 2020 consid. 3.2; 6B_1276/2015 du 29 juin 2016 consid. 2.2.2; 6B_1154/2014 du 31 mai 2016 consid. 3.1 et la référence citée). Le fait que le recourant se trouve en recherche d'emploi ne justifie pas en soi un motif de réduction de la peine. En définitive, les développements du recourant ne mettent en évidence aucun élément que la cour cantonale aurait, à tort, ignoré en sa faveur ou pris en considération en sa défaveur. Au vu des éléments qui précèdent, rien ne permet de retenir que la cour cantonale a violé le droit fédéral en considérant que la faute du recourant était importante. Le grief de violation de l'<ref-law> est rejeté. Le recourant n'expose enfin pas en quoi la cour cantonale aurait violé les règles régissant la fixation de la peine d'ensemble en cas de concours d'infractions (<ref-law>).
2.3. Le recourant reproche également à la cour cantonale de ne pas avoir examiné si une peine compatible avec un sursis complet était envisageable.
Après avoir exposé pour quels motifs elle qualifiait d'importante la faute du recourant, la cour cantonale a considéré que l'infraction la plus grave était le premier viol qui justifiait une peine de base de deux ans. Pour tenir compte du second viol, la peine devait être aggravée d'une année (peine théorique de deux ans), portant la peine d'ensemble à trois ans, ce qui correspondait à une peine supérieure à celle prononcée par le tribunal correctionnel. Compte tenu de l'interdiction de la reformatio in peius, la peine privative de liberté de 30 mois fixée par les premiers juges devait être confirmée. Cette peine dépassant largement la limite légale de l'octroi du sursis complet, il n'y avait pas lieu de l'accorder.
Contrairement à ce que le recourant avance, la cour cantonale n'a ainsi pas omis de se demander si une peine inférieure, compatible avec un sursis total, apparaissait encore soutenable. Elle l'a clairement exclu, en considérant que la peine prononcée dépassait largement la limite légale de l'octroi d'un tel sursis, marquant par là qu'elle n'entrait pas en matière sur une peine d'une durée inférieure à 30 mois, ce d'autant que la peine qu'elle aurait prononcée aurait été de trois ans, si elle n'avait pas été limitée par l'interdiction de la reformatio in peius. La cour cantonale n'avait ainsi pas à adopter une motivation plus spécifique à cet égard. En procédant à cet examen, la cour cantonale a satisfait aux exigences posées par la jurisprudence (consid. 1.3). Enfin, les arguments avancés par le recourant au regard du pronostic (absence d'antécédents, faible risque de récidive), ont été pris en considération pour justifier l'octroi du sursis partiel à l'exécution de la peine. La référence à l'arrêt 6B_584/2019 qu'il cite pour justifier l'octroi d'un sursis complet n'est pas pertinent. Cette jurisprudence a trait aux critères à prendre en considération pour décider si l'exécution d'une peine doit être assortie d'un sursis complet ou partiel, lorsque la peine se situe entre un et deux ans, permettant donc le choix entre le sursis complet (<ref-law>) et le sursis partiel (<ref-law>), ce qui n'est pas le cas en l'espèce.
3.
Les considérants qui précèdent conduisent au rejet du recours, dans la mesure où il est recevable. Comme le recours était dénué de chance de succès, la requête d'assistance judiciaire doit également être rejetée (<ref-law>). Il appartient par conséquent au recourant de supporter les frais judiciaires (<ref-law>), dont il convient toutefois de fixer le montant en tenant compte de sa situation économique (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 29 septembre 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Dyens