Faits:
A.
Par jugement du 12 septembre 2019, le Tribunal régional Jura bernois-Seeland a condamné A._ pour viol (<ref-law>), lésions corporelles simples (<ref-law>), contrainte (<ref-law>) et menaces (<ref-law>) à une peine privative de liberté de 4 ans ainsi qu'à une peine pécuniaire de 120 jours-amende à 30 fr., celle-ci ayant été prononcée avec sursis pendant 3 ans. Il a en outre astreint A._ à verser à B._ des montants de 748 fr. 85 à titre de dommages-intérêts et de 20'000 fr. à titre d'indemnité pour tort moral, avec intérêts à 5% dès le 8 février 2015.
B.
La 2e Chambre pénale de la Cour suprême du canton de Berne a statué par jugement du 29 octobre 2020 sur l'appel formé par A._ contre le jugement du 12 septembre 2019 ainsi que sur l'appel joint du Parquet général. Le jugement de première instance a été réformé en ce sens que A._ était condamné, pour les infractions dont il avait été reconnu coupable en première instance, à une peine privative de liberté de 4 ans et 9 mois ainsi qu'à une peine pécuniaire de 70 jours-amende à 30 fr., celle-ci ayant été prononcée avec sursis pendant 2 ans. Le jugement du 12 septembre 2019 a été confirmé pour le surplus.
En substance, les faits suivants ont été retenus.
A Bienne, à environ 10 à 15 reprises entre le printemps 2015 et le mois de janvier 2016, A._ a forcé son épouse d'alors, B._, à entretenir des relations sexuelles avec lui, cela alors que les précités faisaient chambre séparée et que la seconde avait dit au premier qu'elle ne voulait plus avoir de rapports sexuels avec lui en raison de leurs problèmes de couple.
B.a. Par ailleurs, entre le 1er décembre 2013 et le 15 mars 2016, A._ s'en est pris physiquement à B._, à plusieurs autres occasions, lui causant des ecchymoses et des saignements de nez. Il l'avait en outre menacée de mort, en lui mettant un couteau de cuisine sous la gorge alors qu'elle était couchée par terre. A une autre reprise, il l'avait empêchée de monter dans un taxi qu'elle souhaitait emprunter à la sortie d'une boîte de nuit, avant de la poursuivre dans la rue, puis de la pousser dans un buisson et lui donner des coups de pied, ceci alors qu'elle se trouvait au sol.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 29 octobre 2020. Il conclut, avec suite de frais et dépens, principalement à l'annulation de ce jugement et au constat de la nullité de celui rendu le 12 septembre 2019 par le Tribunal régional Jura bernois-Seeland. Subsidiairement, il conclut à son acquittement et au rejet des conclusions civiles de B._. Plus subsidiairement, il conclut à l'annulation du jugement du 29 octobre 2020 et au renvoi de la cause à la cour cantonale pour nouveau jugement. Il sollicite en outre l'octroi de l'assistance judiciaire.
Invités à se déterminer sur le recours, l'instance précédente présente des observations, alors que le Parquet général y renonce.
A._ persiste dans ses conclusions.

Considérant en droit:
1.
Dans un premier grief d'ordre formel, le recourant entend se prévaloir que le Tribunal régional Jura bernois-Seeland (autorité de première instance), dans sa composition à trois juges, n'avait pas la compétence de se saisir de l'acte d'accusation dirigé contre lui, si bien qu'il convient selon lui de constater la nullité du jugement rendu le 12 septembre 2019 par cette autorité.
Le recourant se prévaut à cet égard d'une violation de l'art. 56 al. 2 let. b de la loi bernoise portant introduction du code de procédure civile, du code de procédure pénale et de la loi sur la procédure pénale applicable aux mineurs (LiCPM/BE; RS/BE 271.1), qui prescrit que le ministère public doit porter l'accusation devant le Tribunal régional, dans sa composition à cinq juges, notamment lorsqu'il requiert une peine privative de liberté supérieure à 5 ans.
1.1. Pour autant, s'il est vrai que le ministère public a requis, dans son appel joint, le prononcé d'une peine privative de liberté de 66 mois ainsi que d'une peine pécuniaire de 180 jours-amende (cf. dossier cantonal, P. 492), il n'en demeure pas moins qu'en première instance, le ministère public s'était limité à demander la condamnation du recourant à une peine de privation de liberté de 4 ans et à une peine pécuniaire de 120 jours-amende (cf. dossier cantonal, P. 380), de sorte que le Tribunal régional, dans sa composition à trois juges, était bien l'autorité compétente au regard de l'art. 56 al. 2 let. b et c LiCPM/BE, la réquisition du ministère public ayant alors porté sur une peine totale inférieure à 5 ans.
1.2. Dès lors que la peine prononcée par la Cour suprême en procédure d'appel (4 ans et 9 mois de privation de liberté et 70 jours-amende) demeure également, par sa quotité, inférieure à 5 ans, on ne distingue pas non plus sur ce point de violation arbitraire de l'art. 56 al. 2 let. b et c LiCPM/BE, qui serait susceptible de conduire au constat de la nullité du jugement du 12 septembre 2019.
1.3. Autre est cependant la question de la recevabilité, dans le contexte précité, des conclusions en aggravation de la peine, prises par le ministère public dans son appel joint. Celle-ci sera examinée dans le cadre du grief portant spécifiquement sur la quotité de la peine de privation de liberté infligée au recourant (cf. consid. 4.4 infra).
2.
Le recourant invoque une violation du principe de l'accusation.
2.1. L'<ref-law> consacre la maxime d'accusation. Selon cette disposition, une infraction ne peut faire l'objet d'un jugement que si le ministère public a déposé auprès du tribunal compétent un acte d'accusation dirigé contre une personne déterminée sur la base de faits précisément décrits. En effet, le prévenu doit connaître exactement les faits qui lui sont imputés et les peines et mesures auxquelles il est exposé, afin qu'il puisse s'expliquer et préparer efficacement sa défense (<ref-ruling> consid. 2.2 p. 65; <ref-ruling> consid. 3.4.1 p. 142 s.). Le tribunal est lié par l'état de fait décrit dans l'acte d'accusation (principe de l'immutabilité de l'acte d'accusation), mais peut s'écarter de l'appréciation juridique qu'en fait le ministère public (<ref-law>), à condition d'en informer les parties présentes et de les inviter à se prononcer (<ref-law>). Il peut également retenir dans son jugement des faits ou des circonstances complémentaires, lorsque ceux-ci sont secondaires et n'ont aucune influence sur l'appréciation juridique. Le principe de l'accusation est également déduit de l'art. 29 al. 2 Cst. (droit d'être entendu), de l'art. 32 al. 2 Cst. (droit d'être informé, dans les plus brefs délais et de manière détaillée, des accusations portées contre soi) et de l'art. 6 par. 3 let. a CEDH (droit d'être informé de la nature et de la cause de l'accusation) (arrêts 6B_1188/2020 du 7 juillet 2021 consid. 2.1; 6B_815/2020 du 22 décembre 2020 consid. 3.1; 6B_383/2019 du 8 novembre 2019 consid. 9.1 non publié aux <ref-ruling>).
Les <ref-law> règlent la mise en accusation, en particulier le contenu strict de l'acte d'accusation. Selon l'<ref-law>, l'acte d'accusation désigne notamment les actes reprochés au prévenu, le lieu, la date et l'heure de leur commission ainsi que leurs conséquences et le mode de procéder de l'auteur (let. f); les infractions réalisées et les dispositions légales applicables de l'avis du ministère public (let. g). En d'autres termes, l'acte d'accusation doit contenir les faits qui, de l'avis du ministère public, correspondent à tous les éléments constitutifs de l'infraction reprochée au prévenu. L'acte d'accusation définit l'objet du procès et sert également à informer le prévenu (fonction de délimitation et d'information) (<ref-ruling> consid. 2.2 p. 65; <ref-ruling> consid. 3.4.1 p. 142 s. et les références citées). Des imprécisions relatives au lieu ou à la date sont sans portée, dans la mesure où le prévenu ne peut pas avoir de doute sur le comportement qui lui est reproché (arrêts 6B_1110/2020 du 15 décembre 2020 consid. 1.1; 6B_123/2020 du 26 novembre 2020 consid. 5.1; 6B_44/2020 du 16 septembre 2020 consid. 6.1).
2.2. L'<ref-law> réprime d'une peine privative de liberté de un à dix ans celui qui, notamment en usant de menace ou de violence, en exerçant sur sa victime des pressions d'ordre psychique ou en la mettant hors d'état de résister, aura contraint une personne de sexe féminin à subir l'acte sexuel.
Par acte sexuel, il faut entendre l'introduction, même partielle et momentanée, du pénis dans le vagin; l'éjaculation n'est pas requise (<ref-ruling> consid. 2 p. 52; arrêt 6B_1425/2020 du 5 juillet 2021 consid. 1.1).
L'infraction réprimée par l'<ref-law> est une infraction de violence qui suppose, en règle générale, une agression physique. La violence désigne l'emploi volontaire de la force physique sur la personne de la victime dans le but de la faire céder (<ref-ruling> consid. 2b p. 100; arrêt 6B_1285/2018 du 11 février 2019 consid. 2.1). Il n'est pas nécessaire que la victime soit mise hors d'état de résister ou que l'auteur la maltraite physiquement. Une certaine intensité est néanmoins requise. La violence suppose non pas n'importe quel emploi de la force physique, mais une application de cette force plus intense que ne l'exige l'accomplissement de l'acte dans les circonstances ordinaires de la vie (<ref-ruling>). Selon les circonstances, un déploiement de force relativement faible peut suffire. Ainsi, peut déjà être suffisant le fait de maintenir la victime avec la force de son corps, de la renverser à terre, de lui arracher ses habits ou de lui tordre un bras derrière le dos (arrêts 6B_1285/2018 précité consid. 2.1; 6S.126/2007 du 7 juin 2007 consid. 6.2).
2.3. L'acte d'accusation du 30 novembre 2017 a la teneur suivante s'agissant de l'infraction de viol:
"I.1 Viol (art. 190 al. 1)
Commis à réitérées reprises à des dates indéterminées (10 à 15 fois au total, entre 1 à 2 fois par mois) entre le printemps 2015 et janvier 2016, au domicile conjugal, à U._, Chemin V._, au préjudice de son épouse (au moment des faits) B._,
alors que le prévenu et la victime font à cette époque chambre séparée et que la victime a déjà dit à plusieurs reprises au prévenu qu'elle ne voulait plus avoir de rapports sexuels avec lui en raison de leurs problèmes de couple,
en rentrant tard, vers 4 ou 5 heures du matin, au domicile conjugal, alcoolisé, alors que la victime dormait dans son lit,
en rejoignant la victime dans son lit, en la réveillant, en lui disant qu'il voulait avoir une relation sexuelle avec elle, la victime refusant et lui disant non,
puis, en déshabillant, de force, le bas du corps de la victime en lui enlevant son pyjama et son sous-vêtement, alors que la victime pleure, essaie de le repousser et de crier,
en retenant la victime et en la ramenant de force sur le lit lorsque celle-ci essaie de sortir de la pièce,
en mettant la main sur la bouche de la victime pour l'empêcher de crier, en lui donnant des gifles, en lui disant "pourquoi tu ne veux pas dormir avec moi? Tu es ma femme!",
en appuyant fortement sur le haut du corps de la victime ou en la tenant d'une main au cou, l'empêchant ainsi de respirer, pour qu'elle reste allongée sur le dos sur le lit, ceci afin d'avoir avec la victime une relation sexuelle non consentie allant jusqu'à l'éjaculation,
la victime n'ayant alors pas d'autre choix que de rester rigide comme une pierre durant la relation sexuelle non consentie, dans le vain espoir que le prévenu s'arrête en cours de route,
puis, après ces agissements, qui ont régulièrement provoqué de fortes douleurs et parfois des saignements vaginaux chez la victime, le prévenu s'endormant rapidement en prétendant le lendemain ne se souvenir de rien."
2.4. Certes, comme le relève le recourant, l'acte d'accusation se limite à décrire d'une manière globale un seul mode opératoire, sans individualiser au surplus chacun des viols qui lui sont reprochés. En tant que ce document précise toutefois que le recourant avait agi de la sorte "1 à 2 fois par mois", "entre le printemps 2015 et le mois de janvier 2016", le recourant pouvait en déduire sans ambiguïté que le mode opératoire décrit était celui qui avait été utilisé pour chacun des prétendus viols en cause. S'il est certes évident que ces actes ne peuvent pas s'être déroulés à chaque fois exactement de la même manière, la description du ministère public permet néanmoins de comprendre que ceux-ci avaient lieu pendant la nuit, lorsque le recourant rentrait ivre au domicile conjugal, celui-ci faisant alors principalement usage de la force pour se défaire de la résistance de l'intimée et ainsi parvenir à ses fins, faisant subir à celle-ci l'acte sexuel.
Par ailleurs, l'absence de mention de dates précises dans l'acte d'accusation s'explique à l'évidence par l'incapacité de l'intimée à se souvenir avec exactitude de celles auxquelles étaient intervenues les atteintes à son intégrité sexuelle. Pour autant, s'agissant en l'occurrence de faits qui seraient survenus avec une certaine fréquence, dans le cadre de violences conjugales, il est suffisant que, sous l'angle temporel, ceux-ci soient circonscrits de manière approximative. On ne peut en effet pas exiger, en particulier en ce qui concerne des infractions répétées commises dans la cellule familiale, un inventaire détaillant chaque cas (cf. notamment arrêts 6B_1003/2020 du 21 avril 2021 consid. 1.2.1; 6B_103/2017 du 21 juillet 2017 consid. 1.5.2; 6B_167/2014 du 5 janvier 2015 consid. 1.5).
Pour le surplus, le recourant n'explique pas dans quelle mesure il avait été empêché, en l'absence de dates précises mentionnées, de se prévaloir d'alibis, telle qu'aurait pu l'être un éloignement du domicile durant la période considérée, par exemple en raison de vacances ou d'activités professionnelles exercées en un autre lieu. On ne voit pas dans ce contexte que des imprécisions dans l'acte d'accusation ont pu faire obstacle à une préparation convenable de la défense du recourant. Le grief doit donc être rejeté.
3.
Le recourant nie avoir commis les actes de viol qui lui sont reprochés. Il fait grief à la cour cantonale d'avoir à cet égard privilégié la version de l'intimée au détriment de la sienne. Il conteste au demeurant toute intention criminelle.
3.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.3.1 p. 91 s.; <ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 1.1 p. 503; sur la notion d'arbitraire v. <ref-ruling> consid. 2.3.1 p. 244). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; ATF <ref-ruling> consid. 1.1 p. 503). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3.1 p. 92; <ref-ruling> consid. 1.1 p. 156). Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence à la présomption d'innocence (art. 6 par. 2 CEDH, 32 al. 1 Cst. et 10 CPP), le principe " in dubio pro reo " n'a pas de portée plus large que l'interdiction de l'arbitraire (ATF <ref-ruling> consid. 1.1 p. 156; <ref-ruling> consid. 1.1 p. 503).
Lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit en effet être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs apparaissent fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêts 6B_1052/2020 du 19 juillet 2021 consid. 1.1; 6B_984/2020 du 4 mars 2021 consid. 1.1; 6B_238/2020 du 14 décembre 2020 consid. 1.1).
Les déclarations de la victime constituent un élément de preuve. Le juge doit, dans l'évaluation globale de l'ensemble des éléments probatoires rassemblés au dossier, les apprécier librement (arrêts 6B_1425/2020 du 5 juillet 2021 consid. 1.3; 6B_238/2020 du 14 décembre 2020 consid. 1.3 et les références citées), sous réserve des cas particuliers où une expertise de la crédibilité des déclarations de la victime s'impose (cf. <ref-ruling> consid. 2.4 p. 184). Les cas de "déclarations contre déclarations", dans lesquelles les déclarations de la victime en tant que principal élément à charge et les déclarations contradictoires de la personne accusée s'opposent, ne doivent pas nécessairement, sur la base du principe " in dubio pro reo ", conduire à un acquittement. L'appréciation définitive des déclarations des participants incombe au tribunal du fond (<ref-ruling> consid. 3.3 p. 127; arrêt 6B_1425/2020 précité consid.1.3).
3.2. Sur le plan subjectif, l'<ref-law> est une infraction intentionnelle, étant précisé que le dol éventuel suffit. Agit intentionnellement celui qui sait ou accepte l'éventualité que la victime ne soit pas consentante, qu'il exerce ou emploie un moyen de contrainte sur elle et qu'elle se soumette à l'acte sexuel sous l'effet de cette contrainte (<ref-ruling> consid. 3 p. 70 s.; arrêts 6B_995/2020 du 5 mai 2021 consid. 2.1; 6B_159/2020 du 20 avril 2020 consid. 2.4.3 et la référence citée).
3.3. Dans ses développements, le recourant s'en prend essentiellement à la crédibilité des déclarations de l'intimée, qui sont selon lui imprécises et nullement spontanées, dès lors qu'elle ne l'avait dénoncé, exclusivement à charge, que plusieurs mois après les faits, alors qu'il débutait une nouvelle relation avec une autre femme, l'intimée s'étant de surcroît munie de notes manuscrites lors de son audition par la police. Du reste, en ce qui concerne la crédibilité de ses propres déclarations, la cour cantonale ne pouvait rien déduire de ses défauts aux deux premières convocations qui lui avaient été adressées, ni des rires dont il aurait été pris lors de l'une de ses auditions.
Ce faisant, le recourant se borne toutefois à opposer sa propre appréciation des déclarations recueillies en cours d'instance, cela dans une démarche appellatoire et partant irrecevable dans le recours en matière pénale.
3.4. On relèvera pour le surplus qu'au moment d'examiner la crédibilité de chacune des parties, la cour cantonale s'est attachée à analyser leurs déclarations de manière particulièrement précise et approfondie.
3.4.1. En particulier, s'agissant de l'intimée, qui avait quitté le domicile conjugal en février 2016, puis dénoncé le recourant le 8 juillet 2016, le caractère différé de ses déclarations s'expliquait par les sentiments de peur et de honte qu'elle avait exprimés lors de ses auditions, une réticence à dévoiler les faits étant de surcroît fréquente dans le cadre d'infractions à l'intégrité sexuelle. Il ne pouvait en outre pas être retenu que les premières déclarations de l'intimée avaient été motivées par la jalousie ou par une volonté de salir le recourant, l'intimée ayant déclaré de manière crédible qu'elle ne voulait plus du recourant dès le printemps 2015, ce que ce dernier avait du reste implicitement reconnu, étant donné qu'il situait le début des problèmes conjugaux au retour de l'intimée après un voyage en Thaïlande, à la mi-février 2015. Par ailleurs, l'intimée avait affirmé n'avoir appris l'existence de la nouvelle compagne du recourant, et de leur nouvel enfant, qu'après sa première audition, ce qui était corroboré par le fait qu'elle n'en avait pas parlé à cette occasion (cf. jugement attaqué, consid. 12.2.1 p. 17).
De manière générale, la cour cantonale n'a rien discerné, dans la façon de l'intimée de s'exprimer sur les faits, qui pouvait jeter le discrédit sur ses déclarations. Lors de son audition à l'occasion de l'audience d'appel, les juges cantonaux ont ainsi constaté que l'intimée était une personne réservée, qui apparaissait fragile et mal à l'aise, ce qui parlait en faveur de dépositions ancrées dans la réalité et non exagérées. Celle-ci avait été émue à l'évocation des événements, qu'elle semblait revivre en les racontant. L'intimée avait en outre adopté un ton modéré et n'avait pas tenté de reconstruire les faits, n'hésitant pas à admettre qu'elle ne se souvenait pas de certaines circonstances. Elle ne cherchait pas non plus à charger le recourant plus que nécessaire, rappelant que le début de leur relation avait été harmonieux et précisant par exemple qu'il y avait eu des périodes sans violence et que c'était sous le coup de l'alcool que le recourant devenait violent (cf. jugement attaqué, consid. 12.2.2 et 12.2.3 p. 17 s.).
Les déclarations de l'intimée, qui réunissaient plusieurs éléments traduisant un vécu réel, étaient particulièrement détaillées et individualisées. Elle avait ainsi exprimé une forme de détachement par rapports aux actes sexuels, ce qui se retrouvait fréquemment auprès de victimes en des situations similaires ("Pour ma part, je n'ai jamais eu d'orgasme. En fait, c'est comme si je n'étais pas là. Comme je ne faisais pas l'amour avec mon mari. Je ne le reconnaissais plus."), tout comme le fait exprimé de s'être sentie salie ("Mon sentiment durant l'acte et après était dégueulasse. Je devais aller me doucher quand il avait fini, car je me sentais sale. Je déteste cela."). Les déclarations étaient par ailleurs pour l'essentiel constantes et homogènes, et comportaient des éléments difficiles à inventer (par exemple: "Parfois, il abandonnait, car je ne bougeais plus et il me disait que j'étais comme un cadavre"; le fait d'avoir des "fourmis" dans les lèvres). Enfin, la lecture de ses dépositions antérieures ne révélaient pas de signes de fantaisie ou de mensonge. Ainsi, si l'intimée avait préparé une note manuscrite en vue de sa première audition, alors que la police avaient dû poser plusieurs fois les mêmes questions, ces éléments pouvaient s'expliquer par le fait que l'intimée ne parlait que difficilement le français, qui n'était pas sa langue maternelle. Il n'y avait donc pas lieu de voir dans cette manière de procéder un élément suspect, d'autant moins que la description des faits les plus graves s'était faite pour l'essentiel librement (cf. jugement attaqué, consid. 12.2.3 et 12.2.4 p. 18 s.).
3.4.2. Les autres moyens de preuve à disposition étaient de surcroît propres à corroborer les déclarations de l'intimée, en particulier quant à l'existence de comportements violents du recourant. Il en allait ainsi des quatre interventions de la police qui avaient eu lieu entre février 2015 et février 2016 au domicile des parties, de même que des autres interventions policières visant spécifiquement le recourant, lesquelles démontraient qu'il était une personne susceptible de se mêler facilement à des actes violents, comme le relevaient également les deux dernières ordonnances pénales rendues contre lui. Alors que deux voisins du couple avaient pu confirmer l'existence de fréquentes disputes et observer des lésions subies par l'intimée (un hématome à l'oeil et une rougeur au bras), les deux thérapeutes de celle-ci avaient fait état, dans leurs rapports de septembre 2019, d'un état de stress post-traumatique et de nombreux symptômes l'accompagnant (troubles du sommeil, cauchemars, pensées circulaires, flashbacks, angoisses, sentiment d'insécurité, somatisations). L'enfant commun du couple avait rencontré des problèmes, se battant souvent à l'école, parlant mal et ayant été placé en foyer pendant un certain temps. Il s'agissait là d'un indice fort en faveur du fait qu'il avait été exposé à des violences domestiques. L'état de l'appartement des parties, pris en photographie par la police lors de leurs interventions en mai 2015 et janvier 2016, dénotait, de l'avis de la cour cantonale, la détresse psychologique dans laquelle se trouvait l'intimée (cf. jugement attaqué, consid. 12.2.5 p. 19 s.).
3.4.3. Pour sa part, le recourant avait laissé une très mauvaise impression à la cour cantonale lors des débats d'appel, faisant montre d'une attitude assez arrogante, comme s'il était certain d'obtenir gain de cause. Il avait ainsi souvent répondu à côté des questions gênantes, tentant d'influencer un témoin lors de son audition et revenant de manière spontanée sur des déclarations visant à salir l'intimée. Dès sa première audition par la police, le ton adopté par le recourant était celui d'une personne qui ne semblait pas concernée et qui n'avait rien à dire. Il était même allé jusqu'à rigoler à trois reprises, ce qui était étonnant compte tenu des préventions au sujet desquelles il était interrogé. S'il n'y avait en soi rien de suspect qu'une personne nie les faits qui lui étaient reprochés, même avec conviction, il était frappant de constater que le recourant le faisait avec beaucoup d'emphase (par exemple: "Mais non, pfeu, c'est bidon, c'est con"; "Ça ne me dit rien. C'est des conneries."; "Pfeu, ça n'a rien à voir, c'est du n'importe quoi"), ce qui n'était pas un bon signal de crédibilité (cf. jugement attaqué, consid. 12.3.2 p. 21).
Les déclarations du recourant ne contenaient ainsi pas un soupçon de remise en question, celui-ci niant les faits en bloc, même certaines évidences qui lui étaient pourtant opposées, se satisfaisant de l'explication selon laquelle il y avait eu quelques disputes, l'intimée ne cherchant pour le reste qu'à le salir par jalousie. Il était par ailleurs frappant de constater que le recourant parlait de l'intimée comme si elle était un objet qui lui appartenait et qui n'était de ce fait pas susceptible de subir le moindre dommage par son comportement ("Comment voulez-vous que je viole ma propre femme? Vous ne trouvez pas ça un peu bidon?"; "Hé, c'est quand même ma femme,..."; "Si je la violais une fois, c'est nul, ce qu'elle prétend sur moi. Ce n'est même pas ma copine, c'est ma femme."), la cour cantonale constatant à cet égard un refus du recourant de s'impliquer, un tant soit peu, même sous forme de réflexion, dans les faits qui lui étaient opposés (cf. jugement attaqué, consid. 12.3.3 p. 21).
La cour cantonale a encore constaté une tendance très nette chez le recourant à donner des réponses évasives et dans l'ensemble plutôt brèves et peu détaillées. Le recourant faisait ainsi montre d'une volonté très claire de détourner l'attention sur d'autres éléments que sur les faits, en revenant sans cesse sur le fait que l'intimée voulait salir sa réputation, qu'elle voulait l'empêcher d'avoir du succès dans sa carrière musicale et qu'elle était jalouse de sa nouvelle copine. S'il avait été constant dans sa dénégation des faits reprochés, le recourant s'était contredit sur certains éléments de fait. Alors qu'il avait déclaré à la police que l'intimée n'avait jamais refusé des relations sexuelles avec lui, il avait admis, entendu par le ministère public, qu'il était déjà arrivé à son épouse de décliner ses propositions. De même, lors de l'instruction, le recourant avait déclaré qu'il menait une vie de couple normale avec l'intimée et qu'il n'avait jamais fait chambre à part. Or, aux débats de première instance, il avait expliqué qu'il dormait sur le canapé (cf. jugement attaqué, consid. 12.3.4 p. 22; jugement du Tribunal régional Jura bernois-Seeland du 12 septembre 2019, consid. 2.2.5 p. 44 s.).
Enfin, s'agissant des autres éléments de preuve dont se prévalait le recourant (témoignages de sa mère et de sa nouvelle copine, extraits de page Facebook qui attesteraient que l'intimée avait un nouveau partenaire, "certificat" selon lequel le couple aurait hébergé à son appartement quatre membres de la famille de l'intimée dès mai 2015), ils n'étaient pas propres à conférer une quelconque crédibilité à ses dénégations (cf. jugement attaqué, consid. 12.3.5 p. 22 s.).
3.4.4. En définitive, il n'apparaît pas, au regard de ce qui précède, que l'appréciation des preuves opérée par la cour cantonale soit empreinte d'arbitraire. Celle-ci pouvait ainsi accorder une crédibilité accrue aux déclarations de l'intimée, par rapport à celles du recourant, et retenir, sans violer la présomption d'innocence, que le recourant avait commis les faits dénoncés, tels qu'exposés dans l'acte d'accusation du 30 novembre 2017.
3.5. S'agissant enfin du caractère intentionnel de l'infraction, également réfuté par le recourant, il n'est guère contestable que, par ses cris et ses pleurs, de même que par ses tentatives de repousser le recourant, l'intimée avait clairement exprimé son absence de consentement, les actes de violence physique exercée par le recourant visant manifestement à contraindre l'intimée à lui faire subir l'acte sexuel. Il n'y a dès lors rien de critiquable à considérer que, dans un tel contexte, l'intention du recourant était établie.
Le recourant ne saurait à cet égard nullement se prévaloir de sa vision personnelle du couple marié, exprimée lors de ses auditions, ni de ses déclarations selon lesquelles, en substance, l'amour ne serait pas compatible avec la violence. Cela étant, c'est également en vain que le recourant se prévaut, pour les mêmes motifs, d'avoir agi sous l'emprise d'une erreur sur les faits (<ref-law>).
3.6. Il s'ensuit que la condamnation du recourant pour viol n'est pas contraire au droit fédéral.
Pour le surplus, le recourant ne conteste pas spécifiquement ses condamnations des chefs de lésions corporelles simples, menaces et contrainte. Il n'y a dès lors pas lieu d'y revenir.
4.
Le recourant critique ensuite les peines qui lui ont été infligées, en particulier celle de privation de liberté de 4 ans et 9 mois, qu'il tient pour excessivement sévère.
4.1.
4.1.1. Selon l'<ref-law>, le juge fixe la peine d'après la culpabilité de l'auteur. Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1). La culpabilité est déterminée par la gravité de la lésion ou de la mise en danger du bien juridique concerné, par le caractère répréhensible de l'acte, par les motivations et les buts de l'auteur et par la mesure dans laquelle celui-ci aurait pu éviter la mise en danger ou la lésion, compte tenu de sa situation personnelle et des circonstances extérieures (al. 2). La culpabilité doit être évaluée en fonction de tous les éléments objectifs pertinents, qui ont trait à l'acte lui-même, à savoir notamment la gravité de la lésion, le caractère répréhensible de l'acte et son mode d'exécution. Du point de vue subjectif, sont pris en compte l'intensité de la volonté délictuelle ainsi que les motivations et les buts de l'auteur. A ces composantes de la culpabilité, il faut ajouter les facteurs liés à l'auteur lui-même, à savoir les antécédents (judiciaires et non judiciaires), la réputation, la situation personnelle (état de santé, âge, obligations familiales, situation professionnelle, risque de récidive, etc.), la vulnérabilité face à la peine, de même que le comportement après l'acte et au cours de la procédure pénale (<ref-ruling> consid. 6 p. 66 s. et les références citées).
Le juge dispose d'un large pouvoir d'appréciation dans la fixation de la peine. Le Tribunal fédéral n'intervient que lorsque l'autorité cantonale a fixé une peine en dehors du cadre légal, si elle s'est fondée sur des critères étrangers à l'<ref-law>, si des éléments d'appréciation importants n'ont pas été pris en compte ou, enfin, si la peine prononcée est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (<ref-ruling> consid. 1.2 p. 319; <ref-ruling> consid. 5.6 p. 61). L'exercice de ce contrôle suppose que le juge exprime, dans sa décision, les éléments essentiels relatifs à l'acte ou à l'auteur qu'il prend en compte, de manière à ce que l'on puisse constater que tous les aspects pertinents ont été pris en considération et comment ils ont été appréciés, que ce soit dans un sens aggravant ou atténuant (<ref-law>; <ref-ruling> consid. 1.2 p. 319). Le juge peut passer sous silence les éléments qui, sans abus du pouvoir d'appréciation, lui apparaissent non pertinents ou d'une importance mineure. La motivation doit justifier la peine prononcée, en permettant de suivre le raisonnement adopté. Un recours ne saurait toutefois être admis simplement pour améliorer ou compléter un considérant lorsque la décision rendue apparaît conforme au droit (<ref-ruling> consid. 1.2 p. 319; <ref-ruling> consid. 5.6 p. 61; arrêt 6B_599/2020 du 31 mai 2021 consid. 1.2).
4.1.2. Selon l'<ref-law>, si, en raison d'un ou de plusieurs actes, l'auteur remplit les conditions de plusieurs peines de même genre, le juge le condamne à la peine de l'infraction la plus grave et l'augmente dans une juste proportion. Il ne peut toutefois excéder de plus de la moitié le maximum de la peine prévue pour cette infraction. Il est en outre lié par le maximum légal de chaque genre de peine (al. 1). Si le juge doit prononcer une condamnation pour une infraction que l'auteur a commise avant d'avoir été condamné pour une autre infraction, il fixe la peine complémentaire de sorte que l'auteur ne soit pas puni plus sévèrement que si les diverses infractions avaient fait l'objet d'un seul jugement (al. 2).
4.2. Le recourant ne conteste pas le choix de la cour cantonale de lui infliger une peine privative de liberté s'agissant de l'infraction de viol, ni celui de réprimer les autres infractions commises (lésions corporelles simples, menaces, contrainte) d'une peine pécuniaire (cf. jugement attaqué, consid. 21 p. 29).
4.3. Se plaignant en revanche d'une violation de l'<ref-law>, le recourant fait grief à la cour cantonale de ne pas avoir suffisamment détaillé la manière dont la peine privative de liberté de 4 ans et 9 mois (57 mois) avait été fixée.
4.3.1. S'agissant des éléments relatifs aux actes commis, la cour cantonale a tenu compte, en renvoyant à cet égard aux considérants du jugement de première instance (cf. jugement du 12 septembre 2019, consid. F.4 p. 62), de l'important préjudice causé à l'intimée, qui avait vécu un véritable enfer et dont l'état physique et psychologique dénotait une grande détresse, alors que les actes avaient été commis à son domicile, où elle ne pouvait dès lors jamais se sentir en sécurité. L'intensité délictuelle était en outre importante, le recourant ayant agi sur une longue durée et à de multiples reprises, ne laissant aucun répit à sa victime. Il avait ainsi continué à commettre les différents actes de violence malgré des interventions de tiers, notamment de la police et des voisins.
Le recourant avait par ailleurs agi de manière égoïste, afin d'assouvir ses désirs sexuels ainsi que son besoin de domination sur son épouse, qu'il n'avait pas hésité à traiter comme un objet. Il convenait néanmoins à cet égard de tenir compte que le recourant avait été très tôt en couple avec l'intimée, alors que ceux-ci n'étaient de toute évidence pas suffisamment mûrs pour assumer une vie de couple. Si ces éléments ne justifiaient en rien les actes commis, ils étaient cependant propres à expliquer, au moins en partie, les difficultés de communication que le couple avait connues. Ils expliquaient aussi l'absence de réaction de l'intimée, qui était par ailleurs très seule à l'époque des faits.
Au regard de ce qui précède, la cour cantonale a estimé, au moment de déterminer la gravité des actes à l'intérieur du cadre légal, que le recourant avait commis une faute qui devait être qualifiée de moyenne pour l'infraction de viol (cf. jugement attaqué, consid. 24 p. 30).
4.3.2. En ce qui concerne les éléments relatifs à l'auteur, la cour cantonale a relevé l'existence d'antécédents, à savoir une condamnation en avril 2016 pour agression et contravention à la loi fédérale sur les stupéfiants ainsi qu'une autre en octobre 2019 pour voies de fait et tentative de lésions corporelles simples, qui ne plaidaient pas en faveur du recourant, s'agissant également de comportements violents. De manière générale, la biographie du recourant dénotait une personne qui ne s'était que très peu impliquée en vue de sa formation et de son insertion professionnelles, préférant l'oisiveté, une vie en partie dissolue et une carrière musicale dans le hip-hop, impropre à assurer sa subsistance et celle des siens, en particulier des enfants qu'il avait eus avec sa nouvelle compagne. Dans ce contexte, il apparaissait que le recourant ne présentait pas une sensibilité particulière au prononcé d'une peine de privation de liberté, à l'inverse d'une personne qui jouirait d'une bonne situation socio-professionnelle. Il fallait en outre prendre en considération que le comportement du recourant n'avait pas été exemplaire. Il avait ainsi cherché à influencer un témoin, avait concocté une fausse attestation d'hébergement et s'en était pris inutilement à l'honneur de l'intimée.
Pris en compte d'une manière globale, les éléments relatifs à l'auteur étaient dès lors légèrement défavorables au recourant, ce qui justifiait une augmentation légère des peines d'ensemble à prononcer (cf. jugement attaqué, consid. 27 p. 30 s.).
4.3.3. Au regard des éléments dont il devait être tenu compte en lien avec les actes de viol commis, la cour cantonale a fixé à 27 mois la peine de base pour le premier viol, la peine devant être aggravée de 33 mois en raison des autres actes commis. Les éléments relatifs à l'auteur commandaient une aggravation, portée à 6 mois, pour un total de 66 mois. La cour cantonale a estimé cependant qu'en raison d'une violation importante du principe de célérité, il convenait de retrancher 9 mois à la peine ainsi fixée. A cet égard, elle a pris en considération que les faits étaient déjà anciens et que la procédure avait été dans l'ensemble très longue, une période de 21 mois s'étant notamment écoulée entre la mise en accusation et le jugement de première instance.
La peine privative de liberté à infliger au recourant devait dès lors finalement être fixée à 57 mois (4 ans et 9 mois; cf. jugement attaqué, consid. 26 p. 31 s.).
4.3.4. Quoi qu'en dise le recourant, les développements de la cour cantonale permettent de saisir le raisonnement qu'elle a suivi au moment de fixer la peine privative de liberté qui lui a été infligée en raison de sa condamnation pour viol. On ne discerne pas à cet égard de violation de l'<ref-law>.
En outre, en tant que le recourant reproche à la cour cantonale d'avoir aggravé la peine dès lors qu'il avait refusé de répondre aux questions des enquêteurs, le sanctionnant ainsi pour l'exercice raisonné de ses droits de procédure, l'argumentation contenue dans le jugement attaqué permet néanmoins de comprendre que la peine n'a pas été augmentée pour ce motif précisément, mais bien notamment pour la fausse attestation dont le recourant s'était prévalu et pour ses tentatives d'influencer un témoin, la cour cantonale ayant à cet égard expressément relevé qu'il ne saurait être reproché à l'intéressé de contester les infractions commises (cf. jugement attaqué, consid. 25.4 p. 31).
4.3.5. Pour le surplus, le recourant ne se plaint pas que l'un ou l'autre des éléments relevés n'aurait pas été pertinent au moment de fixer la peine. Il ne cite non plus aucun autre élément qui aurait été omis ou pris en considération à tort.
4.4. Il reste encore à examiner les critiques exprimées par le recourant en lien avec la recevabilité des conclusions prises par le ministère public dans son appel joint (cf. également consid. 1 supra) et l'application dans ce contexte du principe de l'interdiction de la reformatio in pejus.
Il est à cet égard rappelé qu'en l'espèce, le ministère public avait requis, par appel joint limité à la seule quotité de la peine, le prononcé d'une peine privative de liberté de 5 ans et demi, alors qu'en première instance, il s'était borné à demander une peine privative de liberté de 4 ans, peine qui avait été effectivement prononcée par l'autorité de première instance.
4.4.1. Certes, contrairement à ce qui prévaut pour les autres parties à la procédure (cf. <ref-law>), la légitimation du ministère public pour entreprendre une décision ne dépend pas spécifiquement d'un intérêt juridiquement protégé à l'annulation ou à la modification de la décision. Il est ainsi admis que le ministère public, vu son rôle de représentant de la société, en charge de la sauvegarde des intérêts publics, peut en principe librement recourir, tant en faveur qu'en défaveur du prévenu ou du condamné (cf. <ref-law>), sans avoir besoin de justifier au surplus d'être directement lésé par le jugement attaqué (Message du 21 décembre 2005 relatif à l'unification du droit de la procédure pénale [ci-après: le Message], FF 2006 1057 p. 1292; VIKTOR LIEBER, in DONATSCH/LIEBER/SUMMERS/ WOHLERS [éd.], Kommentar zur Schweizerischen Strafprozessordnung, 3e éd. 2020, vol. II, n° 2 ad <ref-law>; RICHARD CALAME, Commentaire romand, 2e éd. 2019, n° 5 ad <ref-law>; SCHMID/JOSITSCH, Handbuch des Schweizerischen Strafprozessrechts, 3e éd. 2017, n° 1455 p. 653).
4.4.2. Pour autant, si ces considérations sont susceptibles de valoir pleinement s'agissant d'un recours (cf. <ref-law>) ou d'un appel principal (cf. <ref-law>) déposé par le ministère public, on ne saurait d'emblée admettre qu'il doive en aller de même en toutes circonstances pour un appel joint (cf. <ref-law>), dont le caractère exclusivement accessoire par rapport à l'appel principal et les possibilités d'en abuser supposent une approche plus nuancée de la légitimation du ministère public.
Ainsi, le dépôt d'un appel joint implique, par définition, que son auteur ait précisément renoncé à former un appel principal et qu'il s'était dès lors accommodé du jugement entrepris, à tout le moins sur le point soulevé dans l'appel joint. Émanant du ministère public, l'appel joint présente dans ce contexte le danger de pouvoir être utilisé essentiellement comme un moyen visant à intimider le prévenu et dès lors être une source potentielle d'abus dans l'exercice de l'action publique. Il en va ainsi en particulier lorsque l'appel joint est interjeté par le ministère public dans le seul et unique but de faire obstacle à l'application de l'interdiction de la reformatio in pejus, au détriment du prévenu auteur de l'appel principal (cf. art. 391 al. 2, 1re phrase, a contrario CPP), et d'inciter indirectement ce dernier à le retirer (cf. MARLÈNE KISTLER VIANIN, Commentaire romand, 2e éd. 2019, n° 2 ad <ref-law>; GÉRARD PIQUEREZ, Traité de procédure pénale, 2e éd. 2006, n° 1234 p. 767).
4.4.3. Avant l'introduction du CPP, certains cantons ne connaissaient pas l'appel joint et d'autres avaient supprimé la possibilité pour le ministère public d'en former (en particulier les cantons de Berne et du Jura; cf. KISTLER VIANIN, op. cit., nbp 2 ad <ref-law>). Le législateur fédéral a pour sa part choisi d'introduire l'appel joint (cf. <ref-law>), tout en obligeant le ministère public à comparaître aux débats dans une telle hypothèse (cf. <ref-law>), cela afin de réduire les cas, constatés comme étant fréquents en pratique, dans lesquels l'appel joint était interjeté pour amener le prévenu à retirer son appel principal (cf. Message, FF 2006 1057, p. 1300 s.). Néanmoins, s'il en ressort que le législateur avait bien conscience des potentiels abus susceptibles de survenir dans le cadre du recours à l'appel joint, il demeure en l'état loisible au ministère public, sans qu'une comparution à l'audience consacre une perspective réellement dissuasive, d'interjeter un appel joint à la suite de tout appel principal d'un prévenu.
Cela ne saurait toutefois être admis si le seul et unique but de l'appel joint est de faire pression sur le prévenu. Un exercice adéquat et raisonné de l'action publique implique en effet, pour le ministère public, s'il est d'avis que la sanction prononcée en première instance n'est pas équitable, de former lui-même un appel principal, qui exercera alors un effet dévolutif complet (cf. art. 398 al. 2 et 3 CPP), sans que le sort de ses réquisitions dépende d'un éventuel retrait de l'appel principal du prévenu, qui aurait pour conséquence de rendre son appel joint caduc (cf. <ref-law>; cf. PIQUEREZ, op. cit., n° 1219 p. 760).
Dans ce contexte, si, au regard de l'<ref-law>, il n'y a pas matière à exiger du ministère public qu'il puisse justifier d'un intérêt juridiquement protégé lors du dépôt d'un appel joint, les considérations qui précèdent doivent en revanche conduire à se montrer particulièrement strict s'agissant de la légitimation du ministère public à former un appel joint lorsque le dépôt d'un tel acte dénote une démarche contradictoire susceptible de se heurter au principe de la bonne foi en procédure (cf. art. 5 al. 3 Cst.; <ref-law>; <ref-ruling> consid. 5.1 p. 192). Il en va en particulier ainsi lorsque le ministère public forme, sans motivation précise et en l'absence de faits nouveaux dont il entendait par hypothèse se prévaloir (cf. art. 391 al. 2, 2e phrase, CPP), un appel joint sur la seule question de la peine en en demandant une aggravation, alors que ses réquisitions à cet égard avaient été intégralement suivies par l'autorité de première instance.
4.4.4. En l'espèce, le ministère public a conclu, dans le cadre de son appel joint, au prononcé d'une peine privative de liberté de 5 ans et demi, sans motiver plus avant cette réquisition, alors qu'il s'était pourtant limité en première instance à demander une peine privative de liberté de 4 ans, qu'il avait obtenue. Cette démarche consacre un comportement contradictoire dans l'exercice de l'action publique, ce d'autant plus qu'en l'occurrence, la peine requise par appel joint n'aurait pas pu être prononcée par l'autorité de première instance devant laquelle le ministère public avait porté l'accusation, dès lors qu'elle excédait la compétence de celle-là, qui était limitée aux peines inférieures à 5 ans en vertu du droit cantonal d'organisation judiciaire (cf. art. 56 al. 2 let. b et c LiCPM/BE).
Cela étant, la cour cantonale aurait dû constater qu'au regard des art. 3 al. 2 let. a, 381 al. 1 et 401 CPP, le ministère public n'était pas légitimé à former un appel joint et qu'il n'y avait donc pas lieu d'entrer en matière sur celui-ci. Dès lors, le principe de l'interdiction de la reformatio in pejus trouvait pleinement application, ce qui empêchait la cour cantonale de prononcer une peine de privation de liberté plus sévère qu'en première instance.
5.
Il s'ensuit que le recours doit être partiellement admis, s'agissant de la peine prononcée. Pour le reste, il doit être rejeté dans la mesure où il est recevable.
Obtenant partiellement gain de cause, le recourant peut prétendre à des dépens réduits, à la charge du canton de Berne (<ref-law>). Sa demande d'assistance judiciaire est sans objet dans la mesure où le recourant obtient gain de cause et a droit à des dépens réduits; elle doit être rejetée pour le reste, dès lors que le recours était dénué de chances de succès s'agissant des aspects sur lesquels le recourant a succombé (<ref-law>). Le recourant, qui succombe partiellement, supportera une partie des frais judiciaires, fixés en tenant compte de sa situation financière qui n'apparaît pas favorable (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis, le jugement entrepris est annulé s'agissant de la peine et la cause est renvoyée à la cour cantonale pour nouvelle décision sur ce point. Pour le surplus, le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire du recourant est rejetée dans la mesure où elle n'est pas devenue sans objet.
3.
Une partie des frais judiciaires, arrêtée à 800 fr., est mise à la charge du recourant.
4.
Le canton de Berne versera à chacun des deux conseils du recourant un montant de 500 fr. à titre de dépens réduits pour la procédure au Tribunal fédéral.
5.
Le présent arrêt est communiqué aux parties et à la Cour suprême du canton de Berne, 2e Chambre pénale.
Lausanne, le 29 novembre 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
Le Greffier : Tinguely