Faits :
A.
Par jugement du 15 juillet 2020, le Tribunal correctionnel de l'arrondissement de La Broye et du Nord vaudois a reconnu A._ coupable d'utilisation abusive d'une installation de télécommunication, menaces, tentative de contrainte, instigation à tentative de contrainte, contrainte sexuelle, viol et tentative d'instigation à faux témoignage, et l'a condamné à une peine privative de liberté de cinq ans, sous déduction de 463 jours de détention avant jugement à la date du 14 juillet 2020. Il a ordonné que soient déduits de cette peine privative de liberté 10 jours pour 20 jours subis dans des conditions illicites dans les locaux de la police. Il a en outre condamné A._ à une amende de 300 fr. (la peine privative de liberté de substitution étant fixée à trois jours en cas de non-paiement fautif), ordonné le maintien en détention pour des motifs de sûreté du précité, statué sur les conclusions civiles de B._, sur le sort des pièces à conviction, ainsi que sur les frais et indemnités des avocats.
B.
Par jugement du 25 novembre 2020, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel de A._ et l'appel joint du Ministère public central du canton de Vaud et confirmé le jugement de première instance. Elle a déduit la détention subie depuis le jugement de première instance et ordonné le maintien en détention pour des motifs de sûreté de A._.
La cour cantonale a retenu les faits suivants s'agissant des infractions encore contestées devant le Tribunal fédéral.
B.a. A._ s'est mis en couple avec B._ en 2017. Cette relation a toutefois été émaillée de plusieurs séparations et réconciliations. Le couple n'a jamais fait domicile commun, chacun vivant chez ses parents respectifs.
B.b. Dans la nuit du 2 au 3 juillet 2018, au domicile de B._ à U._, alors que le couple venait de se mettre au lit et que A._ était énervé à la suite d'une dispute, celui-ci a commencé à caresser B._ sur le sexe, à même la peau. Celle-ci lui a pris la main et l'a retirée, à plusieurs reprises, mais il recommençait toujours ses agissements. A._ lui a ensuite enlevé sa culotte. B._ lui a alors signifié verbalement qu'elle ne désirait pas de rapport sexuel avec lui. Celui-ci a toutefois enlevé son caleçon et est venu sur elle. Elle lui a demandé d'arrêter. Il lui a alors saisi les poignets et lui a bloqué les bras au-dessus de la tête. Il l'a ensuite pénétrée malgré son refus et s'est mis à faire des va-et-vient. B._ pleurait et continuait à lui demander d'arrêter. A un moment donné, il lui a lâché un des poignets et lui a mis la main sur la bouche en lui disant: " Ta gueule, arrête de pleurer, t'es une pute, je sais que tu aimes ça ". Il s'est ensuite retiré et lui a dit vouloir la pénétrer analement. Elle a répondu qu'elle ne voulait pas, car cela lui faisait mal. Il lui a donc demandé de lui prodiguer une fellation, ce qu'elle a accepté de peur qu'il ne la contraigne à une relation anale. Toutefois, après peu de temps, A._ l'a tirée par les cheveux en lui disant qu'elle le faisait mal. Il l'a alors pénétrée analement alors qu'elle se trouvait couchée à plat ventre. B._ pleurait, lui demandait de s'arrêter et a tenté de le repousser avec ses mains, mais il enlevait ses mains, lui tirait les cheveux et ne cessait de répéter " ta gueule ". Finalement, il s'est retiré et B._ s'est rapidement retournée pour éviter qu'il ne puisse à nouveau la pénétrer analement. Pourtant, A._ l'a à nouveau pénétrée vaginalement, en lui plaçant toujours la main sur la bouche, car elle continuait de pleurer et de lui demander d'arrêter. Il a fini par éjaculer et se retirer. Il lui a ensuite placé un coussin sur la tête en lui disant que l'étouffement était une mort lente et douloureuse et qu'il pouvait la tuer facilement, avant de relâcher son étreinte et lui demander si elle avait peur. A la suite de sa réponse affirmative, il lui a alors dit qu'il n'était pas quelqu'un de bien et qu'elle devrait le quitter.
B.c. Entre août 2018 et début septembre 2018, au domicile de B._ à U._, alors que A._ se trouvait avec elle sur le lit de celle-ci pour l'aider à réviser ses cours, il a contraint la jeune femme à lui prodiguer une fellation. Pour ce faire, il a baissé son propre pantalon et son caleçon, avant de venir sur B._. Celle-ci lui a dit plusieurs fois qu'elle ne voulait pas. Toutefois, il lui a bloqué les bras avec ses jambes afin de l'empêcher de bouger et lui a introduit son sexe dans la bouche. Il a ensuite fait quelques va-et-vient avant de se retirer.
B.d. Le matin du 9 septembre 2018, au domicile de la soeur de B._ à U._, après que le couple a eu un rapport sexuel consenti durant la nuit, A._ s'est placé à genoux entre les jambes de sa compagne, qui était couchée sur le dos, et a commencé à lui enlever le legging et la culotte qu'elle portait pour la nuit, sans rien dire. B._ lui a dit non et qu'elle n'en avait pas envie. Elle a tenté de retenir son legging mais A._ est quand même parvenu à le lui enlever, de même que sa culotte. Il l'a immédiatement pénétrée. B._ a tenté de le repousser en appuyant sur ses hanches, mais A._ lui saisissait les mains à chaque fois. Il lui a également dit " ta gueule ". Finalement, constatant qu'elle ne parvenait pas à résister, B._ s'est laissée faire et A._ a éjaculé en elle avant de se retirer.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 25 novembre 2020. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens qu'il est acquitté des chefs d'accusation de viol et de contrainte sexuelle, condamné à une peine privative de liberté de trois mois pour menaces, utilisation abusive d'une installation de télécommunication, tentative de contrainte, instigation à tentative de contrainte, tentative d'instigation à faux témoignage, cette peine devant être assortie du sursis pour tenir compte de son jeune âge, dont à déduire de la peine privative de liberté 10 jours pour 20 jours subis dans des conditions illicites dans les locaux de la police. Il conclut en outre à l'annulation de l'amende de 300 fr., de son maintien en détention pour des motifs de sûreté, du paiement à B._ des sommes dues à titre de réparation du tort moral et de son dommage matériel, des frais de première et seconde instance et du remboursement des indemnités allouées à son conseil juridique gratuit de première instance et au conseil d'office de B._, la cause étant renvoyée sur ces points à la cour cantonale pour nouvelle décision. Il conclut enfin au versement de l'indemnité réclamée en première et deuxième instance. Subsidiairement, il conclut à son acquittement des chefs d'accusation de viol et de contrainte sexuelle et au renvoi de la cause à la cour cantonale pour statuer sur les conséquences civiles et pénales de l'acquittement.

Considérant en droit :
1.
Invoquant l'<ref-law>, et le droit à un procès équitable, le recourant reproche à la cour cantonale de s'être limitée à un examen en droit de son appel.
Outre que le recourant ne fournit aucune explication ni argumentation pour étayer sa critique contrairement à l'<ref-law>, ce reproche est manifestement infondé puisqu'il suffit de lire le jugement entrepris pour constater que la cour cantonale a examiné l'appel tant en fait qu'en droit.
2.
Le recourant invoque également une violation des art. 164 al. 2 et 182 CPP, sans toutefois fournir de motivation à cet égard dans la suite de son recours, de sorte que ce grief est irrecevable (cf. <ref-law>).
3.
Invoquant l'art. 29 al. 2 Cst., le recourant reproche à la cour cantonale de n'avoir pas donné suite à ses réquisitions de preuve, de sorte que celle-ci aurait établi les faits de manière arbitraire, en violation de l'art. 9 Cst. et du principe " in dubio pro reo ".
3.1. Le droit d'être entendu, garanti par l'art. 29 al. 2 Cst., comprend notamment celui de produire ou de faire administrer des preuves, à condition qu'elles soient pertinentes et de nature à influer sur la décision à rendre (<ref-ruling> consid. 4.1; <ref-ruling> consid. 2.3; <ref-ruling> consid. 6.3.1 et les références citées). Il n'empêche pas le juge de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de se forger une conviction et que, procédant de manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, il a la certitude qu'elles ne pourraient pas l'amener à modifier son opinion. Le refus d'instruire ne viole ainsi le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a procédé, est entachée d'arbitraire (<ref-ruling> consid. 3.1.3; <ref-ruling> consid. 3.3; <ref-ruling> consid. 5.3; arrêt 6B_249/2021 du 13 septembre 2021 consid. 1.1.2).
Selon l'<ref-law>, la procédure de recours se fonde sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance. L'<ref-law> règle les preuves complémentaires. Ainsi, la juridiction de recours administre, d'office ou à la demande d'une partie, les preuves complémentaires nécessaires au traitement du recours. Le droit d'être entendu, consacré par l'<ref-law>, garantit aux parties le droit de déposer des propositions relatives aux moyens de preuves (al. 1 let. e). Conformément à l'<ref-law>, il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité ou déjà suffisamment prouvés. Cette disposition codifie, pour la procédure pénale, la règle jurisprudentielle déduite de l'art. 29 al. 2 C st. en matière d'appréciation anticipée des preuves (arrêt 6B_249/2021 du 13 septembre 2021 consid. 1.1.2 et les références citées).
3.2. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais aussi dans son résultat (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1; <ref-ruling> consid. 2.3.1). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; <ref-ruling> consid. 1.1). Les critiques de nature appellatoires sont irrecevables (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1).
En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 3.6.2; <ref-ruling> consid. 1.1 et les références citées). Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence à la présomption d'innocence (art. 6 par. 2 CEDH, 32 al. 1 Cst. et 10 CPP), le principe " in dubio pro reo " n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1).
3.3. Le recourant reproche à la cour cantonale d'avoir refusé d'administrer une expertise de crédibilité de l'intimée, alors que plusieurs éléments permettraient de douter de la véracité de ses déclarations.
3.3.1. Le juge ne doit recourir à une expertise de crédibilité qu'en présence de circonstances particulières. Une expertise de crédibilité effectuée par un spécialiste peut notamment s'imposer s'agissant de déclarations d'un petit enfant qui sont fragmentaires ou difficiles à interpréter, lorsqu'il existe des indices sérieux de troubles psychiques ou encore lorsque des éléments concrets donnent à penser que la personne interrogée a été influencée par un tiers (<ref-ruling> consid. 2.4 p. 184; <ref-ruling> consid. 2 p. 84; cf. arrêts 6B_123/2020 du 26 novembre 2020 consid. 3.1; 6B_204/2019 du 15 mai 2019 consid. 2.1; 6B_1070/2017 du 20 avril 2018 consid. 2.1). Le tribunal dispose à cet égard d'un pouvoir d'appréciation (arrêt 6B_962/2019 du 17 septembre 2019 consid. 1.4.1 et les références citées).
3.3.2. La cour cantonale n'a pas ordonné d'expertise de crédibilité de l'intimée, aux motifs que celle-ci était majeure et manifestement capable de discernement. Ni la prise du médicament C._ ni l'excès de consommation d'alcool de l'intimée mis en évidence par le recourant - en relation d'ailleurs avec des faits autres que ceux litigieux - ne constituaient des indices sérieux de troubles psychiques pouvant influencer les déclarations de la jeune femme (cf. jugement entrepris, consid. 3.3 p. 21).
3.3.3. En l'espèce, le recourant se borne à exposer les effets secondaires du médicament C._ et à affirmer que ceux-ci seraient aggravés par l'abus d'alcool et la prétendue consommation de stupéfiants de l'intimée, sans toutefois invoquer d'éléments venant corroborer l'existence d'indices sérieux de troubles psychiques chez l'intimée. Ce faisant, le recourant ne fait qu'émettre des hypothèses générales et se contente d'exposer sa propre appréciation des faits, sans contester le raisonnement suivi par la cour cantonale, dans une critique purement appellatoire et, partant irrecevable (cf. <ref-law>). Il en va notamment ainsi des contradictions, versions divergentes et incohérences invoquées par le recourant pour mettre en doute la crédibilité de l'intimée, lesquelles ont été expliquées par la cour cantonale sans que le recourant ne démontre en quoi celle-ci aurait versé dans l'arbitraire. Il en va de même de l'absence de confidence au pharmacien ayant délivré la pilule du lendemain à l'intimée au sujet d'un prétendu viol et des accusations proférées par celle-ci à l'encontre du recourant relatives à la détention d'armes. En effet, outre que ces éléments ne ressortent pas de l'état de fait cantonal, le recourant n'explique pas en quoi la cour cantonale aurait omis ceux-ci de manière arbitraire.
3.4. Le recourant reproche à la cour cantonale d'avoir écarté le rapport technique du 24 novembre 2020 de l'Université de Lausanne permettant d'authentifier les captures d'écran provenant d'échanges WhatsApp entre le recourant et l'intimée qui démontreraient que celle-ci aurait tout inventé. Sur cette base, la cour cantonale aurait donc dû ordonner l'extraction des données des téléphones du recourant et de l'intimée.
3.4.1. La cour cantonale a considéré que les captures d'écran produites par le recourant dans le cadre de la procédure n'étaient pas de nature à remettre en cause l'appréciation convaincante et pertinente des premiers juges selon laquelle celles-ci étaient dépourvues de valeur probante. Elle s'est en outre référée au jugement de première instance pour considérer que le rapport technique du 24 novembre 2020 produit en appel par le recourant ne permettait pas à lui seul de lever les doutes sérieux qui existaient sur la véracité et la provenance de ces captures d'écran (cf. jugement entrepris, consid. 4.6.2 p. 26 s.). En effet, ces dernières avaient été produites en décembre 2019, alors que le recourant était en détention et avait déjà produit des captures d'écran auparavant. Elles n'avaient pas été produites à l'appui de la plainte du recourant pour dénonciation calomnieuse à l'encontre de l'intimée et seraient datées du début de l'année 2019, à un moment où le recourant n'était pas encore en détention. Par ailleurs, celui-ci n'avait jamais été en mesure de produire le moindre support original, malgré la demande du ministère public. Enfin, le courrier du recourant intercepté sur son codétenu le 7 février 2020 démontrait qu'il s'agissait de fausses captures d'écran.
Concernant l'extraction des données du téléphone de l'intimée, la cour cantonale a considéré que cette mesure d'instruction paraissait inutile, par appréciation anticipée des preuves, compte tenu de l'ensemble des preuves déjà administrées et examinées par les premiers juges. En outre, cette mesure d'instruction n'avait pas été renouvelée aux débats de première instance et n'était de toute façon pas nécessaire, compte tenu des nombreux éléments déjà examinés au sujet des messages téléphoniques ou écrits (jugement entrepris, consid. 3.3 p. 20 s.).
3.4.2. En l'espèce, le recourant se limite à citer des passages du rapport technique du 24 novembre 2020 et du jugement entrepris sans expliquer en quoi l'appréciation de la cour cantonale sur la pertinence de ce moyen de preuve et son refus d'administrer des expertises des téléphones du recourant et de l'intimée sur cette base seraient arbitraires. Sa critique est dès lors appellatoire et, partant, irrecevable (cf. <ref-law>).
3.5. Le recourant reproche à la cour cantonale de n'avoir pas ordonné l'inspection locale de la chambre de l'intimée et l'audition des parents de celle-ci, alors que ces moyens de preuve étaient nécessaires pour contrôler la véracité des déclarations de l'intimée et s'assurer que les parents n'avaient pas pu entendre le bruit généré par les faits relatés par celle-ci en lien avec le complexe de faits du 2 au 3 juillet 2018.
3.5.1. La cour cantonale a refusé de donner suite à ces réquisitions aux motifs qu'il n'était pas contesté que les parents de la jeune femme dormaient au moment des faits et qu'aucun élément ne permettait de retenir qu'ils auraient entendu (ou pu entendre) quelque chose de suspect. En outre, l'intimée avait déclaré que le recourant lui avait mis la main sur la bouche pour l'empêcher de crier et qu'elle ne voulait pas alerter ses parents (cf. jugement entrepris, consid. 3.3 p. 20 et consid. 4.1.3 p. 24).
3.5.2. La question de savoir si le fait de requérir ces moyens de preuve pour la première fois au stade de l'appel est contraire à la bonne foi, comme l'a retenu la cour cantonale, peut rester ouverte, puisque celle-ci s'est fondée sur d'autres éléments pour refuser de les administrer. Or, le recourant ne démontre pas en quoi le raisonnement suivi par la cour cantonale à cet égard serait arbitraire. Au demeurant, le simple fait que les déclarations du recourant se rapportent à une autre nuit que celle du complexe de faits du 2 au 3 juillet 2018 n'est pas en soi propre à exclure que les parents dormaient au moment des faits reprochés, dans la mesure où il est établi que ces derniers se sont passés durant la nuit. En outre, le fait que le recourant ait mis sa main sur la bouche de l'intimée à plusieurs reprises, de sorte que certains sanglots étaient audibles, est sans pertinence puisque, comme l'a retenu la cour cantonale, l'intimée ne voulait pas alerter ses parents, ce qui n'est pas contesté par le recourant. Enfin, celui-ci n'invoque aucun élément permettant de supposer que les parents de l'intimée auraient pu entendre quelque chose de suspect, comme l'a retenu la cour cantonale. Mal fondé, ce grief doit partant être rejeté.
3.6. Au vu de ce qui précède, les griefs tirés de la violation du droit d'être entendu, de l'interdiction de l'arbitraire et du principe " in dubio pro reo " doivent être rejetés, dans la faible mesure de leur recevabilité.
4.
Pour le surplus, le recourant ne discute pas les infractions de viol et de contrainte sexuelle retenues sur la base des faits établis (<ref-law>), alors même qu'il a conclu à son acquittement de ces chefs de prévention.
5.
Vu l'issue du recours, la conclusion du recourant relative à l'octroi d'une indemnité sur la base de l'<ref-law> est sans fondement, de même que les autres conclusions formulées avec la quotité de la peine et l'octroi du sursis, ainsi que l'annulation de l'amende de 300 fr., de son maintien en détention pour des motifs de sûreté, du paiement à l'intimée des sommes dues à titre de réparation du tort moral et de son dommage matériel, des frais de première et seconde instance et du remboursement des indemnités allouées à son conseil juridique gratuit de première instance et au conseil d'office de l'intimée.
6.
Au vu de ce qui précède, le recours doit être rejeté, dans la mesure où il est recevable. Le recourant, qui succombe, doit supporter les frais judiciaires (<ref-law>). Il n'y a pas lieu d'allouer des dépens à l'intimée qui n'a pas été invitée à procéder (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 25 octobre 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
Le Greffier : Rosselet