Faits : A. Par jugement du 16 juillet 2019, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a condamné A._ pour mise en danger de la vie d'autrui, tentative de menaces, violation de domicile, contrainte sexuelle, viol, tentative de viol, infraction à la loi fédérale sur les armes, les accessoires d'armes et les munitions et contravention à la loi fédérale sur les stupéfiants à une peine privative de liberté de 3 ans, dont 24 mois avec sursis pendant 4 ans. Il a également ordonné que A._ se soumette à une obligation de suivi psychothérapeutique et à l'interdiction d'acquérir des armes de quelque nature que ce soit à titre de règles de conduite, l'a condamné à une amende de 400 fr. et a constaté qu'il avait été détenu pendant 19 jours dans des conditions illicites et a ordonné que 10 jours de détention supplémentaires soient déduits de la peine privative de liberté prononcée. Enfin, le tribunal a ordonné le maintien des mesures de substitution pour des motifs de sûreté jusqu'à l'entrée en force des règles de conduite, a ordonné la confiscation et la destruction de divers armes et objets et a dit que A._ devait immédiat paiement à B._ d'un montant de 6'000 fr. avec intérêt à 5% l'an dès le 1er mai 2017 à titre d'indemnité pour tort moral. B. Par jugement du 13 décembre 2019, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel de A._ et a admis l'appel joint de B._. Elle a réformé le jugement précité en ce sens que A._ doit payer à B._ un montant de 8'000 fr. à titre d'indemnité pour tort moral. Elle a confirmé le jugement pour le surplus. La cour cantonale a retenu les faits suivants s'agissant des infractions encore contestées devant le Tribunal fédéral. B.a. Né en 1984 à D._, A._ a entretenu une relation amoureuse avec B._ entre 2010 et début 2018. Cette relation a été ponctuée de plusieurs ruptures. Le couple n'a jamais vécu sous le même toit, mais a eu une fille, née en 2013, qui vit avec sa mère. La rente AI du prévenu inclut le montant d'une rente pour cet enfant, qui est versée directement à la mère. Aucune inscription ne figure au casier judiciaire de A._. B.b. En cours d'instruction, A._ a été soumis à une expertise psychiatrique. Selon un rapport du 19 décembre 2018, celui-ci souffre d'un trouble mixte de la personnalité grave, avec traits émotionnellement labiles de type borderline, paranoïaques et dyssociaux, ainsi que d'un syndrome de dépendance au cannabis, alors abstinent en milieu protégé. Selon l'expert, le prévenu ne présentait pas de diminution de la responsabilité, hormis une légère diminution de sa faculté à se déterminer d'après son appréciation du caractère illicite de ses actes en ce qui concerne les événements du 7 juin 2018 (cas 4 de l'acte d'accusation), en raison d'un débordement émotionnel et d'un état d'ébriété. Le risque de récidive était élevé pour des actes de même nature. Afin de diminuer ce risque, il était nécessaire que le prévenu poursuive son travail psychothérapeutique. Il n'y avait cependant pas d'intérêt à imposer un tel suivi au prévenu et le faire pourrait même en diminuer l'efficacité. Le traitement ambulatoire ne serait pas entravé et ses chances de succès ne seraient pas notablement amoindries par l'exécution d'une peine privative de liberté. Les actes punissables commis par le prévenu n'étaient pas à mettre en lien avec son addiction au cannabis. B.c. A E._, au domicile de B._, en 2016, ensuite d'une altercation, A._ a étranglé son amie, l'empêchant de respirer, la faisant vomir et lui causant des marques. B.d. A E._, au domicile de B._, en avril 2017, alors que le couple s'était séparé, A._ s'est introduit de nuit dans l'appartement de l'intéressée, qui avait oublié de verrouiller sa porte d'entrée. Le prévenu s'est déshabillé, s'est rendu dans la chambre de cette dernière, qui dormait couchée sur le dos, a enlevé le duvet, lui a mis une main sur la bouche, lui a enlevé le bas de sa tenue, lui a écarté les jambes de force et l'a pénétrée vaginalement, tout en lui tenant les deux mains de chaque côté de la tête, ainsi que les cheveux. Il a fait des va-et-vient dans le vagin de B._ jusqu'à éjaculation. Cette dernière s'est débattue, a hurlé pendant l'acte et lui a demandé de la lâcher. B.e. A E._, le 15 mars 2018, bien que séparés, A._ a passé la soirée au domicile de B._. Entre 22 et 23 heures, cette dernière s'est rendue dans sa chambre pour se préparer à aller au lit. Le prévenu l'a suivie, l'a poussée sur le lit et l'a tenue couchée par les deux poignets avec une main. B._ s'est débattue et a tenté de frapper le prévenu avec les genoux. A._ a essayé de baisser le short de celle-ci dans l'intention de la contraindre à l'acte sexuel. Comme elle se débattait, il n'y est pas parvenu. Il s'est ensuite masturbé, tout en tenant B._ d'une main. Il a éjaculé sur le haut du corps de cette dernière. B.f. A E._, le 7 juin 2018, vers 10h45, A._ s'est rendu au domicile de B._. Ils ont bu le café en présence de C._, nouvel ami de cette dernière. Le prévenu a quitté les lieux en fin de matinée et s'est rendu en forêt. Vers 18h15, il a envoyé des photos à B._ pour lui dire qu'il s'était coupé un doigt. Vers 19h20 il lui a téléphoné pour lui dire qu'il s'était " engueulé " avec sa mère, laquelle avait refusé de l'emmener à l'hôpital. Un peu plus tard il a à nouveau téléphoné à son ex-amie pour lui demander s'il pouvait venir boire un café, ce qu'elle a refusé. Le prévenu a insisté et B._ lui a clairement fait comprendre qu'il n'était pas le bienvenu chez elle. A._ lui a dit qu'il venait quand même et il a raccroché le téléphone. Vers 19h30, il a frappé à la porte de l'appartement de B._ qui a entrouvert sa porte. Le prévenu, en colère, a alors forcé le passage et s'est introduit dans l'appartement tout en demandant à parler à C._ et tout en tenant un grand couteau dans la main droite. B._ a tenté de retenir le prévenu qui l'a repoussée et qui a brandi son couteau en direction de C._ qui se trouvait dans la cuisine, en lui disant à plusieurs reprises qu'il allait le tuer et le planter. Il s'est dirigé vers C._ en brandissant son couteau. B._ a essayé de retenir et de désarmer le prévenu. C._ s'est alors enfui et est sorti par la porte d'entrée, pendant que A._ sortait de l'appartement par la terrasse. Sur demande de B._, C._ est revenu dans l'appartement. Ils ont verrouillé les portes pour empêcher le prévenu de rentrer et ils ont fait appel à la police. C. A._ forme un recours en matière pénale contre le jugement du 13 décembre 2019. Il conclut, avec suite de frais et dépens, principalement, à la réforme de celui-ci en ce sens qu'il est uniquement reconnu coupable de violation de domicile, d'infraction à la loi sur les armes et de contravention à la loi sur les stupéfiants et qu'il est acquitté des chefs d'accusation de mise en danger de la vie d'autrui, de tentative de menaces, de contrainte sexuelle, de viol et de tentative de viol. Il conclut à ce qu'il soit condamné à une peine pécuniaire de 40 jours-amende à 30 fr. le jour subsidiairement à une peine privative de liberté d'une durée de trois mois et, plus subsidiairement, d'une durée modérée et compatible avec l'octroi d'un sursis total et que cette peine soit assortie du sursis pendant deux ans. Il conclut également à la suppression des règles de conduite ordonnées et à la révocation des mesures de substitution pour des motifs de sûreté, réclame 950 fr. à titre d'indemnité pour détention dans des conditions illicites, conclut à ce que tous les objets saisis qui ne sont pas des armes au sens de la loi sur les armes lui soient restitués et au rejet des prétentions civiles de B._. Subsidiairement, il conclut à l'annulation du jugement du 13 décembre 2019 et au renvoi de la cause à l'autorité inférieure pour nouvelle décision dans le sens des considérants. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.