Faits : A. Par jugement du 18 novembre 2019, rectifié par prononcé du 19 novembre 2019, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a acquitté A._ des infractions de tentative d'escroquerie et de violence ou menace contre les autorités et les fonctionnaires, l'a condamné pour lésions corporelles simples qualifiées, vol, menaces qualifiées et délit à la loi fédérale sur les armes, les accessoires d'armes et les munitions du 20 juin 1997 (LArm; RS 514.54) à une peine privative de liberté de 36 mois, sous déduction de la détention provisoire, ainsi qu'aux frais de la procédure par 22'715 fr., le solde de 1/5 étant laissé à la charge de l'État, et a rejeté ses conclusions en indemnisation. Il a donné acte de ses réserves civiles à B._ et statué sur le sort des pièces à conviction. B. Par jugement du 20 mai 2020, la Cour d'appel pénale du Tribunal cantonal vaudois a très partiellement admis l'appel de A._ contre ce jugement. Elle a alloué à A._ 1'323 fr. 80 (TVA comprise), au titre d'indemnité réduite (1/5) pour les dépenses occasionnées par la procédure de première instance, compensée avec les frais, mis 9/10 des frais de la procédure d'appel à sa charge et alloué une indemnité réduite (1/10) de 463 fr. 10 (TVA comprise) pour ses frais de défense en appel, montants compensés entre eux. Pour le surplus, elle a confirmé le jugement de première instance. En substance, le jugement du 20 mai 2020 repose sur les faits suivants. B.a. A._ et C._ forment un couple depuis la fin de l'année 2017. Ils ont fait ménage commun dès leur rencontre, dans un premier temps au domicile de C._ à U._, puis, dès l'été 2018, à V._. C._ a été la victime de la violence de A._, qui la frappait régulièrement, dès le début de leur relation. A U._, puis à V._, tout au long de l'année 2018, la vie du couple a été émaillée de fréquents passages à tabac, lors desquels A._ infligeait à C._ gifles, coups de poing et coups de ceinture, qui lui marquaient le visage et le corps d'hématomes et autres tuméfactions. Plusieurs personnes ont constaté les multiples bleus et coquards sur le corps de C._, parmi lesquels ses amis D._ et E._, ainsi que sa voisine F._. Pour les faits suivants, C._ n'a pas déposé de plainte pénale. Le 23 mars 2018, à U._, vers 22h20, la police est intervenue au domicile de C._, après que l'un de ses amis proches, D._, l'avait avisée qu'elle était victime de violences conjugales, l'auteur étant son compagnon, A._. A leur arrivée, les policiers se sont retrouvés face aux protagonistes, tous deux oppositionnels. C._ présentait un visage tuméfié, un hématome à l'oeil gauche et des marques à la base du cou. Quelques heures plus tôt, elle s'était présentée à la consultation de l'hôpital Riviera-Chablais, site de T._, souffrant d'une plaie à l'auriculaire gauche, laquelle avait nécessité la pose de cinq points de suture. C._ avait prétexté s'être blessée en coupant des légumes. En réalité, la blessure lui avait été occasionnée par A._ qui, lors d'une dispute, lui avait planté une fourchette dans la main. A W._, le 12 décembre 2018, C._ a été admise à l'hôpital Riviera-Chablais après avoir été tabassée par A._, qui lui avait asséné plusieurs coups au niveau de la tête. C._ a souffert d'un traumatisme crânien simple et d'une dermabrasion frontale gauche et au niveau de la lèvre supérieure. A V._, le 15 décembre 2018, la police est intervenue au domicile de C._ et de A._, après qu'elle avait été informée par la voisine, F._, du fait que A._ était en train de frapper sa concubine, qui hurlait et le suppliait d'arrêter. F._ avait précisé qu'elle entendait le bruit des coups "comme si A._ était en train de la balancer contre les murs ou sur la table". Lors de cette dispute, laquelle avait duré plusieurs minutes, A._ avait menacé C._ de la tuer. Sur place, les policiers s'étaient heurtés à l'attitude oppositionnelle de A._, qui avait refusé de les laisser entrer, avant de les exhorter à quitter les lieux. Le 19 septembre 2018, à X._, à la boucherie Y._, A._, de concert avec C._, a dérobé des articles pour un montant de 328 fr. 45. B._, représentant qualifié du commerce, a déposé plainte. B.b. A._ a fait l'objet de plusieurs sanctions disciplinaires. A teneur de son casier judiciaire, il a deux antécédents au Tribunal des mineurs datant de 2012 et 2014. Il a en outre été condamné en 2015 et 2017, essentiellement pour tentative de lésions corporelles graves, lésions corporelles simples, brigandage, violence ou menace contre les autorités et les fonctionnaires et dommages à la propriété, à des peines privatives de liberté notamment. Sa dernière condamnation remonte au 7 février 2019, où il a été condamné, par défaut, à une peine privative de liberté de 200 jours notamment, pour menaces et tentative de menaces, discrimination raciale et violence ou menace contre les autorités et les fonctionnaires. Ce jugement du Juge de police de l'arrondissement de la Sarine est devenu définitif et exécutoire le 3 mars 2020, date de l'arrêt rendu par la Cour d'appel pénal du Tribunal cantonal fribourgeois à la suite du retrait de l'appel du recourant déposé le 20 mars 2019 à l'encontre du jugement du 7 février 2019. C. A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement précité. Il conclut, avec suite de frais et dépens, à son annulation et au renvoi de la cause à la cour cantonale "pour nouvelle instructionet nouvelle décision dans le sens des considérants". Par ailleurs, il requiert l'octroi de l'assistance judiciaire.