Faits :
A.
Par jugement du 12 février 2020, le Tribunal de police de l'arrondissement de l'Est vaudois a reconnu A._ coupable de lésions corporelles simples qualifiées et d'injure, l'a condamné, outre aux frais de la procédure, à une peine privative de liberté de 50 jours et à une peine pécuniaire de 20 jours-amende à 30 fr. le jour, a renoncé à révoquer les sursis qui lui avaient été accordés le 23 mai 2017 par le Ministère public de l'arrondissement de Lausanne, respectivement le 9 juin 2017 par le Ministère public de l'arrondissement de l'Est vaudois, et rejeté ses conclusions en indemnisation. Il a en outre condamné A._ à verser à B._ un montant de 1'000 fr., avec intérêts à 5% l'an dès le 20 mai 2019, au titre d'indemnité pour tort moral, et de 3'444 fr. 25 au titre d'indemnité pour les dépenses obligatoires occasionnées par la procédure, donnant acte à celle-ci de ses réserves civiles pour le surplus.
B.
Par jugement du 26 mai 2020, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel de A._ contre ce jugement.
En substance, la condamnation repose sur les faits suivants.
A._ et B._ se sont mariés en 2013. Le couple vit séparé depuis juillet 2018, la séparation ayant été officiellement prononcée par le Tribunal civil de l'arrondissement de l'Est vaudois le 28 février 2019. Ils sont les parents de deux enfants âgés de 5 et 4 ans, qui vivent auprès de leur mère. Depuis leur union, de nombreuses disputes les ont opposés, lors desquelles A._ a violenté B._. La police a dû intervenir à plusieurs reprises au domicile conjugal, la dernière fois avant les faits de la cause le 18 avril 2019.
B._ a déposé plainte pour les faits suivants. Le 19 mai 2019 vers 15h30, à C._, dans l'ascenseur de l'immeuble sis quai D._, A._ lui a asséné un coup de poing au niveau du thorax, en présence de leurs enfants, si bien qu'elle a eu le souffle coupé et s'est écroulée au sol. Il l'a en outre injuriée, la traitant de "pute", et l'a traînée au sol pour la sortir de l'ascenseur sur le palier du 10 ème étage. B._ a souffert d'un pneumothorax gauche de 7 mm à l'apex, d'un hématome cutané en regard de la 4 ème côte antérieure gauche, de fractures des côtes gauches cliniques, ainsi que d'ecchymoses au niveau du thorax, du dos et du bras gauche.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement précité. Il conclut, avec suite de frais et dépens, à sa réforme, en ce sens qu'il est acquitté et que les conclusions civiles de B._ sont partant rejetées, qu'une indemnité de 2'184 fr., respectivement de 895 fr. 15, lui est allouée pour la procédure de première instance et d'appel au titre des dépenses occasionnées par l'exercice raisonnable de ses droits de procédure. Subsidiairement, il conclut au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. Par ailleurs, il requiert l'octroi de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant fait valoir que la cour cantonale aurait établi les faits et apprécié les preuves de manière arbitraire. A cet égard, il dénonce une violation de la présomption d'innocence.
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 1.1 p. 503; sur la notion d'arbitraire v. <ref-ruling> consid. 2.3.1 p. 244). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; ATF <ref-ruling> consid. 1.1 p. 503). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.1 p. 156). Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence à la présomption d'innocence (art. 6 par. 2 CEDH, 32 al. 1 Cst. et 10 CPP), le principe in dubio pro reo n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.1 p. 156; <ref-ruling> consid. 1.1 p. 503).
Lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit en effet être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs apparaissent fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêts 6B_366/2020 du 17 novembre 2020 consid. 2.1; 6B_757/2020 du 4 novembre 2020 consid. 2.1; 6B_714/2020 du 19 octobre 2020 consid. 2.1.2).
1.2. La cour cantonale a résumé et confirmé ce qu'avait retenu le juge de première instance, renvoyant à ce jugement, qu'elle a complété sur certains points. La cour cantonale a notamment précisé que le coup et les lésions étaient documentés par la lettre de sortie de l'Hôpital E._ du 28 mai 2019 qui, en plus du diagnostic et du traitement, faisait aussi état dans l'anamnèse de la douleur ressentie par la patiente au niveau du thorax gauche, péjorée à la mobilisation et à l'inspiration profonde. Le constat médical établi par l'Unité de médecine des violences le 20 mai 2019 - associé à des photographies des ecchymoses - confirmait encore la réalité du coup donné par le recourant et les lésions subies par l'intimée. Il existait une correspondance étroite entre la version des faits donnée aux médecins par l'intimée - coup de poing au thorax, chute et traînage au sol -, et les traces relevées par ces mêmes soignants et les légistes. La force du coup lésant le poumon, l'emplacement de l'impact et cette correspondance des traces et de la version, eu égard notamment aux traces dues à la chute et au traînage au sol, excluaient toute prétendue simulation par des violences auto-infligées. L'intimée avait livré cette version des violences subies aux médecins, aux policiers et au procureur, ainsi qu'au premier juge. Au demeurant, elle n'avait pas appelé la police sur le champ, mais le lendemain vers 13h, sur conseil du personnel médical, ce qui écartait tout soupçon de manipulation. Selon la cour cantonale, la version de l'intimée quant à l'injure était tout aussi crédible, l'agression verbale précédant l'agression physique et le terme injurieux s'insérant dans le reproche fait à l'épouse par le mari repoussé d'avoir fréquenté une discothèque. Par ailleurs, la cour cantonale a reconnu que la garde des enfants constituait un enjeu du litige opposant les parties et que le statut de l'intimée dans ce combat était fragile compte tenu de certains faits dénoncés. L'existence de ce conflit ne permettait toutefois pas d'aboutir à la conclusion que l'intimée aurait inventé et mis en scène les faits reprochés au recourant pour "marquer des points" et regagner des positions perdues vis-à-vis des autorités de protection de l'enfant. Une simulation était donc exclue, le coup et ses conséquences étant objectivement établis. Au vu de l'ensemble des éléments, la cour cantonale a confirmé la condamnation du recourant pour les infractions de lésions corporelles simples qualifiées et injure.
1.3. Le recourant soutient que la "conclusion" selon laquelle il aurait commis les faits reprochés serait insoutenable, la cour cantonale ayant à tout le moins dû éprouver un doute à cet égard. Le contexte conjugal très tendu dans lequel s'étaient déroulés les faits n'aurait pas été suffisamment examiné. Les pièces produites durant la procédure démontreraient que ceux-ci pourraient avoir été dénoncés pour des motifs d'ordre civil. Il serait "impensable" que le recourant ait fait montre de violence devant ses enfants, alors qu'il en avait sollicité la garde. ll invoque par ailleurs l'absence de valeur probante des rapports médicaux. Selon lui, les lésions mentionnées dans ceux-ci ne démontreraient aucunement qu'un coup aurait été porté à l'intimée le jour en question ni qu'il en serait l'auteur.
Ce faisant, le recourant ne fait qu'offrir sa propre interprétation des faits et des moyens de preuve, se contentant d'affirmer que la cour cantonale aurait dû éprouver des doutes. Purement appellatoire, ce procédé est irrecevable. On peut encore relever que, contrairement à ce que celui-ci soutient, la cour cantonale a bien pris en compte le contexte familial conflictuel ( supra, consid. 1.2). Pour le reste, par son argumentation, le recourant ne démontre pas l'arbitraire des considérations cantonales. Il n'établit ainsi pas en quoi il aurait été insoutenable pour celle-ci de retenir, en substance, que le coup et les lésions étaient documentés par les documents médicaux des 20 et 28 mai 2019, que la version des faits donnée par l'intimée aux médecins correspondait aux constatations de ceux-ci et que la force du coup, notamment, excluait toute simulation. Ses critiques ne démontrent pas plus en quoi la cour cantonale aurait arbitrairement retenu que la version de l'intimée était tout aussi crédible s'agissant de l'injure, l'agression verbale précédant l'agression physique. Insuffisamment motivé, le grief est appellatoire, partant irrecevable.
Le recourant prétend que la cour cantonale se serait arbitrairement basée sur les déclarations de l'intimée, lesquelles seraient truffées de contradictions et qu'aucun élément "externe direct" ne corroborerait, alors que le recourant n'aurait pas varié dans ses propos. Là encore, le recourant procède à sa propre lecture des pièces, en particulier des déclarations des parties, sans démontrer dans quelle mesure l'un ou l'autre élément évoqué aurait fait l'objet d'une constatation ou d'une omission insoutenable de la part de la cour cantonale. On peut souligner que certaines contradictions ou imprécisions dans le récit des événements de l'intimée ne signifie pas pour autant que la cour cantonale serait tombée dans l'arbitraire en considérant que celles-ci étaient sans portée sur sa crédibilité, dans la mesure où elles portaient sur des détails externes aux faits pénaux ou que l'intimée avait donné des explications plausibles à leurs égards (jugement entrepris, p. 9). Partant, la critique est irrecevable.
Enfin, le recourant soutient que la cour cantonale aurait écarté un fait déterminant, soit celui de savoir s'il était entré dans l'appartement de l'intimée après les faits, ce qui permettrait d'évaluer son état d'esprit. Le recourant ne démontre cependant pas dans quelle mesure ce point aurait fait l'objet d'une omission insoutenable, de sorte que sa critique est irrecevable. Enfin, c'est de manière purement appellatoire qu'il affirme qu'il serait "inconcevable" qu'il ait attendu l'arrivée de l'ambulance s'il avait réellement asséné un coup de poing à l'intimée. En effet, la cour cantonale a estimé, sans que le recourant ne démontre l'arbitraire de cette appréciation, que s'il était resté sur place, c'était pour tenter de gérer la situation au mieux de ses intérêts (jugement entrepris, p. 9). Ces griefs sont irrecevables.
En conclusion, les points invoqués par le recourant ne démontrent pas qu'il était insoutenable, fondé sur le rapprochement de l'ensemble des éléments retenus par la cour cantonale, de conclure que le recourant était l'auteur des faits reprochés.
2.
Le recourant conteste sa condamnation pour lésions corporelles simples (<ref-law>).
2.1. Dans la mesure où il n'y aurait eu aucune altercation le jour des faits, le recourant prétend qu'aucun comportement dangereux ne saurait lui être imputé. Le recourant critique sa condamnation non sur la base des faits retenus par la cour cantonale ( supra, consid. 1), dont il n'a pas démontré l'arbitraire, mais sur la base de faits qu'il invoque librement. Cette manière de procéder est irrecevable.
2.2.
2.2.1. Le recourant conteste le lien de causalité entre le comportement qui lui est reproché et les lésions constatées sur l'intimée. Il semble invoquer un défaut de motivation à cet égard.
2.2.2. La cour cantonale a relevé que dans le cas d'espèce, on constatait une correspondance non seulement temporelle entre le coup, le symptôme du souffle coupé et la survenance du pneumothorax, mais aussi physique entre l'emplacement de l'impact du poing laissant un hématome cutané au niveau de la 4ème côte et l'emplacement du pneumothorax en haut du poumon. Aucun des médecins qui avaient pris en charge l'intimée, que ce soit à l'hôpital E._ ou à l'Unité de médecine des violences, n'avaient émis un quelconque doute quant au rapport de causalité entre le coup donné par le recourant et les lésions constatées sur l'intimée. L'hypothèse d'un pneumothorax spontané survenant par hasard à la seconde et à l'endroit où le coup de poing avait été administré était farfelue et ne pouvait être retenue.
Selon le recourant, les rapports médicaux ne seraient pas de nature à établir que le coup qu'il aurait asséné serait la cause du pneumothorax. Un pneumothorax spontané ne saurait être écarté, à plus forte raison que l'intimée ne se souviendrait pas ce qu'elle avait fait durant la matinée du 19 mai 2019 et qu'elle serait sortie la veille.
Il résulte cependant de la motivation cantonale que la cour cantonale a dûment exposé les motifs qui l'ont amenée à tenir pour établi que le coup porté par le recourant était à l'origine du pneumothorax diagnostiqué sur l'intimée. Cette motivation est dès lors suffisante sous l'angle du droit d'être entendu, grief que le recourant n'invoque ni ne motive (<ref-law>). Pour le surplus, le recourant se limite à contester l'existence du lien de causalité en substituant, de manière purement appellatoire, sa propre appréciation des éléments probatoires à celle de la cour cantonale. Par conséquent, le grief doit être rejeté, dans la mesure de sa recevabilité.
3.
Le recourant conteste sa condamnation pour injure (<ref-law>), dans la seule mesure où il conteste avoir proféré le terme "pute". Là encore, il critique sa condamnation sur la base de faits qu'il invoque librement. Dès lors, son grief est irrecevable.
4.
Le recourant ne conteste pas en tant que telle l'allocation des conclusions civiles à l'intimée, mais s'en prévaut uniquement comme une conséquence de son acquittement. Ce moyen est dès lors irrecevable.
5.
Compte tenu du sort du recours, il n'y a pas lieu d'entrer en matière sur les conclusions du recourant visant à son indemnisation.
6.
Le recours doit être rejeté dans la mesure où il est recevable. Comme il était dénué de chance de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>). Le recourant, qui succombe, supporte les frais judiciaires, dont le montant sera fixé en tenant compte de sa situation financière, laquelle n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 2 décembre 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Rettby