Faits :
A.
Par jugement du 18 décembre 2019, le Tribunal de police de l'arrondissement de l'Est vaudois a reconnu A._ coupable de voies de fait et de vol et l'a condamné, outre aux frais de la procédure, à une peine pécuniaire de 20 jours-amende à 50 fr. le jour, assortie du sursis et d'un délai d'épreuve de 2 ans, ainsi qu'à une amende de 300 fr. (peine privative de liberté de substitution de 6 jours). Il l'a en outre condamné à verser le montant de 200 fr. à B._ à titre de dommages et intérêts.
B.
Statuant le 3 août 2020, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel de A._ contre ce jugement.
Il en ressort notamment ce qui suit.
A U._, au chemin xxx, le 10 mai 2019 à 09h30, A._ a bousculé B._, avec laquelle il était en conflit. Il lui a dérobé son téléphone portable, qui était tombé au sol. B._, qui n'a pas récupéré son bien, a porté plainte.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement précité. Il conclut, avec suite de frais et dépens, à sa réforme, en ce sens qu'il est acquitté et que les conclusions civiles de B._ sont rejetées. Par ailleurs, il requiert l'octroi de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant fait valoir que la cour cantonale aurait établi les faits et apprécié les preuves de manière arbitraire. A cet égard, il dénonce une violation de la présomption d'innocence.
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 1.1 p. 503; sur la notion d'arbitraire v. <ref-ruling> consid. 2.3.1 p. 244). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; ATF <ref-ruling> consid. 1.1 p. 503). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.1 p. 156). Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence à la présomption d'innocence (art. 6 par. 2 CEDH, 32 al. 1 Cst. et 10 CPP), le principe in dubio pro reo n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.1 p. 156; <ref-ruling> consid. 1.1 p. 503).
Lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit en effet être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs apparaissent fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêts 6B_238/2020 du 14 décembre 2020 consid. 1.1; 6B_621/2020 du 9 décembre 2020 consid. 1.1; 6B_772/2020 du 8 décembre 2020 consid. 1.1).
1.2. La cour cantonale a considéré qu'il n'y avait aucune raison de douter de la version des faits présentée par l'intimée, celle-ci ayant livré des déclarations très précises. Elle n'avait pas varié dans ses explications. Elle avait indiqué avoir reçu deux coups de la part du recourant, le premier à l'épaule et le second sur la main gauche, lequel avait fait tomber le téléphone portable qu'elle tenait à la main. Le recourant avait empoché l'appareil en lui disant "confisqué", puis avait quitté les lieux au volant de son véhicule. Elle avait crié "il a volé mon natel". Cette chronologie était corroborée par le témoin C._, dont il n'y avait pas motif à douter de l'impartialité. Celui-ci avait déclaré avoir vu B._ perdre l'équilibre en arrière et l'avoir entendue crier "il m'a volé mon natel". Selon le rapport de police, l'appareil avait été déplacé immédiatement après les faits. Or, le recourant avait été le seul à quitter les lieux de l'altercation. Les dénégations du recourant apparaissaient peu crédibles. Il avait contesté avoir donné un coup à l'intimée, avant d'admettre l'avoir peut-être bousculée de manière involontaire. S'agissant du vol, il avait nié les faits tout en déclarant que l'intimée trouverait son téléphone portable si elle le cherchait, déclaration qu'il avait déjà faite à un autre policier plus tôt dans la journée. Dans ces circonstances, le recourant avait été, à tout le moins momentanément, en possession de l'appareil mobile. Aussi, en dépit de ses dénégations, celui-ci était l'auteur des faits. La cour cantonale ne voyait pas quelles autres possibilités étaient envisageables et le recourant se gardait de les donner.
1.3. Le recourant reproche à la cour cantonale de s'être basée sur les "déclarations unilatérales" de l'intimée. Aucun témoin n'aurait vu le recourant faire ou dire quoi que ce soit. Sa condamnation ne reposerait sur aucune preuve formelle.
Le recourant ne saurait être suivi. La cour cantonale a fondé sa conviction sur un ensemble d'éléments ou d'indices convergents, conformément au principe de libre appréciation des preuves (cf. <ref-law>), soit les déclarations de l'intimée et celles du témoin C._, ainsi que le rapport de police. Face à ces éléments, elle a observé que les dénégations du recourant apparaissaient peu crédibles. Le recourant ne démontre pas en quoi un tel raisonnement serait insoutenable. Pour le surplus, le recourant fait valoir que la cour cantonale aurait arbitrairement considéré les explications de l'intimée comme précises et constantes. De la sorte, il ne fait que livrer sa propre lecture desdites déclarations, sans exposer en quoi l'appréciation opérée par la cour cantonale serait entachée d'arbitraire. Insuffisamment motivé, son grief est irrecevable.
Le recourant prétend que les déclarations du témoin C._ "prêteraient à contestation". Dans la mesure où le témoin aurait été occupé à la démolition d'un abri, à l'aide d'une tronçonneuse, sur la droite d'une camionnette, il ne pourrait pas avoir vu l'intimée de l'autre côté, s'agissant d'un véhicule de chantier de plus de 5 mètres de long avec un pont à l'arrière. Ce faisant, le recourant se contente d'opposer, dans une démarche appellatoire, et partant irrecevable, sa propre appréciation des preuves et version des faits, en introduisant des éléments qui ne ressortent pas du jugement attaqué. Enfin, lorsqu'il affirme que le témoin aurait été instrumentalisé par l'intimée, ses propos sont, là aussi, purement appellatoires. Par conséquent, ces moyens sont irrecevables.
Le recourant conteste la force probante de "l'outil informatique" ayant permis la géolocalisation du téléphone portable, qui ne permettrait pas à lui seul de conclure qu'il l'aurait volé.
Comme déjà évoqué, la cour cantonale ne s'est pas basée sur un seul élément pour retenir la culpabilité du recourant, puisqu'elle s'est fondée sur un ensemble d'indices convergents. A cet égard, elle a souligné que, si l'appareil avait été déplacé immédiatement après les faits, ce qui ressortait du rapport de police, le recourant avait été le seul à quitter les lieux de l'altercation. De manière appellatoire, le recourant se contente d'émettre l'hypothèse qu'un tiers aurait pu s'en aller muni du téléphone en cause. Toutefois, il ne démontre aucunement en quoi il était arbitraire, pour la cour cantonale, d'en conclure qu'il n'y avait pas d'autres possibilités envisageables que de retenir qu'il était l'auteur des faits. A cet égard, c'est de manière purement appellatoire que le recourant affirme que l'outil informatique ne serait pas infaillible. Il en va de même lorsqu'il prétend, de manière peu compréhensible, que la "distance de 2 km parcourue en 2 minutes porte[rait] à un maximum de 5 minutes" le temps pour se déplacer au volant d'un véhicule, "pour autant qu'il s'agisse d'un déplacement et non d'un positionnement géodésique de 2 points calculés par un mauvais paramétrage". Enfin, lorsqu'il affirme que la police aurait mis en place un dispositif afin de l'intercepter, sans y parvenir, il se base sur des faits qui ne ressortent pas du jugement entrepris. Les griefs du recourant sont partant tous irrecevables.
1.4. Le recourant semble reprocher à la police de ne pas avoir extrait la géolocalisation de son propre appareil mobile, données qu'elle aurait pu comparer avec celles du téléphone volé.
Le recourant ne prétend ni ne démontre avoir requis, à quel que stade de la procédure, l'administration des mesures d'instruction dont il semble se plaindre de l'absence. Dès lors qu'il n'a pas présenté ces requêtes dans la procédure cantonale, au plus tard devant l'autorité d'appel, son grief est irrecevable, faute d'épuisement préalable des voies de droit cantonales (cf. <ref-law>). Au demeurant, il ne ressort pas de l'état de fait cantonal que le recourant aurait eu son téléphone avec lui au moment des faits. Pour le surplus, le recourant ne démontre pas en quoi l'appréciation des preuves à laquelle s'est livrée la cour cantonale serait entachée d'arbitraire.
2.
Le recourant conteste sa condamnation pour voie s de fait et vol à divers égards.
2.1. A teneur de l'<ref-law>, celui qui se sera livré sur une personne à des voies de fait qui n'auront causé ni lésion corporelle ni atteinte à la santé sera, sur plainte, puni d'une amende.
Les voies de fait sont intentionnelles. Le dol éventuel suffit (cf. BERNARD CORBOZ, Les infractions en droit suisse, vol. I, 3e éd. 2010, n° 17 ad <ref-law>).
2.2. L'<ref-law> réprime le comportement de celui qui, pour se procurer ou procurer à un tiers un enrichissement illégitime, aura soustrait une chose mobilière appartenant à autrui dans le but de se l'approprier.
Du point de vue subjectif, pour que l'infraction de vol soit réalisée, il faut que l'auteur ait agi intentionnellement, dans le dessein de s'approprier la chose mobilière appartenant à autrui et dans celui de se procurer, ou de procurer à autrui, un enrichissement illégitime (arrêt 6B_311/2013 du 28 mai 2013 consid. 2.4.1).
2.3. Déterminer ce qu'une personne a su, voulu, envisagé ou accepté relève du contenu de la pensée, à savoir de faits "internes", qui, en tant que faits, lient le Tribunal fédéral (<ref-law>), à moins qu'ils n'aient été retenus de manière arbitraire (<ref-ruling> consid. 6.3 p. 375; cf. <ref-ruling> consid. 12 p. 152).
2.4. La cour cantonale a notamment observé que le recourant avait bousculé intentionnellement l'intimée. Celle-ci avait été déséquilibrée et le téléphone portable était tombé au sol. Seules de fortes bourrades pouvaient avoir eu de telles incidences. Ce comportement était constitutif de voies de fait. En s'emparant du téléphone portable de l'intimée, le recourant avait soustrait une chose mobilière appartenant à autrui. Il avait agi avec un dessein d'appropriation et dans un dessein d'enrichissement illégitime. Il était dès lors coupable de vol (cf. au surplus infra, consid. 2.5.2).
2.5.
2.5.1. Le recourant fait valoir qu'il n'aurait "ni poussé, ni bousculé, ni touché encore moins frappé, ni plus menacé" et "pas moins injurié non plus" l'intimée. De la sorte, il ne fait que critiquer sa condamnation sur la base de faits qu'il invoque librement. Partant, son grief est irrecevable.
2.5.2. Le recourant conteste la réalisation subjective des infractions de voies de fait et de vol, niant avoir eu le "dessein de nuire". Il semble invoquer un défaut de motivation sur ce point.
A teneur de l'état de fait retenu par la cour cantonale, le recourant a bousculé intentionnellement l'intimée, agissant de la sorte parce que celle-ci avait sorti son téléphone portable afin d'enregistrer leur altercation. S'agissant du vol, il en ressort que le recourant a agi avec un dessein d'appropriation, dès lors qu'il a voulu priver l'intimée de son téléphone, cet objet ne lui ayant jamais été restitué. Il a en outre agi dans un dessein d'enrichissement illégitime, dans la mesure où il a, au moins temporairement, amélioré sa situation patrimoniale par la possession de l'objet en question, peu important, à cet égard, que le recourant ait ensuite caché le téléphone ou s'en soit débarrassé (cf. jugement entrepris, p. 11). On comprend ainsi implicitement que le recourant a agi intentionnellement à cet égard également. Cette motivation est dès lors suffisante sous l'angle du droit d'être entendu, grief que le recourant n'invoque ni ne motive (<ref-law>). Pour le reste, le recourant se borne à contester, de manière purement appellatoire, et, partant, irrecevable, l'état de fait de la cour cantonale, sans démontrer en quoi celui-ci serait arbitraire. La cour cantonale n'a ainsi pas violé le droit fédéral en retenant que le recourant avait agi intentionnellement, tant s'agissant des voies de fait que du vol. Les griefs doivent être rejetés, dans la mesure de leur recevabilité.
2.5.3. Le recourant soutient qu'il se serait trouvé dans une attitude "d'hyperactivité" à la suite de la "violation de domicile" commise par l'intimée. Son attitude aurait ainsi été "parfaitement proportionnelle" à la "manière de procéder manu militari" adoptée par l'intimée.
Dans la mesure où le recourant fonde son grief sur des faits qui n'ont pas été constatés par la cour cantonale, sans que l'arbitraire de leur omission ne soit démontré, sa critique est irrecevable. En particulier, il ne ressort nullement du jugement entrepris que le recourant aurait été attaqué ou menacé d'une attaque imminente (cf. <ref-law>).
3.
Le recourant ne conteste pas en tant que telle l'allocation des conclusions civiles à l'intimée, mais s'en prévaut uniquement comme une conséquence de son acquittement. Ce moyen est dès lors irrecevable.
4.
Le recours doit être rejeté dans la mesure où il est recevable. Comme il était dénué de chance de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>). Le recourant, qui succombe, supporte les frais judiciaires, dont le montant sera fixé en tenant compte de sa situation financière, laquelle n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 21 janvier 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Rettby