Faits :
A.
Par jugement du 7 octobre 2019, le Tribunal de police du canton de Genève a reconnu A._ coupable de rixe et de lésions corporelles simples et l'a condamné à une peine pécuniaire de 60 jours-amende assortie du sursis pendant trois ans.
B.
Par arrêt du 20 mai 2020, la Chambre pénale d'appel et de révision de la Cour de justice genevoise a partiellement admis l'appel formé par A._ contre ce jugement et l'a réformé en ce sens que le prénommé est condamné pour rixe et lésions corporelles simples à une peine pécuniaire de 40 jours-amende à 30 fr. le jour avec sursis pendant deux ans. Elle a également renvoyé B.B._ à agir par la voie civile.
La cour cantonale a retenu les faits suivants:
B.a. Le 17 août 2017, vers 1h30 du matin, B.B._ discutait avec deux amies de A._, en insistant lourdement pour qu'elles prennent un verre avec son groupe d'amis, ce qu'elles ont refusé. A._ est arrivé à vélo pendant cette discussion et est intervenu pour demander à B.B._ de laisser les jeunes femmes tranquilles. Le ton est rapidement monté entre eux, et ils en sont venus aux mains; si B.B._ a poussé son antagoniste au niveau de la poitrine, il ressort des témoignages et déclarations recueillis que c'est A._ qui a porté le premier coup, au visage de B.B._, lui ouvrant la lèvre et le faisant chuter au sol. Des échanges de coups ont suivi.
B.b. Le déroulement de la bagarre est confus, étant notamment relevé que les témoignages et déclarations des protagonistes sont tous contredits sur l'un ou l'autre point par la teneur des images de vidéo-surveillance. La cour cantonale a retenu comme établi qu'à un moment donné, C.B._ est intervenu pour soutenir son frère et a porté un coup à A._, puis, peu après, un coup à la tête au moyen d'une barre de fer. En se relevant, A._ a réussi à s'emparer de la barre de fer, mais n'a porté aucun coup avec; il s'est saisi d'une barrière de sécurité, étant relevé que s'il affirme l'avoir fait pour se protéger, ce geste, qui n'apparaît pas sur les images versées à la procédure, a été perçu par un témoin comme relançant la bagarre alors qu'elle s'achevait. A._ a finalement chuté au sol, où les frères B._ lui ont encore donné des coups, lui faisant perdre connaissance avant de quitter les lieux.
B.c. Les trois protagonistes ont fait l'objet, dans les heures qui ont suivi, de constats de lésions par le Centre Universitaire de Médecine Légale (CURML). Ils présentaient les lésions suivantes, pouvant entrer chronologiquement avec les faits décrits et qui n'avaient pas mis en danger la vie des expertisés.
B.c.a. B.B._:
- des ecchymoses au niveau de la joue gauche et de l'avant-bras droit;
- deux plaies croûteuses respectivement au niveau de la lèvre inférieure gauche et de l'angle buccal gauche, avec ulcération de la muqueuse buccale dans leur continuité;
- des dermabrasions au niveau de l'abdomen à droite, du coude droit, de l'avant-bras gauche et des jambes.
L'ensemble du tableau lésionnel était compatible avec une hétéro-agression, tel que relaté par l'expertisé, soit une bagarre avec notamment réception d'un coup de poing au niveau de la mâchoire à gauche.
B.c.b. C.B._:
- des ecchymoses au niveau des cuisses;
- des dermabrasions croûteuses au niveau du cuir chevelu, du membre supérieur droit et du 4ème doigt à gauche.
Le tableau lésionnel était compatible avec une bagarre, telle que relatée par l'expertisé.
B.c.c. A._:
- deux plaies suturées, à bord irréguliers, au niveau du cuir chevelu;
- des ecchymoses au niveau du cuir chevelu, du visage et du membre supérieur droit et de la jambe droite;
- des dermabrasions au niveau du cuir chevelu, du visage et du membre supérieur droit, de la main gauche et de la jambe gauche.
Les cliniciens ont en outre constaté une fracture intra-articulaire de la base de la deuxième phalange de l'index droit. La relecture du CT-scanner, effectué aux urgences des HUG le 17 août 2017, a par ailleurs mis en évidence :
- une solution de continuité et un hématome des parties molles de la région frontale droite;
- une solution de continuité et un hématome des parties molles de la région pariétale médiane postérieure.
La présence de deux zones distinctes de tuméfaction hématique parlait en faveur d'au minimum deux coups reçus. Une recherche toxicologique effectuée à 03h05 avait montré la présence d'alcool éthylique dans le sang de A._, à raison de 20 mmol/l, correspondant à 0.92 g/kg.
L'ensemble du tableau lésionnel était compatible avec une hétéro-agression, telle que relatée par l'expertisé, avec notamment des coups portés avec les pieds et/ou un/des objet/s contondant/s (tels qu'une barre métallique ou une bouteille intacte par exemple) au niveau de la tête et du visage.
A._ a été en arrêt de travail à 100 % entre le 12 septembre 2017 et le 25 février 2018.
B.d. Les frères B._ ont fait l'objet d'ordonnances pénales entrées en force. B.B._ a été condamné, pour rixe et violation grave des règles de la circulation routière, à une peine pécuniaire de 120 jours-amende, assortie du sursis et d'une amende de 1'200 francs. C.B._ a été condamné, pour rixe, à une peine pécuniaire de 90 jours-amende, assortie du sursis et d'une amende de 1'260 francs.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 20 mai 2020. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il est acquitté des infractions de rixe et de lésions corporelles simples et que les objets figurant sous chiffres 1 à 3 de l'inventaire du 17 août 2017 lui sont restitués. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant se plaint d'une violation du droit d'être entendu, sous forme de défaut de motivation du jugement cantonal. Il fait grief à la cour cantonale d'avoir admis la réalisation de lésions corporelles simples " sans autre justification ". Il lui reproche également de ne pas s'être prononcée sur le grief qu'il avait invoqué relatif à son intention de participer à une rixe. Enfin, il estime qu'elle a admis sans autre motivation qu'il avait eu une attitude active pendant la bagarre.
1.1. Le droit d'être entendu implique pour l'autorité l'obligation de motiver sa décision, afin que le destinataire puisse la comprendre, l'attaquer utilement s'il y a lieu et afin que l'autorité de recours puisse exercer son contrôle. Le juge doit ainsi mentionner, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 3.4.3 p. 46; <ref-ruling> consid. 2.1 p. 145). Il n'est pas tenu de discuter tous les arguments soulevés par les parties, mais peut se limiter à l'examen des questions décisives pour l'issue du litige (<ref-ruling> consid. 4.2 p. 157; <ref-ruling> consid. 2.2 p. 183). Dès lors que l'on peut discerner les motifs qui ont guidé la décision de l'autorité, le droit à une décision motivée est respecté, même si la motivation présentée est erronée (<ref-ruling> consid. 3.2.1 p. 565).
1.2. En l'espèce, la cour cantonale a expliqué pourquoi elle retenait la qualification juridique de lésions corporelles simples, en se référant notamment aux lésions constatées par le CURML et à la force du coup reçu par la victime, ainsi que les motifs pour lesquels elle excluait les simples voies de fait (cf. infra consid. 3.2). S'agissant de la question de l'intention du recourant de participer à la rixe, la cour cantonale n'a pas ignoré le grief soulevé par le recourant, selon lequel il avait été loin de se douter que l'intimé était accompagné de son frère. Elle a en effet rappelé que le fait qu'un troisième protagoniste n'ait pas été présent au début de la bagarre ne modifiait pas la qualification de rixe. Enfin, en ce qui concerne l'attitude du recourant, la cour cantonale a expliqué que celui-ci ne s'était pas contenté de repousser une attaque, qu'il avait porté le premier coup et qu'il ressortait des images de vidéo-surveillance qu'il se dirigeait clairement vers ses adversaires, ce qui reflétait bien un comportement actif.
La cour cantonale a dès lors suffisamment expliqué les raisons pour lesquelles elle a retenu l'infraction de lésions corporelles simples et considéré que le recourant avait adopté un comportement actif lors de la bagarre. Le grief doit être rejeté.
2.
Le recourant reproche à la cour cantonale d'avoir apprécié les preuves et établi les faits de manière arbitraire. Il se plaint en outre, à cet égard, d'une violation du principe "in dubio pro reo".
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 2.3.1 p. 244). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des conclusions insoutenables (<ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 1.1 p. 503). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1.1 p. 156; <ref-ruling> con- sid. 2.4 p. 368 et les références citées).
La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe "in dubio pro reo", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large (<ref-ruling> consid. 2.2.3.1 p. 348 s.; <ref-ruling> consid. 2a p. 40 s.). En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves (sur la portée et le sens précis de la règle sous cet angle, cf. <ref-ruling> consid. 2.2.3.3 p. 351 s.), la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe "in dubio pro reo", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.1 p. 155 s. et les références citées).
2.2. Dans une première partie de son mémoire de recours intitulée " En fait " (p. 4 ss), le recourant expose sa propre version des événements, en introduisant divers éléments qui ne ressortent pas de l'arrêt attaqué, sans toutefois démontrer en quoi la cour cantonale aurait arbitrairement omis de retenir ceux-ci (cf. <ref-law>). Ce faisant, il ne présente aucun grief recevable.
2.3. Le recourant reproche à la cour cantonale de ne pas avoir tenu compte de plusieurs témoignages et déclarations à décharge.
2.3.1. Il fait d'abord grief à la cour cantonale de ne pas avoir retenu, sur la base des témoignages de D._ et de E._, qu'après avoir reçu un violent coup de tesson de bouteille à l'arrière de sa tête qui a provoqué un saignement important, il aurait compressé sa plaie à l'aide de son tee-shirt, marquant ainsi " une scission temporelle quant à la suite des événements " (mémoire de recours, p. 11).
Par son argumentation, le recourant présente sa propre appréciation des preuves, en se fondant sur divers éléments qui ne ressortent pas du jugement attaqué, sans démontrer en quoi ceux-ci auraient été arbitrairement omis. Il ne démontre en particulier pas en quoi un saignement à la tête qu'il aurait essayé d'arrêter serait de nature à influer sur le sort de la cause, étant relevé qu'il ressort des faits constatés par la cour cantonale que le fait que le recourant - après s'être relevé - a saisi une barrière de sécurité a été perçu par un témoin comme relançant la bagarre alors que celle-ci s'achevait. Le grief est rejeté dans la mesure où il est recevable.
2.3.2. Le recourant reproche encore à la cour cantonale d'avoir passé sous silence le témoignage de F._. Il ne démontre cependant pas en quoi ce témoignage serait déterminant sur l'issue du litige, se contentant de soutenir que celui-ci serait pertinent pour apprécier la distance, non négligeable, entre les individus de la première altercation et C.B._, qui se trouvait aux côtés du témoin, ce qui serait " fondamental pour juger de l'intention [du recourant] de participer à une rixe " (mémoire de recours, p. 11 s). Insuffisamment motivé, son grief est irrecevable.
2.3.3. Enfin, c'est en vain que le recourant soutient que la cour cantonale a arbitrairement omis les déclarations de C.B._ lequel se serait excusé, aurait qualifié les faits de grave et se serait déclaré prêt à indemniser la victime. En effet, il ne démontre pas en quoi ces éléments - qui ne ressortent pas de l'arrêt attaqué - seraient de nature à modifier sa condamnation pour rixe et lésions corporelles simples.
2.4. Le recourant reproche ensuite à la cour cantonale de ne pas avoir décrit les images de vidéo-surveillance versées à la procédure dans son jugement. Il invoque le fait que celles-ci démontrent clairement l'acharnement dont il a fait l'objet et ne montrent pas qu'il aurait infligé des coups.
Contrairement à ce que soutient le recourant, la cour cantonale n'a pas passé sous silence cet élément de preuve. Elle a retenu que les images de vidéo-surveillance étaient de qualité médiocre et ne permettaient pas de distinguer si le recourant portait des coups à ses adversaires mais uniquement que celui-ci se dirigeait clairement vers ceux-ci, ce qui confirmait un comportement actif de sa part. Elle a également rappelé que la scène n'était pas filmée en intégralité et que seule la fin de la bagarre apparaissait dans le champ de la caméra.
Le recourant ne démontre pas en quoi cette appréciation serait arbitraire ni quels faits auraient arbitrairement été omis, étant précisé que les éléments qu'il invoque - en particulier les coups qui lui ont été infligés par l'intimé et son frère alors qu'il était à terre - ne conduisent pas à nier sa participation à la rixe (cf. arrêt attaqué, p. 11). Par ailleurs, la cour cantonale a tenu compte de ces éléments en retenant que l'intimé et son frère avaient clairement pris le dessus et s'étaient acharnés sur le recourant, lui occasionnant des lésions autrement plus graves que celles qu'ils ont subies et en concluant ainsi que le rôle du recourant dans la rixe devait être qualifié de moins important que celui des deux autres participants.
Le grief du recourant est rejeté dans la mesure où il est recevable.
2.5. Le recourant fait grief à la cour cantonale d'avoir passé sous silence le fait que, dans l'ordonnance sur opposition du 11 septembre 2018, le ministère public a conclu, à titre subsidiaire, à ce que les frais de procédure soient mis à sa charge en cas d'acquittement. Il se contente cependant de dire que le principe de la présomption d'innocence " commandait de prendre en considération cet élément " sans expliquer en quoi celui-ci serait de nature à influer sur le sort de la cause (<ref-law>). Insuffisamment motivé, son grief est irrecevable.
2.6. Le recourant reproche à la cour cantonale de ne pas avoir pris en considération une photo de sa main gauche, qu'il aurait utilisée " pour repousser l'attaque dont il se sentait victime ", ainsi que le fait qu'il mesure 192 cm et pèse 105 kilos. Il estime que la cour cantonale a arbitrairement retenu que le coup porté à l'intimé était un coup de poing donné avec une certaine force et soutient que, s'il avait utilisé sa force ainsi que sa main droite, les lésions provoquées par le coup de poing auraient été beaucoup plus graves.
Le recourant se contente d'opposer sa propre appréciation à celle de la cour cantonale, qui a retenu sans arbitraire que la chute de l'intimé à réception du coup confirmait que celui-ci avait été porté avec une indéniable force. Au demeurant, on ne voit pas en quoi le fait que le recourant ait une grosse carrure ou que les lésions qu'il a causées auraient pu être plus graves serait de nature à établir la faible intensité du coup porté au visage de l'intimé.
2.7. Sur le vu de ce qui précède, la cour cantonale n'a pas versé dans l'arbitraire ni violé le principe ''in dubio pro reo'' en concluant que le recourant avait commis les faits qui lui sont reprochés.
3.
Le recourant critique sa condamnation pour lésions corporelles simples (<ref-law>), soutenant que seules des voies de fait auraient dû être retenues.
3.1. L'<ref-law> réprime les lésions du corps humain ou de la santé qui ne peuvent être qualifiées de graves au sens de l'<ref-law>. Cette disposition protège l'intégrité corporelle et la santé tant physique que psychique. Elle implique une atteinte importante aux biens juridiques ainsi protégés. A titre d'exemples, la jurisprudence cite l'administration d'injections, la tonsure totale et tout acte qui provoque un état maladif, l'aggrave ou en retarde la guérison, comme les blessures, les meurtrissures, les écorchures ou les griffures, sauf si ces lésions n'ont pas d'autres conséquences qu'un trouble passager et sans importance du sentiment de bien-être (<ref-ruling> con- sid. 1.1 p. 191; arrêt 6B_385/2020 du 12 août 2020 consid. 2.1).
Les voies de fait, réprimées par l'<ref-law>, se définissent comme des atteintes physiques qui excèdent ce qui est socialement toléré et qui ne causent ni lésions corporelles, ni dommage à la santé. Une telle atteinte peut exister même si elle n'a causé aucune douleur physique (<ref-ruling> consid. 1.2 p. 191). L'atteinte au sens de l'<ref-law> présuppose une certaine intensité (arrêt 6B_1191/2019 du 4 décembre 2019 consid. 3.1). Peuvent être qualifiées de voies de fait, une gifle, un coup de poing ou de pied, de fortes bourrades avec les mains ou les coudes (arrêts 6B_1064/2019 du 16 janvier 2020 consid. 2.2; 6B_386/2019 du 25 septembre 2019 consid. 2.1).
La distinction entre lésions corporelles et voies de fait peut s'avérer délicate, notamment lorsque l'atteinte s'est limitée à des meurtrissures, des écorchures, des griffures ou des contusions. Ainsi, une éraflure au nez avec contusion a été considérée comme une voie de fait, tout comme une meurtrissure au bras et une douleur à la mâchoire sans contusion. En revanche, un coup de poing au visage donné avec une violence brutale propre à provoquer d'importantes meurtrissures, voire une fracture de la mâchoire, des dents ou de l'os nasal, a été qualifié de lésion corporelle; il en a été de même de nombreux coups de poing et de pied provoquant chez l'une des victimes des marques dans la région de l'oeil et une meurtrissure de la lèvre inférieure et chez l'autre une meurtrissure de la mâchoire inférieure, une contusion des côtes, des écorchures de l'avant-bras et de la main (<ref-ruling> consid. 1.3 et l'arrêt cité).
Dans les cas limites, il faut tenir compte de l'importance de la douleur provoquée, afin de déterminer s'il s'agit de lésions corporelles simples ou de voies de fait (<ref-ruling> consid. 1.3 p. 192). Comme les notions de voies de fait et d'atteinte à l'intégrité corporelle, qui sont déterminantes pour l'application des art. 123 et 126 CP, sont des notions juridiques indéterminées, la jurisprudence reconnaît, dans les cas limites, une certaine marge d'appréciation au juge du fait car l'établissement des faits et l'interprétation de la notion juridique indéterminée sont étroitement liés. Dans ces circonstances, le Tribunal fédéral s'impose une certaine réserve dans la critique de l'interprétation faite par l'autorité cantonale, dont il ne s'écarte que si cela s'avère nécessaire (<ref-ruling> consid. 1.3 p. 192; arrêt 6B_385/2020 du 12 août 2020 consid. 2.1)
3.2. En l'espèce, la cour cantonale a retenu que le recourant avait infligé le premier un coup au visage de l'intimé dans un contexte de dispute verbale alors qu'il était sous l'influence de l'alcool. Elle a jugé que les lésions occasionnées, et constatées par le CURML, confirmaient la qualification de lésion corporelle. Elle a considéré que les deux plaies croûteuses au niveau de la lèvre inférieure gauche et de l'angle buccal gauche, qui impliquaient une rupture des vaisseaux sanguins, suffisaient à écarter la simple voie de fait. En outre, elle a retenu que la chute de l'intimé à réception du coup confirmait que celui-ci avait été porté avec une indéniable force (arrêt attaqué, consid. 2.4.1).
3.3. Le recourant reproche à la cour cantonale de ne pas avoir tenu compte de la faible intensité du coup porté ni de la douleur provoquée par celui-ci. S'agissant de l'intensité du coup, il se contente de substituer son appréciation à celle de la cour cantonale sans démontrer en quoi celle-ci serait arbitraire (cf. supra consid. 2.6). Pour le surplus, comme l'a relevé la cour cantonale, il importe peu que l'intimé n'ait pas produit de certificat médical dans le cadre de la procédure et qu'il ne se soit pas plaint de douleurs persistantes, dès lors que la cour cantonale s'est fondée sur les lésions constatées chez l'intimé par le CURML peu après les faits pour qualifier celles-ci de lésions corporelles simples.
C'est également en vain que le recourant soutient que le fait que l'intimé ne se soit pas présenté à l'audience de jugement et n'y ait pas été représenté serait de nature à exclure la qualification de lésions corporelles. A cet égard, il ne peut rien tirer de l'arrêt 6B_619/2013, dont il prévaut, dès lors que, dans cette affaire, l'intimé n'avait pas seulement renoncé à ses conclusions civiles mais avait également expressément admis par écrit que les ecchymoses et dermabrasions qu'il avait subies s'apparentaient plus à des voies de fait qu'à des lésions corporelles (cf. arrêt 6B_619/2013 du 2 septembre 2013 consid. 2.2).
Enfin, en tant que le recourant soutient qu'en l'absence d'hématomes indiquant la rupture de vaisseaux sanguins ou d'une quelconque fracture par exemple, seules des voies de faits auraient dû être retenues, il ne fait qu'opposer sa propre appréciation à celle de la cour cantonale et ne démontre pas en quoi cette dernière aurait violé le droit fédéral.
3.4. En conséquence et compte tenu de la marge d'appréciation laissée au juge du fait, la cour cantonale n'a pas abusé de ce pouvoir en admettant l'existence de lésions corporelles simples à l'exclusion de voies de fait.
4. Le recourant reproche à la cour cantonale d'avoir nié l'existence d'une attaque illicite et imminente au sens de l'<ref-law>.
4.1. Aux termes de l'<ref-law>, quiconque, de manière contraire au droit, est attaqué ou menacé d'une attaque imminente a le droit de repousser l'attaque par des moyens proportionnés aux circonstances.
4.1.1. La légitime défense suppose une attaque, c'est-à-dire un comportement visant à porter atteinte à un bien juridiquement protégé, ou la menace d'une attaque, soit le risque que l'atteinte se réalise. Il doit s'agir d'une attaque actuelle ou à tout le moins imminente, ce qui implique que l'atteinte soit effective ou qu'elle menace de se produire incessamment (<ref-ruling> consid. 2a p. 14; arrêts 6B_130/2017 du 27 février 2018 consid. 3.1; arrêt 6B_600/2014 du 23 janvier 2015 consid. 5.1 non publié aux <ref-ruling> et les références citées). L'acte de celui qui est attaqué ou menacé de l'être doit tendre à la défense. Un comportement visant à se venger ou à punir ne relève pas de la légitime défense. Il en va de même du comportement qui tend à prévenir une attaque certes possible mais encore incertaine, c'est-à-dire à neutraliser l'adversaire selon le principe que la meilleure défense est l'attaque (<ref-ruling> p. 83; arrêt 6B_130/2017 du 27 février 2018 consid. 3.1).
4.1.2. La défense doit apparaître proportionnée au regard de l'ensemble des circonstances. A cet égard, on doit notamment examiner la gravité de l'attaque, les biens juridiques menacés par celle-ci et par les moyens de défense, la nature de ces derniers ainsi que l'usage concret qui en a été fait (<ref-ruling> consid. 3.2 p. 51; <ref-ruling> consid. 2a p. 68; <ref-ruling> p. 120). La proportionnalité des moyens de défense se détermine d'après la situation de celui qui voulait repousser l'attaque au moment où il a agi. Les autorités judiciaires ne doivent pas se livrer à des raisonnements a posteriori trop subtils pour déterminer si l'auteur des mesures de défense n'aurait pas pu ou dû se contenter d'avoir recours à des moyens différents, moins dommageables. Il est aussi indispensable de mettre en balance les biens juridiquement protégés qui sont menacés de part et d'autre. Encore faut-il que le résultat de cette pesée des dangers en présence soit reconnaissable sans peine par celui qui veut repousser l'attaque, l'expérience enseignant qu'il doit réagir rapidement (<ref-ruling> consid. 3.2 p. 51; <ref-ruling> consid. 3 p. 15; <ref-ruling> consid. 2a p. 68).
4.2. Le recourant soutient qu'il a été victime d'une attaque illicite non prévue et que l'enchaînement rapide des évènements ne lui a pas laissé d'autre choix que de " repousser [l'intimé] pour se défendre légitimement et de manière efficace " (mémoire de recours, p. 19). Il soutient que, fort de son expérience d'agent de sécurité, il a agi de la façon la moins dommageable possible compte tenu de sa force et de sa carrure, en utilisant sa main gauche alors qu'il était droitier et en usant de retenue.
Cette argumentation ne saurait être suivie. En effet, il ressort des faits constatés par la cour cantonale que le recourant a infligé le premier coup au visage de l'intimé dans un contexte de dispute verbale alors qu'il était sous l'influence de l'alcool. Même si le recourant est intervenu parce que l'intimé insistait lourdement auprès de deux de ses amies et que celui-ci l'a poussé, ces comportements ne constituaient pas une attaque actuelle ou imminente de la part de l'intimé au sens de la jurisprudence, qui aurait justifié que le recourant donne un coup de poing au visage de l'intimé, lui ouvrant la lèvre et le faisant tomber au sol. Le grief du recourant est rejeté dans la mesure où il est recevable.
5. Le recourant conteste sa condamnation pour rixe.
5.1. Selon l'<ref-law>, celui qui aura pris part à une rixe ayant entraîné la mort d'une personne ou une lésion corporelle sera puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire.
5.1.1. Du point de vue légal, la rixe constitue une altercation physique entre au minimum trois protagonistes qui y participent activement, laquelle doit avoir entraîné la mort d'une personne ou des lésions corporelles. Considérant que, en pareilles circonstances, il peut se révéler difficile de prouver qui a tué ou blessé, le législateur a voulu éviter qu'un événement peut-être grave reste sans réaction sociale adéquate (<ref-ruling> consid. 1.1.1 p. 170). L'acte incriminé ne porte ainsi pas sur le fait de donner la mort ou d'occasionner des lésions corporelles, mais sur la participation à une rixe en tant que comportement mettant en danger la vie ou l'intégrité corporelle des participants ou de tiers. Il convient donc de sanctionner chacun des participants indépendamment de sa responsabilité personnelle par rapport à l'atteinte à la vie ou à l'intégrité corporelle survenue dans ce contexte (<ref-ruling> consid. 1.1.1 p. 170). La survenance de la mort d'une personne ou des lésions corporelles ne constitue pas un élément objectif de l'infraction, mais une condition objective de punissabilité, sur laquelle ne doit pas nécessairement porter l'intention (<ref-ruling> consid. 1.1.1 p. 170; <ref-ruling> consid. 4.2.2 p. 4; <ref-ruling> consid. 3f p. 252 s.; arrêt 6B_1239/2018 du 11 mars 2019 consid. 3.2.1).
La notion de participation doit être comprise dans un sens large. Il faut ainsi considérer comme un participant celui qui frappe un autre protagoniste, soit toute personne qui prend une part active à la bagarre en se livrant elle-même à un acte de violence (<ref-ruling> consid. 2.1 p. 151 et références citées; arrêt 6B_1239/2018 du 11 mars 2019 consid. 3.2.1).
La jurisprudence admet par ailleurs que celui qui prend une part active à une altercation avant l'intervention d'une troisième personne, puis qui se comporte de manière passive uniquement, participe à une rixe (<ref-ruling> consid. 1.1.4 p. 173; <ref-ruling> consid. 4.3.1 p. 5). Une altercation entre deux personnes devient une rixe lorsqu'une troisième intervient. Si l'enchaînement direct des événements commande de considérer les faits incriminés comme une unité, celui qui déclenche une rixe doit également être considéré comme un participant à celle-ci au sens de l'<ref-law>. Il n'est pas déterminant qu'il prenne une part active avant l'intervention d'une troisième personne à l'altercation, puis qu'il se comporte de manière passive uniquement. Il en va autrement lorsque le déroulement des faits peut se diviser clairement en plusieurs unités d'action (ATF <ref-ruling> consid. 4.3 p. 5 s).
5.1.2. La réalisation de l'infraction nécessite l'intention comme élément constitutif subjectif. Le dol éventuel suffit. L'intention concernant la rixe ne doit couvrir que les éléments constitutifs objectifs de l'infraction et non pas la mort ou la lésion corporelle d'une personne qui constitue une condition objective de punissabilité (ATF <ref-ruling> consid. 4.2.3, JdT 2011 IV p. 238, 241 et les références citées). Il est, de plus, suffisant que l'auteur admette que plus de deux personnes puissent être impliquées dans la bagarre (ATF <ref-ruling> consid. 4.2.3, JdT 2011 IV p. 238, 241; <ref-ruling> consid. 3b, JdT 1982 IV 11).
Déterminer ce que l'auteur savait, voulait ou l'éventualité à laquelle il consentait et donc savoir s'il a agi avec conscience et volonté, au sens de l'<ref-law>, relève de l'établissement des faits (<ref-ruling> consid. 2.4.1 p. 342; <ref-ruling> consid. 4.2.3 p. 4; arrêt 6B_894/2020 du 26 novembre 2020 consid. 1.1).
5.1.3. L'<ref-law> prévoit un fait justificatif spécial en ce sens que n'est pas punissable l'adversaire qui n'accepte pas le combat et se borne ainsi à repousser une attaque, à défendre autrui ou à séparer les combattants (<ref-ruling> consid. 2.1 p. 151). Se borne à repousser une attaque, à défendre autrui ou à séparer les combattants, celui qui participe effectivement à la rixe par son engagement physique, mais qui a pour but exclusif de se protéger, protéger un tiers ou séparer les protagonistes. Il agit alors seulement pour défendre sa personne ou d'autres individus ou pour séparer les adversaires. Par son comportement, il ne provoque ni n'alimente le combat d'une quelconque manière. Il n'augmente pas les risques propres à la rixe voire cherche à les éliminer (<ref-ruling> con- sid. 2.1.2 p. 153; arrêt 6B_1239/2018 du 11 mars 2019 consid. 3.2.1).
5.2. En l'espèce, le recourant se contente de nier qu'il avait l'intention de participer à une rixe en rediscutant de manière appellatoire les faits constatés sans en démontrer l'arbitraire (cf. supra consid. 2.3.2). Il soutient en particulier qu'il était loin de se douter que l'intimé était accompagné de son frère - lequel se trouvait à une certaine distance de la première altercation entre lui-même et l'intimé. Il conteste ainsi avoir participé à la rixe. Cet argument n'est pas convaincant. En effet, comme susmentionné, selon la jurisprudence, celui qui prend une part active à une altercation avant l'intervention d'une troisième personne, puis qui se comporte de manière passive uniquement, se rend coupable de rixe (cf. supra consid. 5.1.1). Or, il ressort du jugement attaqué que le recourant a porté le premier coup de poing à l'intimé, initiant ainsi la bagarre avant que le troisième protagoniste intervienne pour aider son frère. Par ailleurs, la cour cantonale a également retenu, sans que l'arbitraire ne soit démontré, que le recourant avait eu un comportement actif pendant la bagarre dès lors que les images de vidéo-surveillance le montraient se dirigeant clairement vers ses adversaires. En outre, lorsque le troisième intervenant, C.B._, était intervenu pour soutenir son frère et porter des coups au recourant, ce dernier s'était relevé et avait saisi une barrière de sécurité, ce qui avait été perçu comme relançant la bagarre alors qu'elle s'achevait.
Dans ces conditions, la cour cantonale pouvait sans violer le droit fédéral considérer que le recourant avait participé à une rixe au sens de l'<ref-law> et avait l'intention d'y participer. Elle pouvait également retenir que le recourant ne s'était pas borné à repousser l'attaque ou à séparer les protagonistes au sens de l'<ref-law>.
6.
Le recourant soutient enfin que la décision est arbitraire. Il souligne le " caractère choquant de toute cette procédure menée contre [lui] ", alors qu'il a été acheminé inconscient aux HUG et que ses blessures ont notamment nécessité onze points de suture, ainsi que des décisions le condamnant pour rixe et lésions corporelles simples, alors que les frères B.B._ ont vu leurs condamnations respectives limitées à l'infraction de rixe uniquement.
6.1. Une décision est arbitraire (cf. art. 9 Cst.) lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable.
6.2. Pour l'essentiel, le recourant se plaint en réalité de la seule condamnation de l'intimé et de C.B._ pour rixe. Ce faisant, il ne dispose pas d'un intérêt juridiquement protégé en qualité de coprévenu à se plaindre du fait que l'intimé et son frère n'ont pas été condamnés pour une autre infraction que celle de rixe. Le grief est irrecevable. En outre, dans son arrêt, la cour cantonale a souligné que la faute du recourant était moindre que celle des autres protagonistes même s'il lui était reproché un concours d'infractions. Elle a donc tenu compte des circonstances de l'espèce, soit en l'occurrence de la violence des coups portés par l'intimé et son frère et de la gravité des lésions causées au recourant, dans la fixation de la peine, qu'elle a réduite à 40 jours-amende. Le recourant ne discute d'ailleurs pas la quotité de la peine qui lui a été infligée, de sorte qu'il n'y a pas lieu de l'examiner plus avant.
Pour le surplus, le recourant ne démontre pas en quoi la décision attaquée serait arbitraire dans son résultat. Son grief est dès lors irrecevable.
7.
Au vu de ce qui précède, le recours est rejeté dans la mesure où il est recevable.
Comme il était dénué de chances de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>). Le recourant, qui succombe, supporte les frais judiciaires, dont le montant sera fixé en tenant compte de sa situation financière, laquelle n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 1 à 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 7 janvier 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Thalmann