Faits:
A. Le 9 août 2007, la gendarmerie a été informée qu'une agression commise par un groupe de skinheads à l'encontre de trois personnes d'origine africaine s'était produite rue de Lausanne, à Genève. Elle a interpellé les huit membres du groupe d'agresseurs dont faisait partie X._.
B. Par jugement du 16 février 2009, le Tribunal de police du canton de Genève a condamné X._, pour agression, à une peine pécuniaire, assortie d'un sursis pendant cinq ans, de 90 jours-amende d'un montant unitaire de 80 fr., sous déduction de la détention préventive, ainsi qu'à une amende de 500 fr., dont la peine privative de li-berté de substitution a été fixée à 5 jours.
Les premiers juges ont retenu, notamment sur la base du témoignage de trois soldats en congé ayant assisté à l'altercation, qu'il convenait d'écarter l'idée d'une bagarre confuse ayant opposé deux groupes d'amis. Ils ont privilégié la thèse de l'attaque unilatérale de X._ et de ses comparses, à savoir A._, B._, C._, D._, E._ et un mineur prénommé F._, sans qu'il n'y ait eu de provocation des victimes G._, H._ et I._.
C. Par arrêt du 12 octobre 2009, la Chambre pénale de la Cour de justice genevoise a annulé le jugement de première instance en tant qu'il fixait le délai d'épreuve du sursis à 5 ans pour l'arrêter à 3 ans. Elle l'a confirmé pour le surplus.
D. X._ dépose un recours en matière pénale au Tribunal fédéral. Invoquant l'arbitraire, une violation du principe "in dubio pro reo" et de l'<ref-law>, il conclut, principalement, à son acquittement du chef d'accusation d'agression et, subsidiairement, au renvoi de la cause à l'autorité précédente.

Considérant en droit:
1. Dans la mesure où le recourant s'en prend à l'instruction ou au jugement de première instance, ses critiques sont irrecevables, seul l'arrêt de la Chambre pénale pouvant faire l'objet d'un recours en matière pénale (cf. <ref-law>). Tel est notamment le cas lorsqu'il allègue que l'instruction a été conduite essentiellement à charge des accusés dans l'optique d'une agression raciste et qu'elle a tourné autour des opinions personnelles des mis en cause.
2. Le recourant se plaint d'arbitraire et invoque une violation du principe "in dubio pro reo".
2.1 Tels qu'ils sont motivés, ces deux griefs n'ont pas en l'espèce de portée distincte. A l'appui de l'un comme de l'autre, le recourant fait valoir que les faits retenus l'ont été ensuite d'une appréciation arbitraire des preuves. Cette dernière notion a notamment été rappelée dans les <ref-ruling> consid. 1.3 p. 4 et 5 et 134 I 140 consid. 5.4 p. 148, auxquels il suffit donc de renvoyer. Pour être recevable, le grief d'arbitraire, qui revient à invoquer une violation de l'art. 9 Cst., doit toutefois être motivé conformément aux exigences de l'<ref-law> (cf. <ref-ruling> consid. 1.4 p. 287).
2.2 Contestant l'appréciation des preuves et se référant en particulier aux témoignages des soldats présents lors de l'altercation, le recourant reproche aux juges cantonaux de n'avoir retenu que les éléments à charge. Il nie tout d'abord avoir été actif ou avoir encouragé ses amis à user de leurs poings et de leurs pieds lors de la bagarre. Il conteste ensuite que les victimes n'aient eu qu'une attitude passive.
2.2.1 La Chambre pénale a considéré que X._ et ses comparses avaient attaqué, de manière unilatérale, un groupe de trois personnes de couleur, sans qu'il n'y ait de provocation de ces der-nières. Elle a admis ces faits en se basant sur les éléments suivants.
D'une part, les déclarations des membres du groupe du recourant comportaient de très nombreuses variations. Ainsi, ce dernier qui, après avoir exclu être l'auteur direct de coups, était revenu sur ses dires en n'écartant pas l'hypothèse qu'il eut pu, au vu de son tempérament, avoir participé physiquement à la bagarre, pour finalement reve-nir sur sa première version. De même, si D._ avait tout d'abord nié avoir frappé une des personnes de l'autre groupe, il avait par la suite reconnu avoir assené plusieurs coups, dont quelques uns avaient vraisemblablement été portés à G._, qui était au sol.
D'autre part, les déclarations des trois victimes étaient plus cohérentes et précises quant à l'enchaînement des événements. De surcroît, elles étaient corroborées par les allégations des trois militaires, qui avaient assisté à l'altercation. Ceux-ci étaient des témoins extérieurs à la cause, sans intérêt subjectif à soutenir l'un ou l'autre des groupes antagonistes. Leurs témoignages étaient accablants, en ce sens qu'ils étaient unanimes à dire que les insultes avaient fusé du groupe du recourant, sans qu'aucune provocation n'eût été observée. La situation avait rapidement dégénéré par la seule faute du groupe de l'intéressé. Ce dernier avait d'ailleurs avoué que son ami A._, qui avait pris soin d'enfiler des gants à titre préventif, avait frappé en premier. Les témoins avaient aussi insisté sur la violence unilatérale des coups, dont certains portés à des victimes à terre et sans défense. Le qualificatif utilisé par les soldats, qui avaient parlé d'une violence inouïe et d'une brutalité gratuite, en disait long sur la force et l'intensité des coups portés.
Enfin, aucun des membres du groupe du recourant ne s'était plaint d'avoir subi des lésions, ce qui permettait d'écarter tout comportement actif et belliqueux du groupe adverse. Ses membres n'avaient fait que se défendre aux dires des témoins extérieurs à la cause, dans le but d'assurer leur protection.
2.2.2 Selon le soldat K._, la situation avait rapidement dégénéré quand l'une des personnes de couleur s'était exprimée pour dire aux membres du groupe de se calmer. Ces derniers avaient interprété cette intervention comme une provocation et trois ou quatre d'entre eux s'étaient jetés sur G._, sans avoir été au préalable agressés physiquement. Ils avaient commencé à charger les trois noirs en les frappant violemment, tant avec les poings qu'avec les pieds. X._ et l'un de ses comparses criaient en encourageant les membres de son groupe à donner des coups. Le plus grand des individus de couleur avait tenté de se défendre en donnant également des coups à ses assaillants, pour se protéger uniquement.
Le soldat L._ a expliqué que son attention avait été attirée par un groupe de skinheads qui semblaient insulter trois personnes d'origine africaine. Les premiers s'étaient ensuite rués sur les seconds en leur infligeant des coups. Parmi les agresseurs, quatre d'entre eux frappaient sous les encouragements des autres membres du groupe, restés en retrait. X._ n'avait pas infligé de coups au début de l'altercation physique.
Enfin, le soldat M._ a confirmé la violence gratuite et la brutalité des skinheads envers les personnes de type africain, qui n'avaient nullement provoqué leurs agresseurs. X._ était l'un des auteurs des coups portés à la plus petite et à la plus grande des victimes. Il avait également proféré des menaces de mort, telles que "je vais te tuer", à l'encontre de l'un d'eux.
2.2.2.1 Certes, conformément aux allégations du recourant, ces déclarations ne sont pas absolument unanimes sur la question de savoir si ce dernier a participé physiquement à l'agression. Reste qu'à la lec-ture de ces témoignages (cf. pièces n° 32 ss et 119 ss), ceux-ci concordent, d'une part, sur le fait que l'intéressé a participé tout au moins verbalement à la bagarre en encourageant ses compères, et d'autre part, sur le caractère unilatéral de l'attaque, le groupe du recourant s'étant rué sur le groupe adverse, qui n'avait pas provoqué celui-là.
2.2.2.2 Par ailleurs, le recourant ne critique pas les autres éléments retenus par les juges cantonaux et ne s'en prend donc pas à l'appréciation des preuves dans son ensemble (cf. supra consid. 2.2.1). En particulier, il ne conteste pas que les déclarations des membres de son propre groupe comportent de très nombreuses variations, alors que les versions présentées par les victimes sont cohérentes et précises. Il ne nie pas non plus qu'aucun membre de son groupe n'a subi de lésions, ce qui, selon les juges cantonaux, permet d'écarter tout comportement actif et belliqueux des victimes. Or, lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant; l'appréciation des preuves doit être examinée dans son ensemble.
2.2.2.3 En conclusion, le grief doit être rejeté dans la mesure de sa recevabilité.
3. Le recourant conteste la réalisation des éléments objectifs de l'agres-sion au sens de l'<ref-law> au vu de l'attitude active du groupe opposé.
3.1 Se rend coupable de l'infraction précitée celui qui participe à une agression dirigée contre une ou plusieurs personnes au cours de la-quelle l'une d'entre elles ou un tiers a trouvé la mort ou subi une lésion corporelle.
3.1.1 A la différence de la rixe (cf. <ref-law>), qui suppose un assaut réciproque ou une bagarre plus ou moins confuse à laquelle plusieurs personnes prennent part activement (cf. <ref-ruling> consid. 2 p. 151 ss), l'agression se caractérise comme une attaque unilatérale de deux personnes au moins, dirigée contre une ou plusieurs victimes, qui restent passives ou se contentent de se défendre. Pour que l'on puisse parler d'une attaque unilatérale, il faut que la ou les personnes agressées n'aient pas eu elles-mêmes, au moment de l'attaque, une attitude agressive, impliquant que le déclenchement de la bagarre, en définitive, dépendait surtout du hasard, et qu'elles aient par la suite conservé une attitude passive ou alors uniquement cher-ché à se défendre. En revanche, si leur réaction défensive dépasse par son intensité et sa durée ce qui était nécessaire pour se défendre, l'agression peut se transformer en rixe (cf. B. CORBOZ, Les infractions en droit suisse, vol. I, Berne 2002, ad art. 134 n° 6 p. 198; G. STRATENWERTH/G. JENNY, Schweizerisches Strafrecht, BT I, Berne 2003, § 4 n° 39 p. 84; A. DONATSCH, Strafrecht III, 9ème éd., ad art. 134 p. 68 s.; P. AEBERSOLD, Basler Kommentar, Strafrecht II, 2ème éd., ad art. 134 n° 6 p. 237).
3.1.2 Le comportement punissable consiste à prendre part à l'agression. Savoir si la participation peut être purement verbale est une question controversée. La doctrine dominante admet que, lorsqu'au moins deux personnes attaquent déjà physiquement la victime, la participation à l'agression peut aussi être psychologique ou verbale, soit par exemple être réalisée par le biais d'encouragements ou de remises d'armes (cf. S. TRECHSEL ET AL., Schweizerisches Strafgesetzbuch, Praxiskommentar, ad art. 134 n° 2 p. 606; P. AEBERSOLD, op cit, ad art. 134 n° 7; G. STRATENWERTH/G. JENNY, op cit, § 4 n° 41). Certains auteurs, en revanche, soutiennent que celui qui ne fait qu'exciter ou encourager les protagonistes est plutôt un participant accessoire, soit un instigateur ou un complice, l'agression se caractérisant comme un assaut physique (cf. B. CORBOZ, op cit, ad <ref-law> n° 8; H. SCHULTZ, Die Delikte gegen Leib und Leben nach der Novelle 1989, in RPS 1991 p. 411). Toutefois, le fait que la personne ne participe pas elle-même à l'exécution proprement dite n'exclut pas qu'elle puisse être considérée comme coauteur, si elle en remplit les conditions (cf. B. CORBOZ, op cit, ad art. 134 n° 8).
Est un coauteur, celui qui collabore, intentionnellement et de manière déterminante, avec d'autres personnes à la décision de commettre une infraction, à son organisation ou à son exécution, au point d'apparaître comme l'un des participants principaux. Il faut que, d'après les circonstances du cas concret et le plan d'action, la contribution du coauteur apparaisse essentielle à l'exécution de l'infraction. La seule volonté quant à l'acte ne suffit pas, mais il n'est pas nécessaire que le coauteur ait effectivement participé à l'exécution de l'acte ou ait pu l'influencer. La coactivité suppose une décision commune, qui ne doit toutefois pas forcément être expresse mais peut aussi résulter d'actes concluants, et le dol éventuel quant au résultat suffit. Il n'est pas nécessaire que le coauteur participe à la conception du projet, auquel il peut adhérer ultérieurement, ni que l'acte soit prémédité, le coauteur pouvant s'y associer en cours d'exécution. Ce qui est déterminant c'est que l'auteur se soit associé à la décision dont est issue l'infraction ou à la réalisation de cette dernière, dans des conditions ou dans une mesure qui le font apparaître comme un participant non pas secondaire, mais principal (<ref-ruling> consid. 3a p. 136).
En l'espèce, il n'est pas nécessaire de trancher la controverse précitée, le recourant devant de toute manière être considéré comme un coauteur (cf. infra consid. 3.2).
3.2 Selon les faits retenus, au sujet desquels aucun arbitraire n'a été démontré (cf. supra consid. 2), les insultes ont fusé du groupe du recourant, sans qu'il n'y ait eu de provocations des victimes. La situation a rapidement dégénéré par la seule faute des membres du groupe du recourant, la demande d'explications émanant de G._ ne pouvant être interprétée comme une attaque préalable. Les témoins extérieurs à la cause ont insisté sur la violence unilatérale des coups, dont certains portés à des victimes à terre et sans défense. Ces dernières n'ont pas eu de comportement actif ni belliqueux. Elles n'ont fait que se défendre dans le but d'assurer leur protection. Leurs quelques tentatives d'infliger des coups de parapluie ou de repousser l'agresseur, pour autant qu'elles soient avérées, ne sauraient témoigner d'une attitude active propre à la rixe. Au regard de ces éléments, c'est à juste titre que la Chambre pénale a admis qu'il ne s'agissait pas d'une bagarre plus ou moins confuse, ni d'un assaut réciproque, mais d'une attaque unilatérale de plusieurs personnes contre trois autres individus.
Selon les faits retenus, le recourant a vivement encouragé ses amis à user de leurs poings et de leurs pieds. De plus, il a empêché l'un des soldats d'appeler la police, comportement qui atteste également du soutien apporté à ses comparses et de sa volonté à les protéger. Enfin, il a proféré des menaces de mort à l'encontre des assaillis. Au regard de ces éléments et même s'il n'est pas intervenu physiquement en portant des coups aux victimes, l'intéressé s'est pleinement associé à la décision et à la réalisation de l'infraction dans une mesure qui le fait apparaître comme un participant principal.
Dans ces conditions, la Cour cantonale n'a pas violé le droit fédéral en retenant que le recourant s'était rendu coupable d'agression, la réalisation des lésions intervenues en relation avec l'infraction et de l'aspect subjectif de celle-ci n'étant du reste pas contestée. Le grief soulevé est donc infondé.
4. Le recours doit ainsi être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, devra supporter les frais (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, fixés à 4'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre pénale.
Lausanne, le 22 mars 2010
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Favre Bendani