Sachverhalt:
A. Nach dem hier relevanten Anklagepunkt I.5 gingen die Gebrüder A.X._ und B.X._ am 29. Mai 2010 gegen 00.50 Uhr alkoholisiert in Richtung Heuwaage in Basel und belästigten wahllos Passanten. A.X._ erblickte den ihm unbekannten 21-jährigen Y._ mit einem Kollegen, beschimpfte ihn als "Hurensohn", verpasste ihm unvermittelt einen Faustschlag, so dass er sogleich zu Boden ging, und versetzte dem am Boden Liegenden äusserst brutale Faust- und Ellenbogenschläge ins Gesicht. Als der Kollege von Y._ die Streitenden trennen wollte, entschied sich B.X._, seinen Bruder zu unterstützen, und schlug eine leere Whisky-Flasche über das rechte Bein Y._s, wobei die Flasche nicht zerbarst und unbeschädigt zu Boden fiel. Daraufhin packte B.X._ ein Fahrrad und warf es auf die Streitenden, worauf diese voneinander abliessen. Als Y._ aufzustehen versuchte, ergriff B.X._ die Flasche erneut und schmetterte sie ihm ins Gesicht, so dass sie zerbrach. Unbeeindruckt vom hilflosen Zustand Y._s trat A.X._ mindestens zweimal mit dem rechten Fuss Y._ kraftvoll gegen Kopf und Körper. Angehörige der Securitas nahe gelegener Betriebe rissen A.X._ von Y._ weg. Dieser hatte zahlreiche Verletzungen erlitten, insbesondere eine als potenziell lebensgefährlich einzustufende tiefe Schnittverletzung im linken Jochbeinbereich.
B. Das Strafdreiergericht des Kantons Basel-Stadt verurteilte am 22. Dezember 2010 A.X._ wegen mehrfacher versuchter schwerer Körperverletzung, mehrfacher einfacher Körperverletzung, Raufhandels, Gewalt und Drohung gegen Behörden und Beamte sowie Diensterschwerung zu 3 1⁄4 Jahren Freiheitsstrafe (unter Anrechnung von Polizeigewahrsam, Untersuchungshaft und vorläufigem Massnahmevollzug) sowie zu einer Busse von Fr. 200.--. Es wies ihn in eine Einrichtung für junge Erwachsene ein und schob den Vollzug der Freiheitsstrafe auf (Art. 61 Abs. 1 i.V.m. Art. 57 Abs. 2 StGB).
Im Rahmen des Anklagepunktes I.5 wurde A.X._ mit seinem Bruder B.X._ zur solidarischen Zahlung einer Genugtuung von Fr. 7'500.-- an Y._ verpflichtet.
Das Strafdreiergericht verurteilte B.X._ zu einer Gesamtfreiheitsstrafe von 4 1⁄2 Jahren, schob den Vollzug auf und ordnete eine stationäre psychiatrische Behandlung an (Art. 59 Abs. 1 i.V.m. Art. 57 Abs. 2 StGB). Das Urteil blieb unangefochten und wurde rechtskräftig.
C. Das Appellationsgericht des Kantons Basel-Stadt bestätigte am 5. Juni 2012 auf Appellation von A.X._ das Urteil des Strafdreiergerichts im Schuldpunkt. In einem Anklagepunkt (I.1) stellte es das Verfahren mangels Strafantrags ein. Es verurteilte ihn zu 3 Jahren Freiheitsstrafe sowie Fr. 200.-- Busse und bestätigte das Urteil des Strafdreiergerichts betreffend Massnahme sowie Genugtuungsleistung an Y._.
D. A.X._ erhebt Beschwerde in Strafsachen mit den Anträgen, das appellationsgerichtliche Urteil aufzuheben, ihn vom Vorwurf der durch den Flaschenschlag seines Bruders B.X._ angeblich in Mittäterschaft begangenen [versuchten] schweren Körperverletzung zum Nachteil des Geschädigten Y._ freizusprechen, ihn zu einer Freiheitsstrafe von insgesamt 2 1⁄2 Jahren sowie zur solidarischen Bezahlung einer Genugtuung von Fr. 2'500.-- an Y._ zu verurteilen und dessen weitere Forderung abzuweisen. Eventualiter sei die Sache an die Vorinstanz zurückzuweisen. Es sei ihm die unentgeltliche Rechtspflege zu gewähren.
In der Vernehmlassung beantragen Appellationsgericht und Staatsanwaltschaft die Abweisung der Beschwerde.
Erwägungen:
1. 1.1 Der Beschwerdeführer bringt vor, er habe stets erklärt, dass ein gemeinsamer Tatentschluss gefehlt und er nicht gewollt habe, dass sein Bruder in den Kampf eingreife. Der Flaschenschlag dürfe ihm nicht zugerechnet werden. Die Vorinstanz nehme an, dadurch, dass er dem Geschädigten noch Fusstritte versetzt habe, habe er sich die Tat seines Bruders zu eigen gemacht. Diese Anerkennung eines dolus subsequens verletze Bundesrecht.
1.2 Die Vorinstanz führt aus, der Beschwerdeführer habe sich den Vorsatz seines Bruders zu eigen gemacht, indem er nach dem Flaschenschlag nicht etwa vom Geschädigten abgelassen, sondern diesem noch gegen den Kopf getreten habe. Wäre er vom Eingreifen seines Bruders "unangenehm" überrascht worden, wie zur Verteidigung behauptet werde, hätte er spätestens jetzt die Auseinandersetzung beenden müssen. Er habe dem wegen schwerer Schnittverletzungen heftig blutenden Geschädigten noch Fusstritte gegen das Gesicht versetzt und dadurch die Tat seines Bruders zu seiner eigenen gemacht. Dafür spreche auch seine Aussage, dass es normal sei, dass man sich gegenseitig beschütze, wenn einer angegriffen werde, schliesslich seien sie Brüder. Demnach habe eine (stillschweigende) Vereinbarung bestanden. Mit dem Flaschenschlag liege kein nicht voraussehbarer Exzess vor. Vielmehr handle es sich um das "übliche" Prozedere der Eskalation, wie es auch bei den weiteren angeklagten Taten zum Ausdruck komme (verbale Provokation, Schläge mit Fäusten, Schläge mit Ellenbogen, Tritte gegen den Kopf von Wehrlosen, Angriff auf die Polizei).
1.3 Der Willkürvorwurf des Beschwerdeführers betrifft den subjektiven Sachverhalt. Die Vorinstanz verkennt nicht, dass der Beschwerdeführer den Eventualvorsatz im Sinne der billigenden Inkaufnahme des Flaschenschlags seines Bruders auch in tatsächlicher Hinsicht bestreitet (Urteil S. 5 f.). Aus dem Urteil ergibt sich klar, von welchen Umständen die Vorinstanz ausgeht. Der Eventualvorsatz lässt sich nur im Lichte der tatsächlichen Umstände beurteilen (BGE 130 IV 58 E. 8.5; 119 IV 242 E. 2c S. 248). Es handelt sich um eine Rechtsfrage. Rechtsfrage ist ebenfalls, ob Mittäterschaft vorliegt.
1.4 Der Hinzutretende haftet nur für dasjenige Unrecht, das nach seinem Beitritt noch begangen wird (GÜNTER STRATENWERTH, Schweizerisches Strafrecht, Allgemeiner Teil I, 4. Aufl., S. 391). Entgegen seiner Ansicht kann der Beschwerdeführer nicht als "Hinzutretender" gelten. Er begann die Prügelei und schuf damit die gefährliche Situation. Sein Bruder "trat hinzu" und schlug bei seiner dritten Intervention dem Geschädigten die Whisky-Flasche ins Gesicht. Unmittelbar darauf versetzte der Beschwerdeführer dem wegen der schweren Schnittverletzungen heftig blutenden Opfer noch Fusstritte gegen das Gesicht (Urteil S. 6), bis Angehörige der Securitas ihn wegrissen (Urteil S. 5; Urteil des Strafdreiergerichts S. 26).
1.5 Die mittäterschaftliche Tatbeteiligung wird massgebend an der Rolle gemessen, die der Einzelne willentlich übernimmt, weshalb subjektive Vorbehalte irrelevant sind. Die Willensübereinstimmung kann irgendwie hergestellt werden. Eine besondere Verabredung ist nicht erforderlich (SCHÖNKE/SCHRÖDER/HEINE, Strafgesetzbuch, 28. Aufl., München 2010, § 25 NN. 70 und 71). Mittäter ist, wer bei der Entschliessung, Planung oder Ausführung tatsächlich mitwirkt (BGE 130 IV 58 E. 9.2.1). Mittäterschaft kann durch die tatsächliche Mitwirkung bei der Ausführung begründet werden. Konkludentes Handeln genügt (BGE 126 IV 84 E. 2c/aa S. 88; 125 IV 134 E. 3a). Auch an spontanen, nicht geplanten Aktionen oder unkoordinierten Straftaten ist Mittäterschaft möglich (vgl. Urteile 6B_885/2008 vom 14. April 2009 E. 3.4 mit Hinweis und 6B_180/2011 vom 5. April 2012 E. 2.2 [in BGE 138 IV 113 nicht veröffentlichte Erwägung]).
Es ist nicht erforderlich, dass der Gewalttat ein gemeinsamer Tatentschluss oder eine (stillschweigende) Vereinbarung zur Hilfestellung vorausgingen. Es genügt, wenn sich der Täter den Vorsatz des Hinzutretenden "zu eigen macht" (BGE 130 IV 58 E. 9.2.1; 120 IV 265 E. 2c/aa S. 272). "Le coauteur peut s'y associer en cours d'exécution" (BGE 125 IV 134 E. 3a). Der Beschwerdeführer akzeptierte die Interventionen seines Bruders (des "Hinzutretenden") und nahm die Gelegenheit wahr, den durch den Flaschenschlag hilflos Gewordenen mit Fusstritten ins Gesicht noch weiter zu traktieren. Damit billigte er die Interventionen seines Bruders. Sie schlugen "in stillschweigendem Einverständnis auf einen andern ein" (BGE 118 IV 227 E. 5d/aa S. 230 mit Hinweis auf STRATENWERTH, a.a.O.).
Dass dem Beschwerdeführer die "Einmischung" unerwünscht gewesen war, weil er alleine den "Sieg" erringen wollte (Beschwerde S. 4), ändert nichts (vgl. BGE 137 IV 1 E. 4.2.3, erster Absatz). Das Inkaufnehmen durch Billigen oder Einverständnis im Sinne des Eventualvorsatzes erfasst auch den unerwünschten, aber um des Handlungsziels willen hingenommenen Erfolg (THOMAS FISCHER, Strafgesetzbuch, 60. Aufl., München 2013, § 15 N. 9b). Hingenommener Erfolg durch den Beschwerdeführer war die Verletzung des Geschädigten durch den Flaschenschlag des Bruders (sowie dessen anderen Interventionen). Handlungsziel des Beschwerdeführers war dagegen, durch Zusammenschlagen des Geschädigten einen Sieg zu erringen. Das Zusammenwirken beider im konkludenten Handeln bei der Tatausführung begründet die Mittäterschaft.
1.6 Unbehelflich ist der Einwand des Beschwerdeführers, er habe das Eingreifen seines Bruders in dieser Weise nicht voraussehen können. Entscheidend ist, dass er es "in dieser Weise" tatsächlich sah.
Auch die Geltendmachung eines nicht voraussehbaren Exzesses geht an der Sache vorbei. Die Fusstritte erfolgten in Kenntnis des Flaschenschlags. Es kommt nicht darauf an, ob er diese voraussah. Der Beschwerdeführer sah den Flaschenschlag ins Gesicht und erkannte dessen Wirkung. Er nützte diese Situation aus und trat dem Hilflosen ins Gesicht.
1.7 Der Beschwerdeführer wendet ein, seine Aussage, dass man sich unter Brüdern gegenseitig beschütze, sei auf eine Suggestivfrage der Vorinstanz erfolgt. Auch dieser Einwand ist unbehelflich. Von einer Hilfeleistung konnte die Vorinstanz aufgrund des Sachverhalts willkürfrei ausgehen. Die beiden waren streitsüchtig unterwegs. Der Bruder intervenierte, als der Kollege des Geschädigten die Streitenden trennen wollte. Dass der Beschwerdeführer unter diesen Umständen mit der Hilfe seines Bruders rechnen konnte, liegt nach der Erfahrung nahe und wird durch dessen Intervention zugunsten des Beschwerdeführers bei einer ähnlich abgelaufenen Schlägerei belegt (Urteil des Strafdreiergerichts S. 17 f.).
2. Der Beschwerdeführer begründet seine Strafzumessungsrüge damit, dass eine fehlende mittäterschaftliche Zurechnung des zweiten Flaschenschlags zu einer Freiheitsstrafe von 2 1⁄2 Jahren führen müsste. Es bleibt bei der Mittäterschaft. Die Rüge ist unbegründet.
3. Der Beschwerdeführer macht hinsichtlich der Genugtuungsforderung geltend, es bestünden keine gemeinsame Verursachung und kein gemeinsames Verschulden im Sinne von Art. 50 Abs. 1 OR für die Schnittverletzungen (Narbenbildung). Für die Schlägerei ohne diesen Flaschenschlag sei eine solidarische Haftung für eine Genugtuung von Fr. 2'500.-- gerechtfertigt.
Wenn mehrere den Schaden gemeinsam verschuldet haben, sei es als Anstifter, Urheber oder Gehilfen, haften sie gemäss Art. 50 Abs. 1 OR dem Geschädigten solidarisch. Der gemeinsamen schuldhaften Handlung muss keine Absprache vorausgegangen sein. Ein konkludentes Verhalten kann aus der einfachen und spontanen Teilnahme entstehen. Weiter genügt, dass ein Verhalten (auch durch Unterlassung) das schädigende Ereignis mitverursacht hat. Ferner sieht das Gesetz Solidarhaftung für alle Täter vor, ohne nach Intensität der Mitwirkung zu differenzieren (ROLAND BREHM, in: Berner Kommentar, Schweizerisches Zivilgesetzbuch, 3. Aufl. 2006, Art. 50 NN. 13, 16 und 22).
Die Vorinstanz betrachtet den Beschwerdeführer bezüglich der Verletzungen mit der Whisky-Flasche zutreffend als Mittäter. Er haftet solidarisch für die ganze Genugtuungssumme von Fr. 7'500.--.
4. Die Beschwerde ist abzuweisen. Das Gesuch um unentgeltliche Rechtspflege ist wegen Aussichtslosigkeit der Rechtsbegehren abzuweisen (Art. 64 BGG). Der finanziellen Lage des Beschwerdeführers ist mit herabgesetzten Gerichtskosten Rechnung zu tragen (Art. 65 Abs. 2 und Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 1'600.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Appellationsgericht des Kantons Basel-Stadt, Ausschuss, schriftlich mitgeteilt.
Lausanne, 21. Februar 2013
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Der Gerichtsschreiber: Briw