Sachverhalt:
A. A.a Das Appellationsgericht des Kantons Basel-Stadt sprach X._ am 20. Januar 2011 zweitinstanzlich des Mordes, des mehrfachen versuchten Mordes, der einfachen Körperverletzung mit einem gefährlichen Gegenstand, der mehrfachen Tätlichkeiten, der mehrfachen Drohung, der mehrfachen versuchten Nötigung, der Gewalt und Drohung gegen Behörden und Beamte, des mehrfachen Ungehorsams gegen eine amtliche Verfügung sowie der Widerhandlung gegen das Waffengesetz schuldig und verurteilte ihn zu einer Freiheitsstrafe von 13 Jahren und einer Busse von Fr. 1'500.--. Es verpflichtete ihn, in solidarischer Haftung mit A._ bzw. B._, an diverse Personen Genugtuungs- sowie Schadenersatzzahlungen zu leisten und erklärte ihn für weitere Schadensposten dem Grundsatz nach ersatzpflichtig.
A.b Dem Urteil liegt unter anderem folgender Sachverhalt zugrunde:
A._ schoss am 26. Oktober 2005 viermal gezielt auf Körper- und Kopfhöhe gegen die vor der "C._Bar" in Basel stehende Menschengruppe rund um die Angehörigen der Familie D._, wobei er sich bei der Schussabgabe gehend auf diese zubewegte. Einen fünften Schuss gab er aus kurzer Distanz (wenigen Metern) auf den bereits angeschossenen und am Boden liegenden D.A._ ab. Der zeitlich letzte Schuss war für diesen tödlich. Während des ganzen Vorfalls wurde er von X._ begleitet, der mit einer Stahlrute herumhantierte und die Funktion eines "Bodyguards" ausübte. Die vor der "C._Bar" stehenden Personen griffen A._ und X._ weder an noch provozierten sie diese tätlich, und es stand auch kein Angriff bevor. A._ handelte aus Rache an D.B._. Er wollte sich Vergeltung verschaffen für Ereignisse am Morgen, die er ungerechtfertigterweise als Demütigung empfand, da er diese selber initiiert hatte. Der Konflikt war auf eine Frauengeschichte B._s zurückzuführen, die A._ nicht direkt betraf.
X._ ging vor der Schiesserei zusammen mit A._ vor der "C._Bar" auf und ab, wobei er die Stahlrute provozierend ein- und auszog. An der Strassenecke E._ zeigte A._ F._ und G._ die von ihm mitgeführte Pistole. Das Vermittlungsangebot von H._ schlug er aus. X._ wusste spätestens als A._ F._ und G._ die Pistole zeigte, dass dieser bewaffnet war. Als H._ mit A._ reden wollte, intervenierte er und spornte A._ zur Tat an. Er stand diesem auch während der Schiesserei ständig in unmittelbarer Nähe (auf dem Fuss bzw. im Abstand von nur "einem halben Menschen") schützend zur Seite. Nach dem letzten tödlichen Schuss auf D.A._ ging er zu diesem hin und schwang die Stahlrute weiter, schlug ihn aber nicht. X._ war gewillt, die Konfrontation mit Waffen auszutragen. Er beteiligte sich an der Vergeltungsaktion von A._ und drängte auf deren Ausführung. A._ wäre nach den Erfahrungen vom Vormittag ohne dessen Mitwirkung gegen die zahlenmässig überlegene Personengruppe nicht so vorgegangen, wie er dies tat.
B. X._ führt Beschwerde in Strafsachen mit den Anträgen, ihn vom Vorwurf des Mordes und des mehrfachen versuchten Mordes (ev. der Gehilfenschaft zum Mord und der Gehilfenschaft zum mehrfachen versuchten Mord) freizusprechen und ihn für die übrigen Straftaten zu einer Freiheitsstrafe von 12 Monaten zu verurteilen, bedingt vollziehbar bei einer Probezeit von zwei Jahren. Zudem seien die ihm gegenüber geltend gemachten Zivilforderungen bezüglich des Vorfalls vom 26. Oktober 2005 abzuweisen. Im Übrigen sei das Urteil vom 20. Januar 2011 hinsichtlich der Zivilforderungen zu bestätigen. Eventualiter sei dieses aufzuheben und die Angelegenheit zur Neubeurteilung an die Vorinstanz zurückzuweisen. Er ersucht um unentgeltliche Rechtspflege und Verbeiständung.
Erwägungen:
1. 1.1 Der Beschwerdeführer rügt eine Verletzung des Anklageprinzips. Die Staatsanwaltschaft sei beim Verfassen der Anklageschrift nicht davon ausgegangen, dass er A._ anspornte. Ein derart elementarer Vorwurf hätte in der Anklageschrift erwähnt werden müssen.
1.2 Nach dem aus Art. 29 Abs. 2 und Art. 32 Abs. 2 BV sowie aus Art. 6 Ziff. 1 und 3 lit. a und b EMRK abgeleiteten Anklagegrundsatz bestimmt die Anklageschrift den Gegenstand des Gerichtsverfahrens. Die Anklage hat die der beschuldigten Person zur Last gelegten Delikte in ihrem Sachverhalt so präzise zu umschreiben, dass die Vorwürfe genügend konkretisiert sind. Das Anklageprinzip bezweckt zugleich den Schutz der Verteidigungsrechte der angeschuldigten Person und dient dem Anspruch auf rechtliches Gehör (BGE 126 I 19 E. 2a; 120 IV 348 E. 2b mit Hinweisen). Konkretisiert wird der Anklagegrundsatz zur Hauptsache durch die Anforderungen, welche an die Anklageschrift gestellt werden (BGE 120 IV 348 E. 2c).
Das Bundesgericht prüft die Anwendung der BV und der EMRK mit voller Kognition, das vorliegend noch anwendbare kantonale Verfahrensrecht (vgl. Art. 453 Abs. 1 und Art. 454 Abs. 2 der Schweizerischen Strafprozessordnung vom 5. Oktober 2007 [StPO; SR 312.0]; BGE 137 IV 145 E. 1.1 mit Hinweisen) hingegen nur auf Willkür (vgl. Art. 95 BGG).
1.3 Gemäss der Anklage sollen mutmasslich anlässlich eines Treffens in der Wohnung von B._ am späten Nachmittag des 26. Oktobers 2005, eventuell aber auch schon im Rahmen der vorgängigen telefonischen Kontakte, die Rollen für die beabsichtigte Tötung von D.B._ dergestalt verteilt worden sein, dass der Beschwerdeführer A._ direkt begleiten und unterstützen würde (Ziff. II.B.2.2.1). Während des Vermittlungsversuchs von H._ sei der Beschwerdeführer ständig in unmittelbarer Nähe von A._ gestanden und habe in demonstrativ aggressiver Weise seine Teleskop-Schlagrute ein- und ausgezogen und bedrohliche Laute von sich gegeben sowie Grimassen geschnitten (Ziff. II.B.3.1).
In der Anklageschrift wird nicht explizit erwähnt, der Beschwerdeführer habe A._ anlässlich des Vermittlungsversuchs von H._ durch Worte zur Tat angespornt. Dies kann allerdings nicht zur Folge haben, dass es der Vorinstanz verwehrt ist, für die Erhärtung des von der Anklage behaupteten mittäterschaftlichen Zusammenwirkens auf die Aussagen von H._ abzustellen. Die Vorinstanz wirft dem Beschwerdeführer nicht vor, er sei die treibende Kraft gewesen. Sie stellt lediglich fest, er habe dem Vermittlungsversuch von H._ entgegengewirkt und, entgegen seiner Behauptung, die Ausführung der Tat ebenfalls gewollt. Dies ergibt sich sinngemäss auch aus der Anklageschrift. Darin liegt keine Verletzung des in der BV und der EMRK verankerten Anklageprinzips. Eine willkürliche Anwendung des kantonalen Verfahrensrechts macht der Beschwerdeführer nicht geltend.
2. 2.1 Der Beschwerdeführer rügt eine willkürliche Sachverhaltsfeststellung und eine Verletzung des Grundsatzes in dubio pro reo als Beweiswürdigungs- und Beweislastregel sowie des Anspruchs auf rechtliches Gehör. Die Vorinstanz gehe willkürlich davon aus, er habe spätestens als A._ F._ und G._ die Pistole an der Strassenecke zeigte gewusst, dass dieser bewaffnet war. Auch F._ habe die Waffe nicht gesehen. Offenbar seien die Sichtverhältnisse schlecht gewesen und es sei so schnell gegangen, dass nicht allen Anwesenden bewusst geworden sei, dass A._ eine Waffe trug. Die Vorinstanz habe es unterlassen, sich mit dieser Frage auseinanderzusetzen und verweise diesbezüglich pauschal auf die ebenfalls ungenügenden Ausführungen im erstinstanzlichen Entscheid. Er habe erst Kenntnis von der Schusswaffe erlangt, als A._ zu schiessen begonnen habe.
Der Beschwerdeführer wendet weiter ein, die Behauptung, er habe A._ angestachelt, beruhe einzig auf den Aussagen von H._. Selbst wenn diese zutreffend wären, könne nicht mit an Sicherheit grenzender Wahrscheinlichkeit davon ausgegangen werden, dass sich die Aufforderung "mach' endlich" auf die Verwendung einer Schusswaffe bezog. Die Vorinstanz habe die Äusserung willkürlich zu seinen Lasten interpretiert. Unzutreffend sei, dass er A._ während der Schussabgabe auf Schritt und Tritt gefolgt sei. Nicht erstellt sei zudem, dass er nach der Schussabgabe noch die Schlagrute schwang. Die diesbezüglichen Aussagen der Beteiligten seien mit erheblicher Vorsicht zu werten.
2.2 Die Sachverhaltsfeststellung der Vorinstanz kann nur gerügt werden, wenn sie willkürlich (Art. 9 BV) ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG; BGE 134 IV 36 E. 1.4.1). Dem vom Beschwerdeführer angerufenen Grundsatz in dubio pro reo kommt in seiner Funktion als Beweiswürdigungsregel im Verfahren vor dem Bundesgericht keine über das Willkürverbot von Art. 9 BV hinausgehende Bedeutung zu (BGE 127 I 38 E. 2a; 124 IV 86 E. 2a; je mit Hinweisen).
Willkür bei der Beweiswürdigung liegt vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist oder mit der tatsächlichen Situation in klarem Widerspruch steht. Dass eine andere Lösung oder Würdigung ebenfalls vertretbar oder gar zutreffender erscheint, genügt für die Annahme von Willkür nicht (BGE 137 I 1 E. 2.4; 134 I 140 E. 5.4; je mit Hinweisen). Die Rüge der Willkür muss präzise vorgebracht und begründet werden (Art. 106 Abs. 2 BGG). In der Beschwerde muss im Einzelnen dargelegt werden, inwiefern der angefochtene Entscheid an einem qualifizierten und offensichtlichen Mangel leidet. Auf eine rein appellatorische Kritik am angefochtenen Urteil tritt das Bundesgericht nicht ein (BGE 137 IV 1 E. 4.2.3; 136 II 489 E. 2.8; je mit Hinweisen).
Willkür bei der Beweiswürdigung liegt vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist oder mit der tatsächlichen Situation in klarem Widerspruch steht. Dass eine andere Lösung oder Würdigung ebenfalls vertretbar oder gar zutreffender erscheint, genügt für die Annahme von Willkür nicht (BGE 137 I 1 E. 2.4; 134 I 140 E. 5.4; je mit Hinweisen). Die Rüge der Willkür muss präzise vorgebracht und begründet werden (Art. 106 Abs. 2 BGG). In der Beschwerde muss im Einzelnen dargelegt werden, inwiefern der angefochtene Entscheid an einem qualifizierten und offensichtlichen Mangel leidet. Auf eine rein appellatorische Kritik am angefochtenen Urteil tritt das Bundesgericht nicht ein (BGE 137 IV 1 E. 4.2.3; 136 II 489 E. 2.8; je mit Hinweisen).
2.3 2.3.1 Die Vorinstanz durfte ohne Willkür davon ausgehen, der Beschwerdeführer habe spätestens als A._ F._ und G._ an der Strassenecke die Pistole zeigte, gewusst, dass dieser bewaffnet war und die Waffe einzusetzen gedachte. Sie stützt sich hierfür auf die Aussagen der Beteiligten. G._ gab an, A._ habe eine Pistole hervorgenommen und sie mit dem Tod bedroht, falls sie sich nicht aus der Sache raushalten sollten (kant. Akten, Urk. 4962). Auch A._ gestand ein, er habe F._ und G._ damals die Waffe gezeigt. Anders als G._ will F._ die Waffe zwar nicht gesehen haben. Er sagte jedoch aus, sie seien von A._ mit Worten bedroht worden. Es sei die Rede von einer Schiesserei gewesen. A._ habe die Jacke auf die Seite geschoben und etwas herausgenommen. Dass er eine Waffe hatte, habe er nicht direkt gesehen (kant. Akten, Urk. 4967). Unter diesen Umständen ist der vorinstanzliche Schluss, der Beschwerdeführer habe spätestens in diesem Zeitpunkt gewusst, dass es zu einer Schiesserei kommen sollte, nicht willkürlich.
2.3.2 Unter Willkürgesichtspunkten nicht zu beanstanden ist des Weiteren, wenn die Vorinstanz auf die Aussagen des Zeugen H._ abstellt und davon ausgeht, der Beschwerdeführer habe A._ durch seine Aufforderung "mach' jetzt, mach' jetzt" zur Tat angespornt. Dass sich der Beschwerdeführer keineswegs neutral verhielt, sondern aggressiv zeigte und bemüht war, die Vermittlung durch H._ zu verhindern, ergibt sich auch aus den übrigen Aussagen von H._ und weiterer Zeugen, worauf die Vorinstanz willkürfrei hinweist (Urteil S. 59).
2.3.3 Soweit der Beschwerdeführer geltend macht, er sei A._ bei der Schussabgabe nicht auf Schritt und Tritt gefolgt und er sei im Anschluss daran nicht die Stahlrute schwingend zum Opfer hingegangen, setzt er sich mit den Ausführungen der Vorinstanz und den Akten nicht auseinander. Auf die rein appellatorische Bestreitung der vorinstanzlichen Sachverhaltsfeststellung ist nicht einzutreten.
2.4 Das rechtliche Gehör nach Art. 29 Abs. 2 BV verlangt, dass die Behörde die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann (BGE 134 I 83 E. 4.1 mit Hinweisen). Der vorinstanzliche Entscheid ist in den beanstandeten Punkten ausreichend begründet. Eine Verletzung des Anspruchs auf rechtliches Gehör liegt nicht vor.
2.5 Als Beweislastregel bedeutet der Grundsatz in dubio pro reo, dass es Sache der Anklagebehörde ist, die Schuld des Angeklagten zu beweisen. Der Grundsatz ist verletzt, wenn der Strafrichter einen Angeklagten (einzig) mit der Begründung verurteilt, er habe seine Unschuld nicht nachgewiesen. Dies prüft das Bundesgericht mit freier Kognition (BGE 127 I 38 E. 2a mit Hinweis).
Inwiefern die Vorinstanz den Grundsatz in dubio pro reo als Beweislastregel missachtet haben könnte, ist nicht ersichtlich, da sie dem Beschwerdeführer nicht vorwirft, er habe seine Unschuld nicht bewiesen. Die Beschwerde ist auch insoweit unbegründet.
3. 3.1 Der Beschwerdeführer wendet sich gegen die rechtliche Qualifikation seines Verhaltens als Mittäterschaft zu Mord und zu mehrfachem versuchtem Mord.
3.2 Eine vorsätzliche Tötung ist als Mord zu qualifizieren, wenn der Täter besonders skrupellos handelt, namentlich wenn sein Beweggrund, der Zweck der Tat oder die Art der Ausführung besonders verwerflich sind (Art. 112 StGB). Mord zeichnet sich nach der Rechtsprechung durch eine aussergewöhnlich krasse Missachtung fremden Lebens bei der Durchsetzung eigener Absichten aus. Für die Qualifikation verweist das Gesetz in nicht abschliessender Aufzählung auf äussere (Ausführung) und innere Merkmale (Beweggrund, Zweck). Diese müssen nicht (alle) erfüllt sein, um Mord anzunehmen. Entscheidend ist eine Gesamtwürdigung der äusseren und inneren Umstände der Tat. Eine besondere Skrupellosigkeit kann beispielsweise entfallen, wenn das Tatmotiv einfühlbar und nicht krass egoistisch war, so etwa wenn die Tat durch eine schwere Konfliktsituation ausgelöst wurde. Für Mord typische Fälle sind die Tötung eines Menschen zum Zwecke des Raubes, Tötungen aus religiösem oder politischem Fanatismus oder aus Geringschätzung (BGE 127 IV 10 E. 1a mit Hinweisen).
3.3 Der Beschwerdeführer legt seiner rechtlichen Argumentation in der Hauptbegründung (Beschwerde Ziff. 27-30 S. 15 ff.) lediglich eigene, von der willkürfreien und damit verbindlichen Sachverhaltsfeststellung der Vorinstanz abweichende Tatsachenbehauptungen zugrunde. Darauf ist nicht einzutreten (Art. 105 Abs. 1 und Art. 106 Abs. 2 BGG).
3.3 Der Beschwerdeführer legt seiner rechtlichen Argumentation in der Hauptbegründung (Beschwerde Ziff. 27-30 S. 15 ff.) lediglich eigene, von der willkürfreien und damit verbindlichen Sachverhaltsfeststellung der Vorinstanz abweichende Tatsachenbehauptungen zugrunde. Darauf ist nicht einzutreten (Art. 105 Abs. 1 und Art. 106 Abs. 2 BGG).
3.4 3.4.1 In der Eventualbegründung rügt der Beschwerdeführer, er sei mangels Tatherrschaft nicht Mittäter. Sein Tatbeitrag sei von untergeordneter Bedeutung gewesen. Nicht ersichtlich sei, wie die Schussabgabe durch sein Verhalten in einem Mittäterschaft begründenden Ausmass hätte gefördert sein sollen. Dies gelte insbesondere für den letzten, tödlichen Schuss. Für diesen Exzess hafte er nicht. Er habe darauf vertrauen dürfen, dass A._ die Waffe nur zur Abschreckung einsetzen werde. Er habe diesen allerhöchstens in seinem bereits gefassten Entschluss bestätigt. Selbst wenn sein Verhalten als Mittäterschaft und nicht bloss als Gehilfenschaft zu qualifizieren wäre, könne ihm keine Skrupellosigkeit vorgeworfen werden, da er lediglich versucht habe, A._ zu beschützen.
3.4.2 Die Vorinstanz gibt die bundesgerichtliche Rechtsprechung zur Mittäterschaft korrekt wieder. Gestützt darauf durfte sie ohne Bundesrecht zu verletzen zur Auffassung gelangen, der Beschwerdeführer sei als Mittäter zu bestrafen, da er die bevorstehende Konfrontation mit Waffen austragen wollte und damit rechnete, dass der Einsatz der Pistole zum Tod einer oder mehrerer Personen führen konnte. Sein Tatbeitrag, der darin bestand, A._ Rückendeckung zu geben (Urteil S. 70), ist keineswegs von bloss untergeordneter Bedeutung. Die Vorinstanz weist zu Recht darauf hin, dass tatbestandsmässige Ausführungshandlungen keine notwendige Voraussetzung für die Annahme von Mittäterschaft sind. Mittäter kann auch sein, wer an der eigentlichen Tatausführung nicht beteiligt war oder diese nicht zu beeinflussen vermochte (BGE 135 IV 152 E. 2.3.1; 130 IV 58 E. 9.2.1; 125 IV 134 E. 3a). Das Verhalten des Beschwerdeführers, der sich der Vergeltungsaktion von A._ ohne ein nachfühlbares Motiv anschloss, war zudem skrupellos im Sinne von Art. 112 StGB, da Ausdruck einer in höchstem Masse niedrigen Gesinnung und krasser Geringschätzung menschlichen Lebens. Auf die zutreffenden Ausführungen im angefochtenen Entscheid kann verwiesen werden (Urteil S. 69 ff.). Soweit der Beschwerdeführer in seinen rechtlichen Erwägungen von der verbindlichen Sachverhaltsfeststellung der Vorinstanz abweicht und geltend macht, er habe darauf vertraut, dass A._ die Waffe nur zur Abschreckung einsetzen werde, bzw. er habe diesen lediglich beschützen wollen, ist auf die Beschwerde nicht einzutreten (Art. 105 Abs. 1 und Art. 106 Abs. 2 BGG).
4. Die Anträge betreffend das Strafmass und die Zivilforderungen begründet der Beschwerdeführer nicht bzw. ausschliesslich mit dem beantragten Freispruch vom Vorwurf des Mordes und des mehrfachen versuchten Mordes (Beschwerde S. 19). Da die Beschwerde im Schuldpunkt abzuweisen ist, ist darauf nicht weiter einzugehen.
5. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung ist infolge Aussichtslosigkeit der Beschwerde abzuweisen (Art. 64 Abs. 1 und 2 BGG). Der finanziellen Lage des Beschwerdeführers ist bei der Festsetzung der Gerichtskosten Rechnung zu tragen (Art. 65 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 1'600.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Appellationsgericht des Kantons Basel-Stadt schriftlich mitgeteilt.
Lausanne, 3. April 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Die Gerichtsschreiberin: Unseld