Faits:
A. Par jugement du 8 juin 2012, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._ contre le jugement du 3 février 2012 du Tribunal criminel de l'arrondissement de Lausanne. Elle l'a reconnu coupable d'agression, de contrainte, de séquestration et enlèvement et d'infraction grave à la loi sur les stupéfiants. Elle a révoqué la libération conditionnelle qui avait été accordée à l'intéressé le 28 mai 2010 par le Tribunal d'application des peines et mesures de Genève portant sur un solde de peine de un an, quatre mois et quatre jours, et elle l'a condamné à une peine privative de liberté d'ensemble de 7 ans, sous déduction de 350 jours de détention avant jugement.
B. Cette condamnation se fonde sur les principaux éléments de faits suivants.
B.a Le 16 février 2011, X._ a remis à A._ 500 grammes de cocaïne en doigts de 10 grammes, à charge pour ce dernier de récupérer la contre-valeur de cette marchandise en espèces auprès d'un client pour lequel il faisait l'intermédiaire. A._ n'ayant pas remis le prix convenu (selon ses dires 26'500 fr.) à X._, ce dernier a organisé une expédition à Lausanne pour récupérer de force son argent ou la drogue avec trois autres comparses, dans la nuit du 18 au 19 février 2011. Deux des acolytes, B._ et C._, ont enfoncé à coup de pieds la porte de l'appartement de D._ où, selon les indications reçues par le cousin de A._, ce dernier devait se trouver. Ce faisant, ils ont blessé au front D._, qui regardait par le judas. B._ et lui ont échangé des coups de poing et X._ a aspergé D._ avec un spray au poivre. Ce dernier n'avait eu qu'un rôle défensif à cette occasion. B._ et C._ l'ont saisi chacun par un bras et l'on tiré jusqu'à l'entrée de l'immeuble, accompagné de X._, lequel est ensuite remonté à l'appartement à la recherche de A._. D._ a réussi à s'enfuir. Selon le rapport médical, ce dernier présentait toute une série de lésions démontrant qu'il avait été frappé à plusieurs reprises au niveau du visage.
B.b Après avoir trouvé A._, un autre des comparses, E._, a donné un coup de poing à celui-ci. Les assaillants ont ensuite obligé A._ à les suivre et à monter dans la voiture de X._. Durant le trajet les menant à Genève, ils ont frappé A._ à de nombreuses reprises pour qu'il explique ce qu'il avait fait de la drogue. Ce dernier a été maintenu contre son gré dans la voiture jusqu'au petit matin, à tour de rôle par les protagonistes, et n'a été libéré que lorsque le groupe est revenu à l'appartement à Lausanne et que les assaillants ont été interpellés par la police.
C. X._ interjette un recours en matière pénale et recours constitutionnel subsidiaire contre le jugement du 8 juin 2012. Il conclut, principalement, à la réforme de celui-ci en ce sens qu'il soit condamné à une peine privative de liberté très sensiblement inférieure à celle prononcée par la Cour d'appel pénale. Subsidiairement, il conclut à l'annulation du jugement et au renvoi de la cause à l'autorité cantonale pour nouveau jugement. Il sollicite en outre le bénéfice de l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.
Considérant en droit:
1. Le recours en matière pénale est ouvert eu égard à la décision entreprise (art. 78 al. 1 LTF). Cela exclut le recours constitutionnel subsidiaire présenté par le recourant dans l'hypothèse de l'irrecevabilité de son recours en matière pénale (art. 113 LTF).
1.1 Les mémoires de recours destinés au Tribunal fédéral, notamment en matière pénale (art. 78 ss de la loi du 17 juin 2005 sur le Tribunal fédéral [LTF; RS 173.110]), doivent être motivés. L'art. 42 al. 2 LTF exige en effet qu'ils exposent succinctement en quoi l'acte attaqué viole le droit (ATF 133 IV 119 consid. 6.3 p. 120).
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Le recourant ne peut ainsi les critiquer que s'ils ont été établis en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (ATF 137 I 58 consid. 4.1.2 p. 62; sur la notion d'arbitraire, cf. ATF 138 III 378 consid. 6.1 p. 379 s.), et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Ce grief doit être soulevé conformément aux exigences de motivation accrues posées par l'art. 106 al. 2 LTF. Les critiques appellatoires sont irrecevables (cf. ATF 137 II 353 consid. 5.1 p. 356).
1.2 Le recourant discute l'établissement de certains faits en soutenant que le différend qui l'opposait à A._ n'était pas lié à un trafic de stupéfiants, mais à la restitution d'argent provenant d'une tentative d'escroquerie. Il se borne toutefois à opposer sa version des faits sans exposer en quoi celle retenue par l'autorité précédente reposerait sur une appréciation arbitraire des preuves. A cet égard, sa critique est irrecevable (art. 106 al. 2 LTF). Si tant est qu'au travers de la contestation du motif lié à l'infraction de séquestration, il entend remettre en cause l'infraction à la LStup, son recours ne satisfait pas aux exigences de motivation (art. 42 al. 2 LTF).
2. Le recourant conteste sa condamnation pour agression. Il invoque l'arbitraire dans l'établissement des faits ainsi que la violation de l'art. 134 CP dont les conditions d'application ne seraient pas réunies.
2.1 L'art. 134 CP réprime celui qui aura participé à une agression dirigée contre une ou plusieurs personnes au cours de laquelle l'une d'entre elles ou un tiers a trouvé la mort ou subi une lésion corporelle.
La disposition réprime une infraction de mise en danger abstraite de la vie ou de l'intégrité corporelle (ATF 135 IV 152 consid. 2.1 p. 153). L'agression se caractérise comme une attaque unilatérale de deux personnes au moins, dirigée contre une ou plusieurs victimes, qui se contentent de se défendre. L'auteur doit participer à l'agression, sans qu'il soit forcément nécessaire qu'il commette des actes d'exécution. L'agression doit entraîner, pour la personne agressée ou un tiers, la mort ou une lésion corporelle. Celles-ci doivent résulter de l'agression ou des événements qui l'ont suivie immédiatement (cf. ATF 106 IV 246 consid. 3f p. 253). De même que dans le cas de la rixe (art. 133 CP), l'infraction est exclue si le rapport de causalité n'est pas suffisamment étroit (BERNARD CORBOZ, Les infractions en droit suisse, 3ème éd. 2010, n° 12 ad art. 133 CP et n° 11 ad art. 134 CP). Si l'auteur doit participer intentionnellement à l'agression, il n'est toutefois pas nécessaire qu'il veuille ou accepte qu'une personne soit tuée ou blessée (ATF 135 IV 152 consid. 2.1 p. 153; 118 IV 227 consid. 5b p. 229; arrêt 6B_658/2008 du 6 février 2009 consid. 3).
2.2 Le recourant soutient que la victime n'a pas été blessée des suites de "l'intervention", mais bien de l'ouverture "inopinée" de la porte palière qui l'a heurtée au visage alors qu'elle regardait par le judas. Elle avait ainsi été blessée par accident et non à la suite de coups portés volontairement.
Par son grief, le recourant remet en question la causalité naturelle des blessures subies par la victime. La constatation du rapport de causalité naturelle relève du fait (ATF 138 IV 57 consid. 4.1.3 p. 61; 138 IV 1 consid. 4.2.3.3 p. 9).
L'autorité précédente a retenu que B._ et le recourant s'en étaient pris simultanément à la victime, l'un avec ses poings, l'autre avec un spray. La porte avait été défoncée à coups de pieds, alors que les assaillants, dont le recourant, savaient ou se doutaient qu'il y avait quelqu'un derrière. Elle a considéré que l'on pouvait déduire des multiples lésions au visage de la victime qu'elle avait été frappée à plusieurs reprises. Au vu de ces constatations, l'autorité précédente a exclu tout caractère fortuit ou accidentel des blessures. En se bornant à affirmer que les lésions relevées sur la victime provenaient uniquement de l'ouverture "inopinée" de la porte, sans émettre la moindre critique relative à l'appréciation des preuves qui a conduit l'autorité cantonale à établir que les lésions résultaient de coups portés intentionnellement directement ou indirectement sur la victime, le recourant remet en cause de manière irrecevable l'établissement des faits qui lient la cour de céans (art. 105 al. 1 LTF), faute de toute motivation circonstanciée démontrant leur inexactitude.
2.3 Le recourant fait valoir qu'il n'a jamais frappé D._. Le recours au spray, pour autant qu'il soit avéré, n'avait entraîné aucune lésion corporelle. Il conteste ainsi toute participation à l'agression qui serait le fait du seul B._.
Pour retenir la participation à l'agression, il n'est pas nécessaire d'imputer à l'un ou l'autre participant les lésions corporelles qui constituent uniquement une condition objective de punissabilité. Il suffit que la victime ait subi des lésions du fait de l'agression (consid. 2.1). Tel est le cas en l'espèce, dès lors qu'il a été établi que D._ a été blessé à la suite de l'assaut perpétré par le recourant et ses comparses. Déterminer lequel des assaillants est à l'origine des lésions est sans pertinence sur la participation du recourant à l'infraction. Il en va de même de la question de savoir si l'usage du spray a provoqué une blessure, étant précisé que le recourant ne discute pas les constatations cantonales (art. 105 al. 1 LTF) selon lesquelles il a aspergé la victime avec le spray pendant que B._ lui assénait des coups. Sa participation à l'assaut de D._, aux côtés de B._, est ainsi établie en sorte que son grief relatif au nombre de participants est vain. Les conditions objectives de punissabilité sont remplies, étant précisé que le recourant ne discute pas le rôle défensif de la victime lors de l'attaque.
Au plan subjectif, il est établi, outre le fait que c'est le recourant qui a initié les événements en se faisant accompagner de trois acolytes pour investir l'appartement de D._ à la recherche de A._, qu'il était présent lors de toute l'opération et qu'il y a pris une part active en aspergeant de spray la victime pendant que son comparse la frappait. Ces éléments suffisent pour considérer que le recourant a intentionnellement participé à l'agression en qualité de coauteur (sur cette notion, voir ATF 125 IV 134 consid. 3a p. 136).
La cour cantonale n'a pas violé le droit fédéral en reconnaissant le recourant coupable d'agression.
3. Le recourant conteste sa condamnation pour enlèvement et séquestration.
3.1 Selon l'article 183 ch. 1 CP, celui qui, sans droit, aura arrêté une personne, l'aura retenue prisonnière, ou l'aura, de toute autre manière, privée de sa liberté (al. 1), celui qui, en usant de violence, de ruse ou de menace, aura enlevé une personne (al. 2), sera puni d'une peine privative de liberté de cinq ans au plus ou d'une peine pécuniaire.
Alors que la séquestration consiste à retenir une personne en l'obligeant, par un moyen de contrainte, à rester où elle se trouve, l'enlèvement vise à emmener, contre sa volonté, une personne dans un autre lieu où elle se trouve sous la maîtrise de son ravisseur (ATF 119 IV 216 consid. 2e p. 220 s.). La clause générale de la privation de liberté comprend le fait d'empêcher une personne de descendre d'une voiture (ATF 99 IV 220 consid. 2 p. 220 s.). La séquestration et l'enlèvement apparaissent comme de simples variantes d'un même comportement punissable. Quand l'auteur enlève sa victime, puis la retient, il ne saurait y avoir de concours entre les deux agissements. L'auteur sera puni d'une seule infraction à l'art. 183 ch. 1 CP (CORBOZ, op. cit. n° 109 ad art. 183 et 184 CP).
3.2 L'autorité cantonale a considéré comme crédibles les déclarations initiales et concordantes des divers protagonistes qui ont admis que A._ avait été enlevé de force et maintenu contre son gré dans la voiture du recourant pendant plus de quatre heures. Le recourant se borne à soutenir que l'infraction n'est pas réalisée au motif que A._ était libre de ses mouvements et qu'il était monté volontairement dans le véhicule. Il se réfère à une déclaration de l'intéressé qui était revenu sur sa dénonciation lors de l'audience de jugement. En procédant par affirmation, sans étayer en quoi l'appréciation des preuves serait arbitraire, le recourant oppose, de manière appellatoire, partant irrecevable (art. 106 al. 2 LTF), sa propre perception des faits à celle de la cour cantonale. En particulier, il omet de citer la déclaration ultérieure de A._, faite lors des débats d'appel, dans laquelle il confirme le déroulement des faits et explique qu'il était revenu sur ses aveux car il avait peur du prévenu.
C'est sans violation du droit fédéral que l'autorité précédente a considéré que les faits retenus étaient constitutifs de séquestration et enlèvement au sens de l'article 183 ch. 1 CP, dès lors que le recourant avait premièrement contraint la victime à rejoindre son véhicule, puis, avec l'aide de ses comparses, à la faire monter à l'intérieur, et l'y avait maintenue ensuite, en la privant de sa liberté.
4. Comme le recourant ne remet en cause la quotité de la peine qu'en relation avec ses conclusions en libération du chef des infractions d'agression et de séquestration, il n'y a pas lieu d'examiner plus avant les éléments de fixation de la peine sous l'angle des art. 47, 49 et 50 CP qu'il ne discute en aucune manière (art. 42 al. 2 LTF).
5. Le recours doit ainsi être rejeté dans la mesure où il est recevable.
Comme ses conclusions étaient dépourvues de chance de succès, l'assistance judiciaire ne peut être accordée (art. 64 al. 1 LTF). Le recourant supporte les frais de la cause, qui seront calculés en prenant en considération sa situation économique qui n'apparaît pas favorable (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La requête d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1'600 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties, à Me Michel Dupuis, avocat, et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 22 novembre 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Vallat