Faits:
A. Par jugement du 16 décembre 2010, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ pour agression et contravention à la loi fédérale sur les stupéfiants (LStup) à une peine privative de liberté de 8 mois, sous déduction de 7 jours de détention préventive, et à une amende de 500 francs, la peine privative de liberté de substitution en cas de non paiement fautif de l'amende étant de 5 jours, peine complémentaire à celle prononcée le 2 février 2010.
Ce jugement se fonde notamment sur les faits suivants:
- L'un des quatre coaccusés de X._ avait appris que Y._ cultivait des plants de marijuana à son domicile et décidé de les lui dérober. Il avait évoqué notamment avec X._ la possibilité de se rendre chez Y._ à cette fin.
- Le 17 novembre 2008, les cinq coaccusés se sont retrouvés au pied de l'immeuble de Y._. L'un d'eux est monté et a sonné à la porte de ce dernier. Après que Y._ eut essayé de fermer la porte, jugeant le comportement du coaccusé suspect, ce dernier a bloqué ladite porte et une bagarre entre les deux protagonistes s'en est suivie. Deux coaccusés et X._ sont montés pour prêter main forte à celui se trouvant déjà avec Y._. Plusieurs coups de pied et de poing ont été assénés à ce dernier sur toute la zone du corps ainsi qu'au niveau de la tête. X._ l'a pour sa part frappé à plusieurs reprises, dont une fois au niveau de l'arcade sourcilière avec la crosse d'un pistolet à bille.
- Les coups reçus par Y._ lui ont causé des hématomes et des griffures sur le visage, une plaie du cuir chevelu qui a nécessité quatorze points de suture et une fracture de l'auriculaire droit.
B. Par arrêt du 21 mars 2011, la Cour de cassation du canton de Vaud a rejeté le recours de X._.
C. Ce dernier forme un recours en matière pénale au Tribunal fédéral. Il conclut à la réforme de l'arrêt en ce sens qu'il est libéré du chef d'accusation d'agression, subsidiairement que sa peine privative de liberté de huit mois est assortie du sursis. Plus subsidiairement encore, il requiert l'annulation de l'arrêt et le renvoi de la cause à l'autorité cantonale pour nouveau jugement. Il sollicite également l'octroi de l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Le recourant invoque une violation de son droit d'être entendu.
1.1 Le Tribunal fédéral n'examine les moyens fondés sur la violation de droits fondamentaux que s'ils ont été invoqués et motivés de manière précise (<ref-law>). L'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation (<ref-ruling> consid. 2.8 p. 494; <ref-ruling> consid. 3 p. 351).
1.2 Pour toute motivation, le recourant soutient que les autorités cantonales n'ont "pas cherché à établir l'intention du recourant et plus particulièrement s'il avait envisagé que les coups portés à Y._ auraient pu entraîner des lésions corporelles graves ou même la mort" (recours, p. 8). Cette argumentation ne remplit pas les exigences susmentionnées. Le grief est partant irrecevable. Au demeurant, les premiers juges se sont déterminés sur la question de l'intention du recourant de participer à l'agression (jugement du 16 décembre 2010, p. 20-21; arrêt, p. 9).
2. Le recourant s'en prend aux faits retenus par l'arrêt entrepris.
2.1 le Tribunal fédéral statue sur la base de ces faits (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut ainsi les critiquer que s'ils ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (sur la notion d'arbitraire, cf. <ref-ruling> consid. 2.4 p. 5; 58 consid. 4.1.2 p. 62), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Ce grief doit être soulevé conformément aux exigences de motivation accrues posées par l'<ref-law>.
2.2 Le recourant estime que le lésé a, d'une part, riposté aux attaques portées et, d'autre part, fait fuir ses agresseurs. L'autorité précédente a jugé irrecevable le grief concernant le premier fait (arrêt attaqué, p. 10). A défaut pour le recourant de contester cette décision d'irrecevabilité, le moyen reformulé devant le Tribunal fédéral est irrecevable, ne satisfaisant pas à l'exigence de l'épuisement des instances cantonales (cf. <ref-law>; <ref-ruling> consid. 2.1 p. 93). Le grief relatif au fait que la victime aurait mis ses agresseurs en fuite n'a pas été abordé par la cour cantonale et le recourant ne soutient pas qu'il l'aurait soulevé de manière conforme. Il est donc lui aussi irrecevable en vertu de l'<ref-law>.
2.3 Pour le surplus, le recourant invoque plusieurs autres faits ne ressortant pas de l'arrêt entrepris sans exposer en quoi ces éléments ont été omis de manière arbitraire par l'autorité précédente. Il ne peut dès lors en être tenu compte.
3. Le recourant conteste sa condamnation pour agression.
3.1 On comprend qu'il reproche à l'autorité précédente d'avoir confirmé que les conditions posées par la jurisprudence pour admettre un concours idéal entre cette infraction et celle de lésions corporelles simples étaient remplies, alors que seul un concours imparfait aurait dû être retenu, l'infraction de lésions corporelles simples absorbant celle d'agression.
3.2 Aux termes de l'<ref-law>, celui qui aura participé à une agression dirigée contre une ou plusieurs personnes au cours de laquelle l'une d'entre elles ou un tiers aura trouvé la mort ou subi une lésion corporelle sera puni d'une peine privative de liberté de cinq ans au plus ou d'une peine pécuniaire.
Pour que les éléments constitutifs de l'agression, qui est une infraction de mise en danger, soient réunis, il faut qu'une ou plusieurs des personnes agressées soient blessées ou tuées. Il s'agit là d'une condition objective de punissabilité. Cela signifie que l'auteur se rend passible d'une peine du seul fait de sa participation à l'agression. Par conséquent, il suffit de prouver l'intention de l'auteur de participer à l'agression, sans qu'il ne soit nécessaire d'établir qu'il a voulu donner la mort ou provoquer des lésions corporelles (<ref-ruling> consid. 2.1.1 p. 153-154).
La poursuite de cette infraction intervient d'office.
3.3 S'il peut être établi que l'un des agresseurs, intentionnellement ou par négligence, cause des lésions corporelles, l'infraction de lésions visée par les <ref-law> absorbe, en ce qui le concerne, l'agression au sens de l'<ref-law>. En effet, l'infraction de lésions corporelles saisit et réprime déjà la mise en danger effective de la personne blessée lors de l'agression. Dès lors, un concours entre les <ref-law> et 122 ss CP ne peut être envisagé, lorsqu'une seule personne est blessée, que si lors de l'agression, elle n'a subi que des lésions corporelles simples, mais que la mise en danger a dépassé en intensité le résultat intervenu (<ref-ruling> consid. 2.1.2 p. 154 s.).
3.4 La question d'un concours entre deux infractions ne se pose que si toutes les conditions prévues par les dispositions légales réprimant chacune d'elles sont remplies, soit si elles peuvent toutes deux, individuellement, être sanctionnées. L'absorption d'une infraction par une autre, dans le cas d'un concours imparfait, n'est ainsi envisageable que si l'infraction en principe absorbante est effectivement sanctionnée. Lorsque tel ne peut être le cas, par exemple en l'absence de plainte nécessaire, l'intéressé reste condamnable en vertu de l'infraction en principe absorbée (cf. <ref-ruling> consid. 2 p. 41; arrêts 6S.312/2003 du 1er octobre 2003, consid. 1.1; 6S.628/2001 du 20 novembre 2001 consid. 2a). De même, lorsque seule l'une des deux infractions entrant théoriquement en concours idéal peut être sanctionnée, un tel concours ne saurait être admis. Seule l'infraction dont toutes les conditions posées par la disposition légale la sanctionnant sont réunies doit être réprimée, ce sans égard quant à la réalisation des conditions éventuellement exigées en plus pour admettre un concours idéal.
3.5 En l'espèce, l'infraction de lésions corporelles simples ne pouvait pas et n'a pas été retenue, celle-ci n'étant poursuivie que sur plainte (<ref-law>) et le lésé ayant retiré la sienne (jugement du 16 décembre 2010, p. 19, 22 et ch. I p. 34). Dans ces circonstances déjà, on ne saurait admettre l'existence d'un concours imparfait, comme le plaide le recourant. De même, la question d'un concours idéal ne se pose pas concrètement vu le retrait de plainte. Cela étant, on comprend de la motivation cantonale que c'est un concours idéal théorique qui a été envisagé, de manière à appréhender l'agression comme infraction indépendante de celle de lésions corporelles simples, selon les critères exposés à l'<ref-ruling> précité. Cette approche n'est pas critiquable. Au vu des coups de poing et de pied portés à la tête de la victime, la mise en danger a effectivement dépassé en intensité le résultat des lésions corporelles, de sorte que l'agression entrait de toute façon en ligne de compte.
3.6 Il résulte des faits retenus, dont l'arbitraire n'a pas été démontré, que le recourant est monté, avec deux coaccusés, devant la porte du lésé afin de prêter main forte au comparse se bagarrant déjà avec ce dernier. Les quatre coaccusés ont ensuite frappé le lésé, qui a subi de ce fait des lésions corporelles, dont une fracture et quatorze points de suture. Au vu de ces éléments, l'autorité précédente pouvait sans violer l'<ref-law> retenir que l'ensemble des conditions posées par cette disposition étaient remplies et confirmer la condamnation du recourant pour agression.
4. Le recourant se plaint que le sursis lui a été refusé, estimant arbitraire de nier l'existence de circonstances particulièrement favorables au sens de l'<ref-law>.
4.1 Aux termes de l'<ref-law>, le juge suspend en règle générale l'exécution d'une peine privative de liberté de six mois au moins et de deux ans au plus lorsqu'une peine ferme ne paraît pas nécessaire pour détourner l'auteur d'autres crimes ou délits (al. 1). En cas de condamnation dans les cinq ans qui précèdent l'infraction à une peine privative de liberté ferme ou avec sursis de six mois au moins, le sursis n'est toutefois possible qu'en présence de circonstances particulièrement favorables (al. 2).
Dans ce dernier cas, la présomption d'un pronostic favorable, respectivement du défaut d'un pronostic défavorable, ne s'applique plus, la condamnation antérieure constituant un indice faisant craindre que l'auteur puisse commettre d'autres infractions. L'octroi du sursis n'entre donc en considération que si, malgré l'infraction commise, on peut raisonnablement supposer, à l'issue de l'appréciation de l'ensemble des facteurs déterminants, que le condamné s'amendera. Le juge doit examiner si la crainte de récidive fondée sur l'infraction commise peut être compensée par les circonstances particulièrement favorables, soit des circonstances qui empêchent que l'infraction antérieure ne détériore le pronostic. Tel sera notamment le cas si l'infraction à juger n'a aucun rapport avec l'infraction antérieure ou que les conditions de vie du condamné se sont modifiées de manière particulièrement positive (<ref-ruling> consid. 4.2.3 p. 7). Le fait que l'auteur ait omis de réparer le dommage comme on pouvait raisonnablement l'attendre de lui (<ref-law>) est également un indice à prendre en compte dans l'établissement du pronostic (<ref-ruling> consid. 4.2.4 p. 7).
Dans l'hypothèse visée par l'<ref-law>, la possibilité d'un sursis partiel au sens de l'<ref-law> est exclue (arrêt 6B_492/2008 du 19 mai 2009 consid. 3.1.3 non publié in <ref-ruling>).
Le juge doit justifier sa décision de manière suffisante (<ref-law>). Sa motivation doit permettre de vérifier s'il a tenu compte de tous les éléments pertinents et comment ils ont été appréciés (<ref-ruling> consid. 2.1 p. 186 et arrêts cités). Dans l'émission du pronostic visé par l'<ref-law>, le juge dispose d'un large pouvoir d'appréciation. Le Tribunal fédéral n'intervient que s'il l'a excédé ou en a abusé, notamment lorsqu'il a omis de tenir compte de critères pertinents et s'est fondé exclusivement sur les antécédents du condamné (<ref-ruling>40 consid. 4.2 p. 143; <ref-ruling> consid. 2.3 p. 204).
4.2 En l'espèce, la peine privative de liberté de 8 mois infligée au condamné est compatible avec l'octroi du sursis. Toutefois, dans les cinq ans avant la commission de l'infraction litigieuse, le recourant a été condamné, le 31 octobre 2007, à une peine d'emprisonnement de 12 mois. Le sursis n'est dès lors possible qu'en présence de circonstances particulièrement favorables au sens de l'<ref-law>.
On ne peut suivre le recourant lorsqu'il soutient que l'infraction pour laquelle il a été sanctionné n'a aucun rapport avec les infractions commises antérieurement. Il a en effet été condamné les 31 octobre 2007 et 12 juin 2008 notamment pour vol en bande, violation de domicile et contravention à la LStup. Or, dans la présente cause, le recourant s'est rendu chez la victime, avec quatre coaccusés, dans le dessein de lui dérober ses plants de cannabis. Force est ainsi de constater que le recourant s'entête dans le même genre de comportement.
L'absence de nouvelle infraction commise depuis le 17 novembre 2008 ne constitue pas non plus un élément pertinent, dans la mesure où une telle évolution correspond à celle attendue de la part de tout auteur d'un délit (cf. arrêt 6B_889/2010 du 24 mai 2011 consid. 4.2).
L'exécution par le recourant des autres peines fermes auxquelles il a été condamné ne fonde pas plus une circonstance particulièrement favorable permettant seule d'octroyer le sursis dans le cas de figure visé par l'<ref-law>. Si tel était le cas, le sursis devrait en effet être accordé à chaque fois qu'une personne précédemment condamnée à une peine ferme, soit précisément l'une des deux hypothèses visées par l'<ref-law>, exécute sa première peine.
Le recourant a invoqué qu'il était employé à 50% avant d'entrer en exécution de peine, avait la promesse d'être réengagé à 100% à sa sortie de prison, avait ouvert un compte afin de rembourser les victimes de ses agissements, entretenait une relation amoureuse stable depuis onze mois et comptait déménager en Valais au terme de sa peine afin de changer de cadre de vie. L'autorité précédente n'a pas omis les déclarations du recourant à cet égard, mais a constaté que ses dires quant à sa situation actuelle et ses projets n'étaient attestés par aucun élément concret (arrêt entrepris, ch. 5.2 p. 14). Il s'agit là d'une constatation de fait qui lie le Tribunal fédéral. Dans ces circonstances, l'autorité précédente pouvait sans violer le droit fédéral considérer que les déclarations du recourant ne suffisaient pas, même ajoutées à sa prise apparente de conscience de la gravité de ses agissements, pour admettre des circonstances particulièrement favorables. En refusant le sursis au recourant, la cour cantonale a donc fait une correcte application de l'<ref-law>.
5. Le recourant succombe. Ses conclusions étaient vouées à l'échec. L'assistance judiciaire doit lui être refusée (<ref-law>). Le recourant supportera les frais de la procédure, fixés en tenant compte de sa situation financière défavorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1'600 francs, sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour de cassation pénale du canton de Vaud.
Lausanne, le 14 novembre 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod