Faits : Faits : A. Par jugement du 22 décembre 2005, le Tribunal correctionnel de l'arrondissement de La Côte a notamment condamné D._, pour agression, à cinq mois d'emprisonnement avec sursis pendant deux ans, peine complémentaire à celle infligée le 9 décembre 2005 par le Juge d'instruction de Lausanne. Il a également révoqué les sursis qui lui avaient été accordés les 18 septembre et 23 décembre 2003 et ordonné l'exécution de la peine de quinze jours d'emprisonnement et le maintien au casier de l'inscription de l'amende de 500 francs. Cette condamnation repose, en bref, sur les faits suivants. A.a Le 22 février 2004, dans les toilettes d'une discothèque de Gland, une altercation verbale a éclaté entre A._ et B._. Plus tard, sur la piste de danse, le premier a assené un coup de poing au visage du second, qui a répliqué. Les protagonistes ont été séparés par les employés de l'établissement et refoulés. A l'extérieur, devant une assistance acquise à leur cause, A._ et C._ ont roué de coups de pied et de poing B._, pendant que D._ le maintenait. Ce dernier l'a même relevé à une reprise alors qu'il était tombé sous les premiers coups. A.b A un moment donné, B._ a réussi à s'enfuir et à se réfugier dans un bois, poursuivi par A._ et d'autres personnes. Débusqué, il a encore pu courir et se rapprocher de la route, avant de tomber à terre suite à un croche-pied. Il a alors été frappé, sur tout le corps, par A._ et d'autres assaillants, avant d'être abandonné, sans connaissance. D._ n'a pas participé à cette traque. B._ a souffert de nombreuses contusions, d'un traumatisme crânien cérébral et d'une entorse cervicale. Il n'a toutefois à ce jour plus de séquelles. Il a chiffré ses prétentions à 4'500 francs, correspondant à un mois et demi d'incapacité de travail. Il a retiré sa plainte, après que les agresseurs lui aient versé, le jour de l'audience, 3'100 francs qu'ils ont réussi à rassembler durant la pause de midi. B._ a souffert de nombreuses contusions, d'un traumatisme crânien cérébral et d'une entorse cervicale. Il n'a toutefois à ce jour plus de séquelles. Il a chiffré ses prétentions à 4'500 francs, correspondant à un mois et demi d'incapacité de travail. Il a retiré sa plainte, après que les agresseurs lui aient versé, le jour de l'audience, 3'100 francs qu'ils ont réussi à rassembler durant la pause de midi. B. Par arrêt du 12 juin 2006, la Cour de cassation pénale du Tribunal cantonal vaudois a réformé le jugement de première instance, en ce sens qu'elle a condamné D._ à quatorze mois d'emprisonnement, peine complémentaire à celle d'un mois d'emprisonnement avec sursis infligée le 9 décembre 2005 par le Juge d'instruction de Lausanne. B. Par arrêt du 12 juin 2006, la Cour de cassation pénale du Tribunal cantonal vaudois a réformé le jugement de première instance, en ce sens qu'elle a condamné D._ à quatorze mois d'emprisonnement, peine complémentaire à celle d'un mois d'emprisonnement avec sursis infligée le 9 décembre 2005 par le Juge d'instruction de Lausanne. C. D._ dépose un pourvoi pour violation des art. 63 et 41 CP. Il conclut à l'annulation de l'arrêt cantonal et sollicite l'assistance judiciaire.