Faits : A. X._, ressortissant guinéen né en 1977, est entré en Suisse le 4 mai 1999 et y séjourne illégalement depuis 2002 à tout le moins. Le 22 septembre 2006, l'Office fédéral des migrations (ODM) a prononcé à son égard une interdiction d'entrée en Suisse valable jusqu'au 21 septembre 2011. Le 20 août 2008, X._ s'est annoncé auprès du bureau des étrangers de sa commune de domicile afin de solliciter une autorisation de séjour en vue de préparer son mariage avec sa concubine Y._, ressortissante espagnole au bénéfice d'une autorisation d'établissement, avec laquelle il a cinq enfants, nés en 2006, 2008, 2009, 2011 et 2013. X._ a fait l'objet des condamnations pénales suivantes: - peine d'emprisonnement de 10 jours avec sursis prononcée le 5 juillet 2002 par le Ministère public du canton de Genève pour opposition aux actes de l'autorité; - peine d'emprisonnement de 60 jours avec sursis prononcée le 17 octobre 2002 par les Juges d'instruction de Genève pour lésions corporelles simples et menaces; - peine d'emprisonnement de 3 mois avec sursis prononcée le 22 novembre 2005 par le Ministère public du canton de Genève pour infraction à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup; RS 812.121) et infraction à l'ancienne loi fédérale sur le séjour et l'établissement des étrangers (LSEE); - peine privative de liberté de 40 jours prononcée le 4 avril 2007 par le Juge d'instruction de Lausanne pour séjour illégal et contravention à la LStup; - peine privative de liberté de 30 jours prononcée le 15 mai 2007 par le Juge d'instruction de Lausanne pour infraction à la LSEE; - peine privative de liberté de 60 jours prononcée le 8 février 2008 par le Juge d'instruction de Lausanne pour séjour illégal; - peine privative de liberté de 30 jours prononcée le 11 novembre 2008 par le Juge d'instruction de Lausanne pour injure, menaces et séjour illégal; - peine pécuniaire de 30 jours-amende à 20 fr. et amende de 200 fr. prononcées le 26 août 2010 par le Tribunal de police de Lausanne pour séjour illégal et contravention à la LStup. En outre, X._ a fait l'objet, d'août 2005 à août 2010, de plus de quarante interventions de la gendarmerie pour différents litiges, vols à l'étalage, violence domestique et mauvais traitement d'enfant, bagarres et voies de fait ou encore tapage nocturne, notamment. - peine privative de liberté de 28 mois, 60 jours-amende à 20 fr. et amende de 300 fr., sous déduction de 503 jours de détention avant jugement et une part arrêtée à 13 jours à titre d'assignation à domicile, prononcées le 24 janvier 2013 par le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois pour lésions corporelles simples, mise en danger de la vie d'autrui, dommages à la propriété, calomnie, injure, menaces, violation de domicile, discrimination raciale et contravention à la LStup. Le Tribunal correctionnel a ordonné un traitement psychothérapeutique associé à une médication psychotrope au sens de l'art. 60 CP. Par décision du 14 novembre 2008, le Service de la population a refusé de délivrer l'autorisation de séjour en vue de mariage au motif qu'aucune date de mariage n'avait été fixée et que l'avis de clôture de la procédure préparatoire au mariage ne lui avait pas été transmis. Par arrêt PE.2009.0017 du 27 mars 2009, le Tribunal cantonal du canton de Vaud a partiellement admis le recours interjeté contre cette décision et renvoyé le dossier pour nouvelle décision, retenant en bref que le dossier ne contenait pas les éléments permettant de statuer sous l'angle de l'art. 8 CEDH s'agissant des relations que l'intéressé entretiendrait avec ses enfants. Le 5 mai 2010, l'Office fédéral des migrations a levé l'interdiction d'entrée en Suisse prononcée à l'encontre de X._ et a approuvé la délivrance d'une autorisation de séjour de courte durée valable jusqu'au 30 avril 2011 - délivrée par le Service de la population du canton de Vaud le 5 mai 2010 - afin de permettre au couple de concrétiser son mariage dans l'intervalle. Par décision du 29 juin 2012, le Service de la population a refusé la prolongation de l'autorisation de séjour, sous quelque forme que ce soit, de X._ et a prononcé son renvoi de Suisse dans un délai d'un mois. En bref, il a retenu que l'intéressé n'était pas en mesure de produire l'avis de clôture de la procédure préparatoire de mariage ni même une date éventuelle de la conclusion de celui-ci et qu'il avait fait l'objet de nombreuses plaintes et condamnations pénales en Suisse, démontrant ainsi son incapacité à s'intégrer et à respecter l'ordre établi. Par arrêt du 25 octobre 2012, le Tribunal cantonal a rejeté le recours déposé par l'intéressé contre la décision du 29 juin 2012. Ce dernier ne pouvait plus se prévaloir d'une procédure préparatoire de mariage en cours lorsque l'autorité intimée a statué sur la prolongation de son autorisation de séjour, puisque cette procédure, initiée plus de quatre ans auparavant, avait été abandonnée, et non pas seulement suspendue depuis le mois d'avril 2011. Comme l'intéressé ne paraissait pas avoir la garde des enfants ni exercer l'autorité parentale sur eux ni subvenir financièrement à leur entretien et qu'en outre il n'avait pas fait preuve d'un comportement exemplaire en Suisse, il ne pouvait prétendre à une autorisation de séjour fondée sur l'art. 8 CEDH. Par arrêt 2C_1164/2012 du 2 avril 2013, le Tribunal fédéral a rejeté dans la mesure où il était recevable un recours que l'intéressé avait déposé contre l'arrêt du 25 octobre 2012 du Tribunal cantonal du canton de Vaud. B. Le 31 mai 2013, X._ et Y._ se sont mariés. C. Par décision du 5 août 2015, le Service de la population a refusé de délivrer à l'intéressé une autorisation de séjour pour regroupement familial et a prononcé son renvoi de Suisse. Par ordonnance du 6 août 2015, le juge d'application des peines a refusé d'accorder à ce dernier la libération conditionnelle de la mesure thérapeutique institutionnelle prononcée à son endroit par jugement du Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois du 24 janvier 2013 : il y constate que "le positionnement de X._ face aux actes commis, aux troubles dont il souffre et à ses consommations de produits stupéfiants reste ambigu. Il n'a effectivement pas voulu s'exprimer à ce sujet lors de l'élaboration du [plan d'exécution de la mesure] en septembre 2014 et semble encore minimiser les réactions violentes qu'il pouvait avoir par le passé et qui lui ont valu la présente mesure". D. Par arrêt du 17 novembre 2015, le Tribunal cantonal du canton de Vaud a rejeté le recours que X._ a interjeté contre la décision du 5 août 2015 du Service de la population du canton de Vaud. Au vu de la gravité des actes commis par l'intéressé et de sa lourde culpabilité retenue par le Tribunal correctionnel dans son jugement du 24 janvier 2013, ainsi que du risque qu'il s'en prenne à nouveau à l'intégrité physique de personnes, même si l'ALCP était applicable à la situation de ce dernier, en relation avec celle de son épouse, qui semblait ne plus bénéficier du statut de travailleuse, l'intéressé ne pourrait s'en prévaloir pour obtenir une autorisation de séjour auprès de son épouse et de leurs enfants, tous ressortissants espagnols. Sous l'angle des art. 62 let. b et 96 al. 1 LEtr ainsi que sous l'angle de l'art. 8 par. 2 CEDH, malgré la présence en Suisse de son épouse et de leurs cinq enfants, l'intéressé devait se voir opposer sa condamnation à une peine privative de liberté de longue durée ainsi que sa propre situation financière, en lien avec celle de sa famille, son épouse étant à charge de l'assistance publique depuis depuis le 1er novembre 2006. L'intérêt public à l'éloigner de Suisse l'emportait largement sur son intérêt privé à y demeurer auprès de son épouse et de ses cinq enfants, même s'il entretenait avec ces derniers des liens effectifs et étroits. E. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal cantonal du 17 novembre 2015 et de lui octroyer une autorisation de séjour. Il se plaint de la violation du droit fédéral. Il demande l'assistance judiciaire. Le Tribunal cantonal et le service de la population du canton de Vaud ont produit les dossiers de la cause. Il n'a pas été ordonné d'échange des écritures.