Faits :
A.
X._, ressortissant guinéen né en 1977, est entré en Suisse le 4 mai 1999 et y séjourne illégalement depuis 2002 à tout le moins. Le 22 septembre 2006, l'Office fédéral des migrations (ODM) a prononcé à son égard une interdiction d'entrée en Suisse valable jusqu'au 21 septembre 2011. Le 20 août 2008, X._ s'est annoncé auprès du bureau des étrangers de sa commune de domicile afin de solliciter une autorisation de séjour en vue de préparer son mariage avec sa concubine Y._, ressortissante espagnole au bénéfice d'une autorisation d'établissement, avec laquelle il a cinq enfants, nés en 2006, 2008, 2009, 2011 et 2013.
X._ a fait l'objet des condamnations pénales suivantes:
- peine d'emprisonnement de 10 jours avec sursis prononcée le 5 juillet 2002 par le Ministère public du canton de Genève pour opposition aux actes de l'autorité;
- peine d'emprisonnement de 60 jours avec sursis prononcée le 17 octobre 2002 par les Juges d'instruction de Genève pour lésions corporelles simples et menaces;
- peine d'emprisonnement de 3 mois avec sursis prononcée le 22 novembre 2005 par le Ministère public du canton de Genève pour infraction à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup; RS 812.121) et infraction à l'ancienne loi fédérale sur le séjour et l'établissement des étrangers (LSEE);
- peine privative de liberté de 40 jours prononcée le 4 avril 2007 par le Juge d'instruction de Lausanne pour séjour illégal et contravention à la LStup;
- peine privative de liberté de 30 jours prononcée le 15 mai 2007 par le Juge d'instruction de Lausanne pour infraction à la LSEE;
- peine privative de liberté de 60 jours prononcée le 8 février 2008 par le Juge d'instruction de Lausanne pour séjour illégal;
- peine privative de liberté de 30 jours prononcée le 11 novembre 2008 par le Juge d'instruction de Lausanne pour injure, menaces et séjour illégal;
- peine pécuniaire de 30 jours-amende à 20 fr. et amende de 200 fr. prononcées le 26 août 2010 par le Tribunal de police de Lausanne pour séjour illégal et contravention à la LStup.
En outre, X._ a fait l'objet, d'août 2005 à août 2010, de plus de quarante interventions de la gendarmerie pour différents litiges, vols à l'étalage, violence domestique et mauvais traitement d'enfant, bagarres et voies de fait ou encore tapage nocturne, notamment.
- peine privative de liberté de 28 mois, 60 jours-amende à 20 fr. et amende de 300 fr., sous déduction de 503 jours de détention avant jugement et une part arrêtée à 13 jours à titre d'assignation à domicile, prononcées le 24 janvier 2013 par le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois pour lésions corporelles simples, mise en danger de la vie d'autrui, dommages à la propriété, calomnie, injure, menaces, violation de domicile, discrimination raciale et contravention à la LStup. Le Tribunal correctionnel a ordonné un traitement psychothérapeutique associé à une médication psychotrope au sens de l'<ref-law>.
Par décision du 14 novembre 2008, le Service de la population a refusé de délivrer l'autorisation de séjour en vue de mariage au motif qu'aucune date de mariage n'avait été fixée et que l'avis de clôture de la procédure préparatoire au mariage ne lui avait pas été transmis.
Par arrêt PE.2009.0017 du 27 mars 2009, le Tribunal cantonal du canton de Vaud a partiellement admis le recours interjeté contre cette décision et renvoyé le dossier pour nouvelle décision, retenant en bref que le dossier ne contenait pas les éléments permettant de statuer sous l'angle de l'art. 8 CEDH s'agissant des relations que l'intéressé entretiendrait avec ses enfants. Le 5 mai 2010, l'Office fédéral des migrations a levé l'interdiction d'entrée en Suisse prononcée à l'encontre de X._ et a approuvé la délivrance d'une autorisation de séjour de courte durée valable jusqu'au 30 avril 2011 - délivrée par le Service de la population du canton de Vaud le 5 mai 2010 - afin de permettre au couple de concrétiser son mariage dans l'intervalle.
Par décision du 29 juin 2012, le Service de la population a refusé la prolongation de l'autorisation de séjour, sous quelque forme que ce soit, de X._ et a prononcé son renvoi de Suisse dans un délai d'un mois. En bref, il a retenu que l'intéressé n'était pas en mesure de produire l'avis de clôture de la procédure préparatoire de mariage ni même une date éventuelle de la conclusion de celui-ci et qu'il avait fait l'objet de nombreuses plaintes et condamnations pénales en Suisse, démontrant ainsi son incapacité à s'intégrer et à respecter l'ordre établi.
Par arrêt du 25 octobre 2012, le Tribunal cantonal a rejeté le recours déposé par l'intéressé contre la décision du 29 juin 2012. Ce dernier ne pouvait plus se prévaloir d'une procédure préparatoire de mariage en cours lorsque l'autorité intimée a statué sur la prolongation de son autorisation de séjour, puisque cette procédure, initiée plus de quatre ans auparavant, avait été abandonnée, et non pas seulement suspendue depuis le mois d'avril 2011. Comme l'intéressé ne paraissait pas avoir la garde des enfants ni exercer l'autorité parentale sur eux ni subvenir financièrement à leur entretien et qu'en outre il n'avait pas fait preuve d'un comportement exemplaire en Suisse, il ne pouvait prétendre à une autorisation de séjour fondée sur l'art. 8 CEDH.
Par arrêt 2C_1164/2012 du 2 avril 2013, le Tribunal fédéral a rejeté dans la mesure où il était recevable un recours que l'intéressé avait déposé contre l'arrêt du 25 octobre 2012 du Tribunal cantonal du canton de Vaud.
B.
Le 31 mai 2013, X._ et Y._ se sont mariés.
C.
Par décision du 5 août 2015, le Service de la population a refusé de délivrer à l'intéressé une autorisation de séjour pour regroupement familial et a prononcé son renvoi de Suisse.
Par ordonnance du 6 août 2015, le juge d'application des peines a refusé d'accorder à ce dernier la libération conditionnelle de la mesure thérapeutique institutionnelle prononcée à son endroit par jugement du Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois du 24 janvier 2013 : il y constate que "le positionnement de X._ face aux actes commis, aux troubles dont il souffre et à ses consommations de produits stupéfiants reste ambigu. Il n'a effectivement pas voulu s'exprimer à ce sujet lors de l'élaboration du [plan d'exécution de la mesure] en septembre 2014 et semble encore minimiser les réactions violentes qu'il pouvait avoir par le passé et qui lui ont valu la présente mesure".
D.
Par arrêt du 17 novembre 2015, le Tribunal cantonal du canton de Vaud a rejeté le recours que X._ a interjeté contre la décision du 5 août 2015 du Service de la population du canton de Vaud. Au vu de la gravité des actes commis par l'intéressé et de sa lourde culpabilité retenue par le Tribunal correctionnel dans son jugement du 24 janvier 2013, ainsi que du risque qu'il s'en prenne à nouveau à l'intégrité physique de personnes, même si l'ALCP était applicable à la situation de ce dernier, en relation avec celle de son épouse, qui semblait ne plus bénéficier du statut de travailleuse, l'intéressé ne pourrait s'en prévaloir pour obtenir une autorisation de séjour auprès de son épouse et de leurs enfants, tous ressortissants espagnols. Sous l'angle des art. 62 let. b et 96 al. 1 LEtr ainsi que sous l'angle de l'art. 8 par. 2 CEDH, malgré la présence en Suisse de son épouse et de leurs cinq enfants, l'intéressé devait se voir opposer sa condamnation à une peine privative de liberté de longue durée ainsi que sa propre situation financière, en lien avec celle de sa famille, son épouse étant à charge de l'assistance publique depuis depuis le 1er novembre 2006. L'intérêt public à l'éloigner de Suisse l'emportait largement sur son intérêt privé à y demeurer auprès de son épouse et de ses cinq enfants, même s'il entretenait avec ces derniers des liens effectifs et étroits.
E.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal cantonal du 17 novembre 2015 et de lui octroyer une autorisation de séjour. Il se plaint de la violation du droit fédéral. Il demande l'assistance judiciaire.
Le Tribunal cantonal et le service de la population du canton de Vaud ont produit les dossiers de la cause. Il n'a pas été ordonné d'échange des écritures.

Considérant en droit :
1.
Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions relatives à une autorisation de droit des étrangers à laquelle ni le droit fédéral, ni le droit international ne donnent droit. D'après la jurisprudence, il suffit qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas et que, partant, la voie du recours en matière de droit public soit ouverte (<ref-ruling> consid. 1.1 p. 179).
En l'espèce, le recourant se prévaut de l'art. 43 al. 1 et 2 LEtr et de l'art. 8 CEDH. Lorsque les conditions en sont réunies, ces dispositions confère un droit à la délivrance (respectivement au renouvellement) d'une autorisation de séjour respectivement d'établissement. Il s'ensuit que le recours échappe à l'exception prévue à l'art. 83 let. c ch. 2 LTF.
2.
En vertu de l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente. La pièce relative aux activités sportives du recourant est nouvelle et par conséquent irrecevable.
3.
L'instance précédente a jugé que le recourant ne pouvait pas se prévaloir de l'<ref-law>, en relation avec l'art. 7 let. d ALCP, selon lesquelles les membres de la famille d'une personne ressortissant d'une partie contractante ayant un droit de séjour ont le droit de s'installer avec elle, parce que son épouse de nationalité espagnole ne bénéficiait d'aucun droit de séjour découlant de l'ALCP (arrêt attaqué, consid. 2). En effet, elle n'avait jamais acquis le statut de travailleur au sens de l'<ref-law> et ne pouvait se prévaloir du statut de personne n'exerçant pas d'activité économique au sens de l'<ref-law> puisqu'elle touchait l'assistance publique depuis 2006.
Le recourant ne conteste ni les faits ni le raisonnement qui ont conduit l'instance précédente à lui refuser à bon droit le bénéfice des droits dérivés de ceux de son épouse découlant de l'ALCP. Il n'est par conséquent pas nécessaire d'examiner, à titre superfétatoire, comme l'a fait l'instance précédente, s'il constitue une menace réelle d'une certaine gravité pour l'ordre public et devrait, en tout état de cause, se voir opposer l'<ref-law>. C'est par conséquent uniquement à la lumière de la loi sur les étrangers et de la CEDH qu'il convient d'examiner la situation du recourant.
4.
Aux termes de l'art. 43 al. 1 LEtr, le conjoint étranger du titulaire d'une autorisation d'établissement ainsi que ses enfants célibataires étrangers de moins de 18 ans ont droit à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité, à condition de vivre en ménage commun avec lui. Après un séjour légal ininterrompu de cinq ans, le conjoint a droit à l'octroi d'une autorisation d'établissement (art. 43 al. 2 LEtr).
D'après l'art. 51 al. 2 let. b LEtr, les droits prévus à l'art. 43 LEtr s'éteignent s'il existe des motifs de révocation au sens de l'art. 62 LEtr. Selon l'art. 62 let. b et c LEtr, l'autorité compétente peut révoquer une autorisation, à l'exception de l'autorisation d'établissement, ou une autre décision fondée sur la présente loi, lorsque l'étranger a été condamné à une peine privative de liberté de longue durée ou a fait l'objet d'une mesure pénale prévue aux art. 64 ou 61 du code pénal, ou lorsqu'il attente de manière grave ou répétée à la sécurité et l'ordre publics en Suisse ou à l'étranger, les met en danger ou représente une menace pour la sécurité intérieure ou extérieure de la Suisse. Selon la jurisprudence, une peine privative de liberté est considérée comme de longue durée lorsqu'elle dépasse un an d'emprisonnement (<ref-ruling> consid. 4.2 p. 379 ss), indépendamment du fait qu'elle ait été prononcée avec un sursis complet ou partiel, respectivement sans sursis (arrêts 2C_651/2009 du 01.03.2010, consid. 4.1.2; 2C_515/2009 du 27 janvier 2010, consid. 2.1).
Ces conditions sont manifestement remplies en l'espèce au regard des condamnations à 300 fr. d'amende et à 28 mois d'emprisonnement prononcées contre le recourant, ce que le recourant conteste en vain.
5.
5.1. Selon la jurisprudence, le refus de l'autorisation, respectivement sa révocation, ne se justifie que si la pesée des intérêts à effectuer dans le cas d'espèce fait apparaître la mesure comme proportionnée aux circonstances (<ref-ruling> consid. 4.3 p. 381). Il convient donc de prendre en considération, dans la pesée des intérêts publics et privés en présence, la gravité de la faute commise par l'étranger, son degré d'intégration respectivement la durée de son séjour en Suisse et le préjudice que l'intéressé et sa famille auraient à subir en raison de la mesure (cf. art. 96 al. 1 LEtr; <ref-ruling> consid. 4.3 p. 381; arrêts 2C_651/2009 du 01.03.2010, consid. 4.2; 2C_418/2009 du 30 novembre 2009, consid. 4.1). Quand le refus d'octroyer une autorisation de séjour se fonde sur la commission d'une infraction, la peine infligée par le juge pénal est le premier critère servant à évaluer la gravité de la faute et à procéder à la pesée des intérêts en présence (arrêts 2C_418/2009 du 30 novembre 2009, consid. 4.1; 2C_464/2009 du 21 octobre 2009, consid. 5).
5.2. L'instance précédente a exposé de manière convaincante les motifs pour lesquels l'intérêt public au renvoi du recourant l'emportait sur son intérêt privé à demeurer en Suisse auprès de sa famille. Elle a mis à juste titre l'accent sur la gravité des infractions et des sanctions pénales qui entachent le parcours du recourant en Suisse ainsi que sur les conditions économiques précaires de ce dernier et, en dernier ressort, sur celles de son épouse. Tous deux dépendent de l'assistance publique. Enfin, le mariage du recourant a eu lieu à un moment où les procédures de refus de prolonger le permis de séjour de ce dernier était déjà en cours de sorte que l'épouse a pris le risque d'être séparée du père de ses enfants ou de le suivre en Guinée. Pour sa part, le recourant réitère les arguments qu'il a déjà exposés en instance précédente sans rien ajouter qui conduise à renverser la pesée des intérêts effectuée par l'instance précédente.
6.
Les considérants qui précèdent conduisent au rejet du recours. Le recours étant d'emblée dénué de chance de succès, la requête d'assistance judiciaire est rejetée (<ref-law>). Succombant, le recourant doit supporter les frais de la procédure fédérale (<ref-law>). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué à la mandataire du recourant, au Service de la population du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 23 août 2016
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Dubey