Faits :
A.
X._, né en 1977, est titulaire depuis le 14 juillet 2005 d'un diplôme d'enseignement de maître généraliste aux degrés préscolaire et primaire, mention "cycles primaires et cycle de transition". En septembre 2011, X._ a été engagé par la Direction générale de l'enseignement obligatoire du canton de Vaud (ci-après : la Direction de l'enseignement) par contrat de travail de durée déterminée prenant fin le 31 juillet 2012, en qualité de maître généraliste, titulaire remplaçant, pour enseigner dans un établissement primaire.
Par décision du 28 novembre 2011, la Cheffe de la Direction de l'enseignement a résilié avec effet immédiat pour justes motifs le contrat de travail X._. Le 23 novembre 2011, X._ avait participé à un voyage de formation continue avec possibilité de prise en charge d'une partie des frais organisé dans les bâtiments de l'ancien camp de concentration d'Auschwitz-Birkenau par la Coordination intercommunautaire contre l'antisémitisme et la diffamation (CICAD) pour les enseignants romands. Environ 130 enseignants et une soixantaine d'élèves romands avaient pris part à cette visite. A cette occasion, X._ s'était notamment fait photographier devant l'entrée du camp de concentration, tenant un paquet de riz "Nasi Goreng" à la main. La photographie était apparue sur le réseau social "Facebook", puis en avait été retirée le 24 novembre 2011. Elle a aussi été publiée dans la presse.
Le 29 mars 2012, X._ a contesté la décision du 28 novembre 2011 de la Cheffe de la Direction de l'enseignement devant le Tribunal des prud'hommes de l'Administration cantonale. En été 2015, la procédure devant le Tribunal des prud'hommes de l'Administration cantonale a pris fin par transaction.
B.
Le 21 juin 2012, X._ a déposé au Service de l'enseignement spécialisé une demande d'autorisation d'enseigner. Il a notamment joint à sa demande un formulaire ad hoc validé le 3 mai 2012 par l'Institution spécialisée A._, à B._. Le Service de l'enseignement spécialisé a toutefois constaté, qu'au 7 mai 2012, l'intéressé ne travaillait déjà plus au sein de cette institution.
Par décision du 18 juillet 2012, la Cheffe du Département de la formation, de la jeunesse et de la culture (ci-après : Département de la formation) a rejeté la demande d'autorisation d'enseigner déposée par X._.
Le 2 août 2012, X._ a recouru contre cette décision auprès du Tribunal cantonal du canton de Vaud.
Le 7 janvier 2014, sur demande du Tribunal cantonal, X._ a notamment mentionné avoir travaillé d'avril à juillet 2012 pour la Fondation de C._. Dans ses déterminations du 23 janvier 2014, le Département de la formation a rappelé que l'intéressé n'avait pas démontré disposer d'un contrat de travail durable auprès de la Fondation de C._. Selon le courrier du même Département de la formation du 5 novembre 2015, l'Ecole internationale D._ à Neuchâtel avait rompu le contrat de travail de l'intéressé en raison de son comportement à Auschwitz et non en raison de la décision du 18 juillet 2012.
C.
Par arrêt du 16 février 2016, le Tribunal cantonal a rejeté le recours que X._ avait déposé contre la décision du 18 juillet 2012 du Département de la formation, de la jeunesse et de la culture du canton de Vaud.
D.
Agissant par la voie du recours en matière de droit public et celle subsidiaire de droit constitutionnel, X._ demande au Tribunal fédéral, sous suite de frais et dépens, de réformer la décision du 18 juillet 2012 en ce sens que l'autorisation d'enseigner en milieu spécialisé lui est accordée. Il se plaint en substance de l'établissement des faits, de la violation du droit cantonal, de la violation de sa liberté économique, de son droit à l'égalité et de sa liberté d'expression.
Le 14 mars 2016, la requête assistance judiciaire déposée par le recourant a été rejetée.
Le 3 juin 2016, X._ a été invité à répliquer après avoir reçu les observations du Tribunal cantonal du canton de Vaud.

Considérant en droit :
1.
1.1. L'arrêt attaqué est une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) ne tombant pas sous le coup des exceptions de l'<ref-law>. En outre, le recours a été déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>) par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'<ref-law>. Il s'ensuit que le recours constitutionnel subsidiaire est irrecevable (cf. art. 113 a contrario LTF).
1.2. En vertu de l'effet dévolutif du recours devant l'instance précédente, la conclusion tendant à l'annulation de la décision de première instance est irrecevable.
1.3. L'objet de la contestation porté devant le Tribunal fédéral est déterminé par l'arrêt attaqué (<ref-ruling> consid. 4.2 p. 462 s. cf. arrêt 2C_655/2015 du 22 juin 2016 consid. 4.4.2 destiné à la publication au Recueil officiel). En l'espèce, le seul objet de l'arrêt attaqué est le refus, confirmé par l'instance précédente, de délivrer au recourant une autorisation de pratiquer la profession d'enseignant spécialisé. N'est plus en cause la résiliation immédiate des rapports de travail du 28 novembre 2011 en raison des faits survenus le 23 novembre 2011 et pour lesquels la collègue du recourant a été sanctionnée d'un avertissement. En effet, la procédure à cet égard a pris fin par transaction des parties en été 2015 devant le Tribunal des prud'hommes de l'Administration cantonale. Il s'ensuit que le grief de violation du droit à l'égalité (art. 8 al. 1 Cst. et 14 CEDH) ne peut pas être examiné.
2.
Le présent litige a uniquement pour objet la constitutionnalité et la légalité du refus, confirmé par l'instance précédente, de délivrer au recourant une autorisation de pratiquer la profession d'enseignant spécialisé.
L'instance précédente a constaté que le recourant ne disposait pas de diplômes dans le domaine de l'enseignement spécialisé. Puis, en application du droit cantonal dans le domaine de l'enseignement ordinaire et spécialisé, elle a exposé qu'il existait deux voies pour obtenir ce type de diplôme : - soit acquérir un total de 120 crédits ECTS prévus au plan d'études et correspondant à une durée d'études de 6 semestres en cours d'emploi nécessitant une autorisation de pratiquer, qui n'est délivrée que lorsque le candidat est au bénéfice d'un contrat d'enseignement effectif; - soit accomplir des études en 4 semestres à plein temps et des stages ne nécessitant pas d'autorisation de pratiquer. Elle a jugé que le recourant n'avait pas pu fournir de contrat d'engagement, les institutions privées qui avaient été abordées n'ayant pas maintenu les rapports de travail avec ce dernier, de sorte que le refus de délivrer l'autorisation en cause était conforme au droit cantonal.
Enfin, ajoutant une deuxième motivation au rejet du recours, l'instance précédente a aussi examiné le refus de délivrer l'autorisation de pratiquer sous l'angle des obligations légales qui incomberaient au recourant s'il devait une fois remplir les conditions légales exposées ci-dessus, s'agissant du respect par l'école des convictions religieuses, morales et politiques des enfants et de leurs parents et des efforts que doivent fournir les membres du corps enseignant pour atteindre les buts assignés à l'école, notamment par la qualité de leur enseignement, par leur autorité et par leur comportement.
3.
Le recourant se plaint de la fausse interprétation du droit et de la violation de sa liberté économique.
3.1. Sauf dans les cas cités expressément par l'<ref-law>, le recours en matière de droit public ne peut pas être formé pour violation du droit cantonal en tant que tel. En revanche, il est toujours possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à un droit fondamental (<ref-ruling> consid. 1.3 p. 41). Il appartient toutefois à la partie recourante d'invoquer de tels griefs et de les motiver d'une manière suffisante, sous peine d'irrecevabilité pour défaut de motivation suffisante au sens de l'<ref-law> (<ref-ruling> consid. 1.3 p. 41 et les références citées). En l'espèce le recourant n'invoque la violation d'aucun droit fondamental dans les chiffres 10 à 22 de son mémoire de recours. Il n'est par conséquent pas possible d'entrer en matière sur les reproches qui y sont formulés ni d'examiner si le droit cantonal a été interprété ou appliqué de manière arbitraire.
3.2. Le grief de violation de la liberté économique ne répond pas non plus aux exigences de motivation de l'<ref-law>. Il se fonde en outre en partie sur l'affirmation, qui n'a pas pu être examinée faute de griefs suffisamment motivés par le recourant (cf. consid. 3.1 ci-dessus), que le droit cantonal a été mal appliqué par l'instance précédente et ne s'en prend pas à la motivation de l'instance précédente qui expose que le recourant pouvait obtenir son diplôme sans avoir besoin d'une autorisation de pratiquer.
3.3. Comme l'arrêt attaqué comprend une double motivation et que la première motivation suffit à sceller le sort de la cause (cf. sur ce point <ref-ruling> consid. 3.4 p. 734 s.) faute de grief suffisamment motivé, il est inutile d'examiner les autres griefs du recourant, qu'ils concernent l'établissement des faits ou la violation d'autres droits fondamentaux. Même s'ils devaient être admis, cela ne changerait pas le sort du recours.
4.
Les considérants qui précèdent conduisent à l'irrecevabilité du recours. Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Service de l'enseignement spécialisé et de l'appui à la formation, au Département de la formation, de la jeunesse et de la culture du canton de Vaud, ainsi qu'au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 26 août 2016
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Dubey