Faits :
A.
X._, citoyen suisse, était employé de la Confédération suisse en 2014 comme douanier auprès du poste de garde-frontière de Vallorbe. Il est marié et père de trois enfants. Son épouse travaille également comme garde-frontière à Vallorbe, mais pour le compte de la République française. Elle a réalisé en 2014 un revenu annuel net de 23'166 euros pour une activité à 70%. La famille est domiciliée en France.
B.
Pour l'année 2014, X._ s'est vu prélever par son employeur un montant de 17'190 fr. 60 sur un salaire brut de 108'117 fr. (salaire net de 95'324 fr.) au titre de l'impôt à la source. Le barème C0 (double gain sans enfants à charge) lui a été appliqué, ce qui, malgré la contestation du contribuable du 27 janvier 2015, a été confirmé par décision du 18 décembre 2015 de l'Administration cantonale des impôts du canton de Vaud, puis par décision sur réclamation du 4 mars 2016.
Par arrêt du 27 mars 2017, le Tribunal cantonal du canton de Vaud a rejeté le recours jugeant qu'il y avait lieu d'appliquer au revenu brut du contribuable le barème C, dont les taux prennent en compte un revenu fictif de 65'100 fr. imputé à l'épouse aux fins de tenir compte des revenus globaux du couple, et précisant que le barème C3 (pour trois enfants à charge) ne pouvait pas être appliqué, parce que le contribuable ne bénéficiait pas d'allocations familiales complètes versées par une caisse suisse, mais uniquement d'un complément différentiel. A cela s'ajoutait que l'épouse avait déjà bénéficié de la déduction pour enfants dans l'imposition française.
C.
Agissant par la voie du recours en matière de droit public et celle subsidiaire du recours constitutionnel, X._ demande au Tribunal fédéral de réformer l'arrêt rendu le 27 mars 2017 par le Tribunal cantonal du canton de Vaud en ce sens que dès et y compris pour l'année 2014, les enfants sont pris en considération dans la détermination du barème d'imposition à la source qui lui est applicable et que dès et y compris l'année 2014, il est tenu compte du revenu effectif de son épouse afin de déterminer le coefficient et/ou le barème de taxation qui lui sont applicables.
Le Tribunal cantonal renonce à déposer des observations. L'Administration cantonale des impôts et l'Administration fédérale des contributions concluent au rejet du recours.

Considérant en droit :
1.
C'est en application des art. 139 al. 2 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) et 5 du Règlement vaudois du 2 décembre 2002 sur l'imposition à la source (RIS/VD; RSVD 641.11.1) et à juste titre que l'instance précédente a rendu une seule décision portant sur l'impôt à la source fédéral, cantonal et communal et que le recourant n'a déposé qu'un seul recours valant pour tous les domaines. Pour le surplus, le recours est dirigé contre un arrêt rendu par une autorité judiciaire supérieure de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) qui ne tombe pas sous le coup des exceptions prévues à l'<ref-law>. Interjeté en temps utile (<ref-law>) et dans les formes prescrites par la loi (<ref-law>), par un contribuable qui a un intérêt digne de protection à son annulation ou sa modification (<ref-law>), le recours est donc recevable.
I. Conventions internationales
2.
2.1. En vertu de l'art. 21 de la Convention conclue le 9 septembre 1966 entre la Suisse et la France en vue d'éliminer les doubles impositions en matière d'impôts sur le revenu et sur la fortune et de prévenir la fraude et l'évasion fiscales (CDI CH-F; RS 0.672.934.91), les rémunérations, y compris les pensions, versées par un Etat contractant à une personne physique possédant la nationalité de cet Etat, au titre de services rendus actuellement ou antérieurement, ne sont imposables que dans l'Etat contractant d'où proviennent ces rémunérations.
2.2. Il n'est pas contesté que le recourant est rémunéré par la Confédération suisse pour son activité de douanier qu'il exerce en Suisse, qu'il est de nationalité suisse et qu'il est domicilié en France, de sorte qu'en application du droit interne, soit des art. 5 al. 1 let. a et 91 LIFD, 4 al. 2 let. a et 35 de la loi du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID, loi sur l'harmonisation fiscale; RS 642.14) ainsi que 5 al. 1 let. a et 138 de la loi vaudoise sur les impôts directs cantonaux (LI/VD; RSVD 642.11), il est assujetti en Suisse (art. 17 par. 4 et 21 CDI CH-F) à l'impôt à la source fédéral direct, cantonal et communal sur le revenu de son activité.
2.3. Se fondant sur des faits relatifs à la taxation de son épouse par les autorités françaises, le recourant est d'avis que la prise en compte du revenu de son épouse pour calculer le taux applicable à son seul revenu en Suisse constitue un cas de violation du principe de l'interdiction de la double imposition internationale que la Convention de double imposition passée avec la France cherchait précisément à éliminer (mémoire de recours, p. 11).
Le recourant perd de vue que l'art. 21 par. 1 CDI CH-F a pour objet l'attribution du droit d'imposer "la rémunération" versée par un Etat contractant à une personne physique au titre d'assiette de l'imposition. L'art. 21 par. 1 CDI CH-F ne règle pas la détermination du taux applicable à cette rémunération, qui doit, du reste, pour être conforme au principe de l'imposition selon la capacité économique (art. 127 al. 2 Cst.), prendre en compte, d'une manière ou d'une autre, les revenus mondiaux du couple, ce qui sera examiné ci-dessous. En confirmant une retenue d'impôt à la source sur la seule rémunération du recourant, l'instance précédente n'a quoi qu'il en soit pas violé le droit conventionnel en matière de double imposition internationale. A cela s'ajoute que les revenus de l'épouse n'ont été à juste titre imposés que par la France, comme le reconnaît le recourant (mémoire de recours, p. 11).
3.
Le recourant se plaint de la violation du principe de non-discrimination prévu aux <ref-law> et 9 par. 2 Annexe I ALCP, qu'il convient d'examiner en premier lieu puisque cet accord l'emporte sur le droit fédéral et cantonal contraire en raison de l'effet direct de ces deux dispositions (<ref-ruling> consid. 16 p. 255).
3.1. Comme l'a jugé le Tribunal fédéral (<ref-ruling> consid. 13.3 p. 250, confirmé dans l'<ref-ruling> consid. 7.1.1 p. 152; arrêt 2C_735/2017 du 6 février 2018 consid. 5.5) en se référant à la jurisprudence européenne (arrêts de la CJCE du 14 février 1995 C-279/93 Schumacker, points 36 et 37; du 14 septembre 1999 C-391/97 Gschwind, Rec. 1999 I-5451, points 26 et 27), le fait pour un Etat membre de ne pas faire bénéficier un non-résident de certains avantages fiscaux qu'il accorde au résident n'est, en règle générale, pas discriminatoire, compte tenu des différences objectives entre la situation des résidents et celle des non-résidents. Il peut en revanche y avoir discrimination entre résidents et non-résidents si, nonobstant leur résidence dans des Etats membres différents, il est établi que, au regard de l'objet et du contenu des dispositions nationales en cause, les deux catégories de contribuables se trouvent dans une situation comparable. Cela est notamment le cas lorsque, comme dans l'affaire Schumacker précitée ou l'<ref-ruling>, le non-résident tire l'essentiel de ses ressources imposables d'une activité exercée dans l'Etat d'emploi (plus de 90%). Le fait que l'Etat d'emploi traite ces contribuables non-résidents différemment de personnes résidentes également occupées sur son territoire constitue alors une discrimination contraire à la libre circulation des travailleurs et à la liberté d'établissement : la CJCE (et à sa suite le Tribunal fédéral) a jugé qu'il n'existait aucune différence objective de situation entre ces derniers justifiant une différence de traitement en matière d'imposition en ce qui concerne la prise en considération de la situation personnelle et familiale du contribuable (arrêt Schumacker, point 37).
Enfin, il y a lieu de rappeler et de préciser que l'<ref-law> prévoit que les dispositions des accords bilatéraux entre la Suisse et les Etats membres de la Communauté européenne en matière de double imposition ne sont pas affectées par les dispositions de l'ALCP, ce qui confirme qu'une convention de double imposition, telle que la convention franco-suisse (cf. consid. 2 en particulier 2.3 ci-dessus), a bien pour objet d'éviter que le même revenu soit imposé dans chacune des deux parties à cette convention et ne vise pas à garantir que l'imposition à laquelle est assujetti le contribuable dans une partie contractante ne soit pas supérieure à celle à laquelle il serait assujetti dans l'autre partie contractante (<ref-ruling> consid. 14 p. 252; arrêts de la CJUE du 19 novembre 2015 C-241/14 Bukovansky, points 41 et 44; arrêt de la CJCE du 12 mai 1998 C-336/96 Gilly, Rec. 1998 p. I-2793, point 46).
3.2. En l'espèce, le recourant entend se plaindre de la violation du principe de non-discrimination qui résulterait de la manière dont les barèmes d'impôt à la source prennent en compte le revenu de son épouse aux fins de calculer la retenue d'impôt à la source. Il perd de vue que le couple ne réalise que 80% de son revenu mondial en Suisse, ce qui n'en constitue pas l'essentiel au sens de la jurisprudence. A noter que le Message du Conseil fédéral relatif à cette révision de la loi fédérale sur la révision de l'imposition à la source du revenu de l'activité lucrative explique qu'" en ce qui concerne les couples mariés, on considère le total des revenus mondiaux des époux. Le pourcentage des revenus qui doivent être réalisés en Suisse pourrait être fixé à 90% comme le prévoit la jurisprudence de la CJCE" (FF 2015, 625, p. 649; en langue allemande : BBl 2015, 657, p. 681 s.). La loi utilise les termes "une part prépondérante" (nouvel <ref-law>; FF 2016 8659). Il n'y a pas lieu d'examiner la portée de cette notion. En effet, de lege lata, il n'y a pas de raison de modifier la jurisprudence publiée (<ref-ruling>), de sorte que le grief de violation du principe de non-discrimination prévu aux <ref-law> et 9 par. 2 Annexe I ALCP est rejeté, comme l'a jugé à bon droit l'instance précédente.
II. Le système de l'impôt à la source.
4.
4.1. En droit suisse, d'une manière générale, l'impôt à la source est perçu auprès de deux groupes de personnes (R. ZIGERLIG/A. RUFENER, Kommentar zum Schweizerischen Steuerrecht I/1, Bundesgesetz über die Harmonisierung der direkten Steuern der Kantone und Gemeinden, 2e éd., no 3 ad Vorbem. zu Art. 32-39 LHID) : auprès des personnes physiques qui, sans être au bénéfice d'un permis d'établissement, sont, au regard du droit fiscal, domiciliées ou en séjour en Suisse (<ref-law>; 32 LHID; 130 LI/VD) ou auprès des personnes physiques ou morales qui ne sont ni domiciliées ni en séjour en Suisse au regard du droit fiscal (<ref-law>, <ref-law>; art. 138 ss LI/VD). Dans cette dernière hypothèse - seule en cause en l'espèce - il est perçu notamment auprès des travailleurs qui, sans être domiciliés ni en séjour en Suisse au regard du droit fiscal, exercent une activité lucrative dépendante dans le canton pendant de courtes périodes, durant la semaine ou comme frontaliers sur le revenu de leur activité. L'imposition de ces derniers est réglée par les art. 83 à 86 LIFD, 32 et 33 LHID, et 130 à 133, al. 1 et 2 LI/VD.
4.2. L'impôt à la source est calculé sur le revenu brut (<ref-law>, 32 al. 3 LHID et 131 al. 1 LI/VD). Il se substitue à l'impôt fédéral direct, cantonal et communal perçu selon la procédure ordinaire sur le revenu du travail (<ref-law>, 32 al. 1 LHID et 134 LI/VD) et est perçu en une fois par le débiteur de la prestation imposable (art. 88 et 100 LIFD ainsi que 135 et 147 LI/VD), ce qui suppose pour des raisons pratiques l'établissement d'un barème unique, quand bien même la Confédération et les cantons - puisque ces derniers restent compétents pour la fixation des barèmes, celle des taux et celle des montants exonérés d'impôt (art. 1 al. 3 2e phr. LHID) - établissent chacun leurs propres barèmes, les barèmes fédéraux étant ensuite incorporés dans les barèmes cantonaux comme cela ressort des dispositions suivantes : l'<ref-law>, qui lui en délègue la compétence, prévoit que l'Administration fédérale des contributions met sur pied le barème des retenues d'après les taux de l'impôt fédéral direct sur le revenu des personnes physiques (cf. <ref-law>), tandis qu'en application de l'art. 132 LI/VD, qui lui en délègue la compétence, le Conseil d'Etat vaudois fixe le barème des retenues d'après les taux de l'impôt cantonal sur le revenu des personnes physiques (<ref-law>, art. 47 LI/VD).
Selon les art. 86 et 91 LIFD et 133 LI/VD, la structure des barèmes (fédéraux et cantonaux) est ainsi faite qu'ils tiennent compte des frais professionnels (<ref-law>, <ref-law> et art. 30 LI/VD) et des primes et cotisations d'assurances (art. 33 al. 1, let. d, f et g LIFD et art. 37, al. 1, let. d, f et g LI/VD) sous forme de forfait, ainsi que des charges de famille du contribuable (art. 35 et 36 LIFD et art. 42 et 43 LI/VD). A cela s'ajoute que lorsque les époux vivant en ménage commun exercent tous deux une activité lucrative, les retenues d'impôt sont calculées sur la base de leur revenu global (<ref-law>; 33 al. 2 LHID, 133 al. 2 LI/VD).
4.3. Les dispositions légales fédérales et cantonales sont flanquées de dispositions réglementaires d'exécution arrêtées sur délégation (art. 88, al. 4, 90, al. 2, 92, al. 5 LIFD; art. 149 et 197 LI/VD) dans l'ordonnance fédérale du 19 octobre 1993 du DFF sur l'imposition à la source dans la cadre de l'impôt fédéral direct (OIS, ordonnance sur l'imposition à la source; RS 642.118.2) ainsi que dans le règlement vaudois du 2 décembre 2002 sur l'imposition à la source (RIS/VD; RSVD 641.11.1).
4.3.1. Il ressort de l'<ref-law> (dans sa version en vigueur depuis le 1er janvier 2014; RO 2013 783) que les barèmes pour les travailleurs sont désignés par des lettres de l'alphabet, soit A à P, le barème A étant appliqué aux personnes célibataires, divorcées, séparées judiciairement ou de fait ou veuves, qui ne vivent pas en ménage commun avec des enfants ou des personnes nécessiteuses (let. a), le barème B aux couples mariés vivant en ménage commun, dont seul un conjoint exerce une activité lucrative (let. b) et le barème C («double gain») aux couples mariés vivant en ménage commun, dont les deux conjoints exercent une activité lucrative (let. c).
4.3.2. Avant la modification de 2013 de l'ordonnance sur l'imposition à la source, l'art. 1 al. 1 let. c OIS prévoyait que le barème C («double gain») était appliqué aux couples mariés vivant en ménage commun, dont les deux conjoints exerçaient une activité lucrative en Suisse, de sorte que le revenu brut du conjoint exerçant son activité lucrative en Suisse était soumis au barème B quand bien même son conjoint exerçait aussi une activité lucrative, mais à l'étranger. Les termes "en Suisse" ont été supprimés dans la nouvelle version de l'art. 1 al. 1 let. c OIS en vigueur depuis le 1er janvier 2014, de sorte que le revenu brut du conjoint exerçant son activité lucrative en Suisse est soumis au barème C quand bien même son conjoint exerce aussi une activité lucrative à l'étranger.
4.4. Conformément à l'art. 5 RIS/VD, le Conseil d'Etat du canton de Vaud a établi, sur le même modèle, les barèmes incorporant les impôts fédéral direct, cantonal et communal. C'est ainsi qu'il a établi une catégorie de Tarifs C («double gain») qui comprend les Tarifs appliqués aux couples dont les membres exercent tous les deux une activité lucrative en fonction du nombre d'enfants mineurs à leur charge, sans enfants (C0), avec un enfant (C1), deux enfants (C2), etc.
4.5. Comme le débiteur de la prestation imposable, responsable du prélèvement de l'impôt à la source, ignore le revenu du conjoint salarié de son employé, le Tarif C a été conçu de manière à intégrer de manière schématique un montant correspondant au revenu de celui-là : "l'Administration fédérale des contributions (AFC), d'entente avec le groupe de travail Impôt à la source de la Conférence suisse des impôts (CSI) et sur la base de l'enquête sur le budget des ménages réalisée par l'Office fédéral de la statistique (OFS), a fixé à 5'425 fr.S par mois la limite supérieure du revenu des époux déterminant le taux de l'impôt fédéral direct. Ce montant se fonde sur le salaire médian de 5'411 francs déterminé d'après l'enquête sur le budget des ménages pour les années 2006 à 2010. Pour les revenus inférieurs à cette limite, un rapport entre les revenus de 1 : 1 est pris en compte pour déterminer le taux (annexe 2). En raison de l'autonomie tarifaire des cantons garantie par la Constitution, ceux-ci peuvent fixer librement le revenu des époux déterminant le taux de l'impôt retenu en application du barème C" (Lettre circulaire de l'AFC du 11 septembre 2013 relative à l'impôt à la source, p. 1).
4.5.1. Le tableau de l'annexe 2 de la lettre circulaire du 11 septembre 2013 peut être résumé de la manière suivante :
Rev. mensuel brut réalisé en CHF Rev. mensuel but additionnel Rev. mensuel total brut pour le taux en CHF 4725 4725 9540 5425 5425 10850 5575 5425 11000
4.5.2. Enfin, le recourant y faisant référence, il convient de mentionner l'art. 3 al. 1 let. a et al. 2 du règlement genevois du 12 décembre 1994 d'application de la loi sur l'imposition à la source des personnes physiques et morales (RISP/GE; RSGE D 3 20.01). Depuis le 1er janvier 2014, dans le canton de Genève, en vertu de cette disposition, lorsque les époux vivant en ménage commun exercent tous deux une activité lucrative et sont, de ce fait, soumis à la retenue calculée selon le barème C, l'imposition du couple ou, le cas échéant, de l'époux seul assujetti à l'impôt dans le canton, est rectifiée en tenant compte du cumul des revenus effectifs d'activité des conjoints au moyen des barèmes particuliers réservés à cet effet, soit les "barèmes C de rectification (Cr) ". Cette procédure de rectification ne doit toutefois pas être confondue avec les déductions supplémentaires qui peuvent être obtenues sur réclamation du contribuable (versements à une institution de prévoyance professionnelle, pensions alimentaires, frais de garde, frais de formation et de perfectionnement, cf. art. 4 RISP/GE).
III. Pouvoir d'examen du Tribunal fédéral
5.
Invoquant divers droits constitutionnels, le recourant se plaint de ce que son revenu a été augmenté d'un revenu annuel théorique de 65'100 fr., imputé à son épouse, afin de déterminer le taux pour couple de retenue à la source applicable à son propre revenu pour 2014. Il se plaint également de ce qu'il n'a pas été mis au bénéfice du barème C3 correspondant au nombre d'enfants à sa charge.
5.1. En vertu de l'<ref-law>, le Tribunal fédéral applique le droit d'office. Toutefois, conformément à l'<ref-law>, le Tribunal fédéral n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (arrêts 2C_1133/2015 du 11 novembre 2016 consid. 2.1 et 2C_941/2015 du 9 août 2016 consid. 2.1).
5.2. En présence d'une ordonnance fédérale dépendante prise en vertu d'une réglementation législative, le Tribunal fédéral examine si le Conseil fédéral est resté dans les limites des pouvoirs qui lui ont été conférés par la loi. Dans la mesure où la délégation législative n'autorise pas le Conseil fédéral à déroger à la Constitution fédérale, le Tribunal fédéral est également habilité à revoir la constitutionnalité des règles contenues dans l'ordonnance en cause. Lorsque la délégation législative accorde au Conseil fédéral un très large pouvoir d'appréciation pour fixer les dispositions d'exécution, cette clause lie le Tribunal fédéral. Dans un tel cas, le Tribunal fédéral ne saurait substituer sa propre appréciation à celle du Conseil fédéral et doit se borner à examiner si l'ordonnance en question sort manifestement du cadre de la délégation législative octroyée au Conseil fédéral ou si, pour d'autres raisons, elle apparaît contraire à la loi ou à la Constitution fédérale (<ref-ruling> consid. 2.2.1 p. 32 et les arrêts cités). La légalité d'un règlement, en l'espèce le tarif, édicté sur la base d'une sousdélégation, ici au Département fédéral des finances, doit être appréciée selon les même principes que ceux qui s'appliquent à une ordonnance du Conseil fédéral reposant sur une délégation de la loi (<ref-ruling> consid. 2c p. 367 ss).
5.3. En présence de droit cantonal harmonisé, lorsque la loi sur l'harmonisation fiscale laisse une certaine marge de manoeuvre aux cantons ou lorsque l'on est en présence d'impôts purement cantonaux, l'examen de l'interprétation du droit cantonal est limité à l'arbitraire (cf. <ref-law>; <ref-ruling> consid. 2 p. 209 s.).
IV. Revenu déterminant le taux de retenue de l'impôt à la source
6.
Invoquant les art. 8 et 127 Cst., le recourant fait valoir plusieurs violations du principe de l'égalité de traitement, dont il rappelle qu'il est consacré en matière fiscale par le principe de l'imposition selon la capacité contributive (mémoire de recours p. 5 et 9 ss).
6.1. En vertu de l'art. 127 al. 2 Cst., dans la mesure où la nature de l'impôt le permet, les principes de l'universalité, de l'égalité de traitement et de la capacité économique doivent, en particulier, être respectés. En vertu des principes de l'égalité d'imposition et de l'imposition selon la capacité contributive, les contribuables qui sont dans la même situation économique doivent supporter une charge fiscale semblable; lorsqu'ils sont dans des situations de faits différentes qui ont des effets sur leur capacité économique, leur charge fiscale doit en tenir compte et être adaptée. Ainsi, d'après le principe de la proportionnalité de la charge fiscale à la capacité contributive, chaque citoyen doit contribuer à la couverture des dépenses publiques compte tenu de sa situation personnelle et en proportion de ses moyens (<ref-ruling> consid. 7.1 p. 160 s. et les références citées). La comparaison verticale, c'est-à-dire entre contribuables ayant une capacité économique différente est plus difficile à établir que ne l'est la comparaison horizontale c'est-à-dire entre contribuables jouissant de la même capacité économique (<ref-ruling> consid. 7.3 p. 161 s.; <ref-ruling> consid. 4b p. 244). Néanmoins, dans les rapports horizontaux, le principe de l'imposition selon la capacité économique n'exige pas une imposition absolument identique, la comparaison étant également limitée dans ce cas. Dans l'examen de dispositions légales inévitablement imparfaites, le juge constitutionnel doit par conséquent faire preuve d'une certaine retenue sous peine de courir le danger de créer une nouvelle inégalité alors qu'il cherche à obtenir l'égalité entre deux catégories de contribuables. Il ne peut pas s'écarter à la légère des règles légales édictées par le législateur (<ref-ruling> consid. 7.3 p. 161 s.; <ref-ruling> consid. 4.1 et 4.2 p. 162 s.; <ref-ruling> consid. 2.3 p. 243).
6.2. Les <ref-law>, 33 al. 2 LHID et 133 al. 2 LI/VD prévoient que les barèmes appliqués aux époux vivant en ménage commun et qui exercent tous deux une activité lucrative doivent tenir compte du cumul des revenus des conjoints. En raison de la nature particulière de l'impôt à la source et de sa fonction, c'est au débiteur de la prestation imposable qu'il revient de retenir l'impôt (<ref-law>, 37 LHID, 135 LI/VD), en lieu et place de l'autorité fiscale. Le système de perception doit par conséquent non seulement être simple et facile à appliquer, mais il doit également prendre en considération le fait que le débiteur de la prestation imposable ignore le montant des revenus de l'époux de son employé et n'est pas en droit d'en exiger la divulgation faute de détenir les prérogatives de puissance publique à cet effet. C'est la raison pour laquelle, afin de calculer le taux applicable, l'Administration fédérale des contributions, d'entente avec les cantons, a surmonté cette difficulté en imputant au conjoint du contribuable, de manière forfaitaire, un revenu théorique fondé sur des données statistiques (cf. consid. 3.5 ci-dessus). Pour les couples de non-résidents à deux revenus dont l'un des deux conjoints exerce son activité lucrative à l'étranger, cela peut provoquer une surimposition ou une sous-imposition. Dans son Message relatif à la révision de l'impôt à la source, le Conseil fédéral reconnaît qu'il peut y avoir une surimposition et que c'est essentiellement le cas lorsque le conjoint étranger actif à l'étranger tire un faible revenu brut de son activité lucrative (Message, loc. cit., p. 641; en langue allemande, p. 674), à l'instar de la situation du recourant et de son épouse : celle-ci ne perçoit en effet que 27'800 fr. par année au lieu des 65'100 fr. théoriques pris en compte dans le barème C, ce qui conduit effectivement à une surimposition contraire aux <ref-law>, 33 al. 2 LHID et 133 al. 2 LI/VD. C'est du reste cette surimposition résultant du système et de la nature de l'impôt à la source dans ce cas précis que la révision de l'impôt à la source proposée par le Conseil fédéral entend éliminer en laissant "ouverte pour les couples de non-résidents à deux revenus qui ne peuvent pas demander de taxation ordinaire ultérieure [les <ref-law> et 34 LHID étant exclus du renvoi contenu dans les <ref-law> et 36 al. 1 LHID] ou ne peuvent pas la demander parce qu'ils ne remplissent pas les conditions de la non-résidence, la possibilité de prendre en compte la rémunération effective du conjoint actif à l'étranger au moyen d'une correction du revenu déterminant le taux" (Message, loc. cit., p. 641 s., en langue allemande, p. 674).
Avec le Conseil fédéral, il y a lieu de reconnaître que la structure du barème C, dans sa teneur en vigueur depuis le 1er janvier 2014 édictée en application des art. 1 al. 1 let. c et 2 al. 1 let. c OIS, conduit à une surimposition du contribuable lorsque le conjoint étranger actif à l'étranger tire un faible revenu brut de son activité lucrative. Cette surimposition est contraire au principe de l'imposition selon la capacité économique de l'art. 127 al. 2 Cst., aussi longtemps qu'il ne peut y être remédié au moyen d'une rectification ultérieure demandée par le contribuable dans les délais prévus par l'<ref-law> et 191 al. 1 LI/VD, applicables dans ce cas de figure selon la jurisprudence, dès lors qu'il ne s'agit pas d'une erreur du débiteur de la prestation imposable chargé de retenir l'impôt à la source (cf. arrêt 2C_684/2012 du 5 mars 2013 in Archives 68 153 et RDAF 2013 II 246 consid. 5.3 et 5.4)
6.3. En l'espèce, en contestant, le 25 janvier 2015 déjà, la retenue effectuée par son employeur et en réclamant de l'autorité intimée la prise en compte du revenu effectif de son épouse aux fins de déterminer le taux applicable à son revenu brut, le recourant a dûment respecté les délais légaux de procédure. Il a en outre dûment prouvé le revenu effectif de son épouse. Il appartient par conséquent à l'autorité intimée, à l'exclusion du débiteur de la prestation imposable qui n'y est pas habilité, de rectifier l'imposition du recourant au moyen d'un barème C de rectification (ci-après : Cr) établi par l'Administration fédérale des contributions en collaboration avec le canton, applicable à la somme des revenus effectifs du recourant et de son épouse, à l'instar de ce que prévoit notamment le canton de Genève (cf. consid. 3.5.2 ci-dessus). Le recours est admis sur ce point.
V. Barème pour enfants mineurs à charge
7.
Invoquant l'interdiction de l'arbitraire de l'art. 9 Cst., les principes de l'égalité de traitement et de l'équité ainsi que le principe de l'imposition selon la capacité contributive de l'art. 127 al. 2 Cst., le recourant reproche à l'instance précédente de n'avoir pas pris en considération les trois enfants mineurs dont il a la charge, confirmant, à tort selon lui, l'application du barème C0 en lieu et place du barème C3.
A. Impôt fédéral direct
7.1. Selon l'<ref-law>, applicable par renvoi de l'<ref-law> aux travailleurs qui, sans être domiciliés ni en séjour en Suisse, y exercent une activité lucrative dépendante pendant de courtes périodes, durant la semaine ou comme frontaliers, les retenues opérées sur le revenu des époux vivant en ménage commun qui exercent tous deux une activité lucrative sont calculées selon des barèmes qui tiennent compte, notamment des charges de famille du contribuable (art. 86 al. 1 qui renvoie aux art. 35 et 36 LIFD). L'<ref-law> accorde une déduction de 6500 fr. pour chaque enfant mineur ou faisant un apprentissage ou des études, dont le contribuable assure l'entretien; lorsque les parents sont imposés séparément, cette déduction est répartie par moitié s'ils exercent l'autorité parentale en commun et ne demandent pas la déduction d'une contribution d'entretien pour l'enfant selon l'art. 33 al. 1 let. c LIFD.
Selon la Lettre circulaire de l'AFC du 11 septembre 2013, les bases de calcul pour le barème fédéral C1, C2 etc. de l'impôt à la source pour la période fiscale 2014 comprennent une déduction sociale par enfant d'un montant de 6'500 (la moitié à chaque époux), le barème C double gain ayant vocation à s'appliquer aux deux conjoints.
7.2. Dans l'arrêt attaqué, constatant que le recourant ne percevait que des compléments différentiels d'allocations parce que son épouse recevait des allocations de l'Etat français, en application des règles de priorité instaurées par le règlement (CE) n° 987/2009 du 16 septembre 2009 fixant les modalités d'application du règlement (CE) no 883/2004 portant sur la coordination des systèmes de sécurité sociale (RS 0.831.109.268.11) - que la Suisse est tenue d'appliquer dans ses rapports avec l'Union européenne en vertu de l'Accord sur la libre circulation des personnes - l'instance précédente a jugé, en application des instructions de l'Administration cantonales des impôts du canton de Vaud de novembre 2014, que le Tarif C3 ne trouvait pas application au recourant, parce que ce dernier ne percevait pas d'allocations complètes d'une caisse suisse. Elle a ajouté qu'il ressortait de l'avis d'impôt français sur les revenus de l'année 2014 produit par le recourant qu'un "quotient familial" équivalent à quatre parts (couple marié avec trois enfants) avait été appliqué au revenu de son épouse, de sorte que les déductions liées aux enfants avaient déjà été prises en compte en France, dans l'Etat d'assujettissement illimité de l'épouse. L'objectif d'empêcher que la situation familiale du contribuable soit prise en considération à double pour le ou les mêmes enfants était ainsi atteint.
7.3. En matière d'impôt fédéral direct, le Tribunal fédéral examine librement l'application du droit fédéral (cf. consid.5.1 ci-dessus). En l'espèce, il y a lieu de constater qu'en 2014, le recourant vivait en ménage commun avec son épouse et ses trois enfants mineurs, qu'il exerçait en commun l'autorité parentale avec celle-ci, qu'il a néanmoins été taxé séparément, qu'il n'a pas demandé la déduction de contributions d'entretien et qu'il a bien assuré l'entretien de ses enfants. Il s'ensuit qu'il remplissait les conditions légales des art. 35 al. 1 let. a, 86 et 91 LIFD pour que lui soit appliqué le barème C (r) 3 comprenant pour chacun de ses trois enfants la moitié de la déduction entière de 6'500 fr. Contrairement à ce que semblent affirmer l'instance précédente et l'autorité intimée, ni la convention de double imposition passée avec la France, ni la loi sur l'impôt fédéral direct ne contiennent de dispositions légales qui auraient pour effet d'empêcher la moitié de la déduction de 6'500 fr. au motif que le recourant n'aurait reçu que des compléments d'allocations pour enfants, quand bien même cela serait conforme aux règles résultant de l'ALCP - ou que les autorités fiscales françaises auraient également tenu compte des enfants à charge dans la taxation séparée du conjoint du recourant. Il n'y a du reste à cet égard pas non plus de violation du droit à l'égalité par rapport aux contribuables suisses soumis à taxation ordinaire, puisque ces derniers se voient appliquer un régime identique à celui du recourant, celui de l'<ref-law> en cas de taxation séparée, toutes autres conditions étant réunies.
En confirmant le refus de l'autorité intimée sur ce point, l'instance précédente a violé la loi sur l'impôt fédéral direct.
B. Impôt cantonal et communal
8.
8.1. L'<ref-law> (par renvoi de l'<ref-law>) impose à tout le moins deux obligations aux cantons : premièrement, ils doivent prendre en considération dans le calcul des retenues d'impôt les dépenses professionnelles, les primes d'assurances, les déductions pour charges de famille et les déductions accordées en cas d'activité lucrative des deux époux et, deuxièmement, ils doivent le faire de manière forfaitaire, la question de savoir si la liste des déductions est exhaustive, ou non (R. ZIGERLIG ET A. RUFENER, Kommentar StHG, 2e édition 2002, n° 7 ad <ref-law>) n'ayant pas à être tranchée ici. En effet, les art. 133 al. 1 et 2 et 138, qui renvoient aux art. 42 et 43 LI/VD, prévoient conformément à la loi sur l'harmonisation fiscale que le barème applicable aux époux vivant en ménage commun et qui exercent tous deux une activité lucrative tient compte de la situation de la famille au moyen de la méthode du quotient familial. Ce système dit des unités de consommation, que seul le canton de Vaud connaît, prévoit que le revenu global de la famille est divisé par un facteur variable, dépendant de la composition et de la grandeur de la famille, soit 1,8 pour les couples mariés vivant en ménage commun et 0,5 pour chaque enfant mineur, en apprentissage ou aux études, dont le contribuable assure l'entretien complet.
8.2. L'<ref-law> et les art. 133 al. 1 et 2 et 138, qui renvoient aux art. 42 et 43 LI/VD, ayant une teneur identique quant à l'obligation de prendre en considération dans le calcul des retenues d'impôt les déductions pour charges de famille, quand bien même les modalités diffèrent, puisque seul le principe de la prise en considération des charges de famille est litigieux en l'espèce, les considérants relatifs à l'impôt fédéral direct valent également en matière d'impôt à la source cantonal et communal.
Il s'ensuit que le contenu des Barèmes et instructions de l'Administration cantonale des impôts du canton de Vaud de novembre 2014 concernant l'imposition à la source pour l'année 2015, selon lequel "seuls les enfants pour lesquels le contribuable bénéficie d'allocations familiales complètes versées par une caisse suisse peuvent être pris en considération dans le barème C1, C2 etc." (chapitre IV let. C ch. 1), est contraire au droit fédéral, en tant qu'il ne trouve aucun fondement dans la loi sur l'harmonisation fiscale. Le recours est admis sur ce point.
9.
Les considérants qui précèdent conduisent à l'admission du recours. L'arrêt rendu le 27 mars 2017 par le Tribunal cantonal du canton de Vaud est annulé. La cause est renvoyée à l'Administration cantonale des impôts du canton de Vaud pour nouvelle taxation au sens des considérants des retenues de l'impôt à la source fédéral, cantonal et communal 2014 et au Tribunal cantonal pour nouvelle décision sur les frais et dépens de la procédure devant lui. Succombant, l'Administration cantonale des impôts du canton de Vaud, qui agit dans l'exercice de ses attributions officielles et dont l'intérêt patrimonial est en cause, doit supporter les frais de la procédure fédérale (art. 66 al. 1 et 4 LTF). Le recourant, qui obtient gain de cause avec l'aide d'une mandataire professionnelle, a droit à une indemnité de dépens à charge du canton de Vaud (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. L'arrêt rendu le 27 mars 2017 par le Tribunal cantonal du canton de Vaud est annulé.
2.
La cause est renvoyée à l'Administration cantonale des impôts du canton de Vaud pour nouvelle fixation au sens des considérants des retenues de l'impôt à la source fédéral, cantonal et communal 2014. Elle est renvoyée au Tribunal cantonal du canton de Vaud pour nouvelle décision sur les frais et dépens de la procédure devant lui.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du canton de Vaud.
4.
Le canton de Vaud Versera au recourant une indemnité de dépens de 2'000 fr.
5.
Le présent arrêt est communiqué à la mandataire du recourant, à l'Administration cantonale des impôts du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 26 juin 2018
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Dubey