Faits : A. X._, citoyen suisse, était employé de la Confédération suisse en 2014 comme douanier auprès du poste de garde-frontière de Vallorbe. Il est marié et père de trois enfants. Son épouse travaille également comme garde-frontière à Vallorbe, mais pour le compte de la République française. Elle a réalisé en 2014 un revenu annuel net de 23'166 euros pour une activité à 70%. La famille est domiciliée en France. B. Pour l'année 2014, X._ s'est vu prélever par son employeur un montant de 17'190 fr. 60 sur un salaire brut de 108'117 fr. (salaire net de 95'324 fr.) au titre de l'impôt à la source. Le barème C0 (double gain sans enfants à charge) lui a été appliqué, ce qui, malgré la contestation du contribuable du 27 janvier 2015, a été confirmé par décision du 18 décembre 2015 de l'Administration cantonale des impôts du canton de Vaud, puis par décision sur réclamation du 4 mars 2016. Par arrêt du 27 mars 2017, le Tribunal cantonal du canton de Vaud a rejeté le recours jugeant qu'il y avait lieu d'appliquer au revenu brut du contribuable le barème C, dont les taux prennent en compte un revenu fictif de 65'100 fr. imputé à l'épouse aux fins de tenir compte des revenus globaux du couple, et précisant que le barème C3 (pour trois enfants à charge) ne pouvait pas être appliqué, parce que le contribuable ne bénéficiait pas d'allocations familiales complètes versées par une caisse suisse, mais uniquement d'un complément différentiel. A cela s'ajoutait que l'épouse avait déjà bénéficié de la déduction pour enfants dans l'imposition française. C. Agissant par la voie du recours en matière de droit public et celle subsidiaire du recours constitutionnel, X._ demande au Tribunal fédéral de réformer l'arrêt rendu le 27 mars 2017 par le Tribunal cantonal du canton de Vaud en ce sens que dès et y compris pour l'année 2014, les enfants sont pris en considération dans la détermination du barème d'imposition à la source qui lui est applicable et que dès et y compris l'année 2014, il est tenu compte du revenu effectif de son épouse afin de déterminer le coefficient et/ou le barème de taxation qui lui sont applicables. Le Tribunal cantonal renonce à déposer des observations. L'Administration cantonale des impôts et l'Administration fédérale des contributions concluent au rejet du recours.