Faits :
A.
A._et B._ sont les parents de C._, né en 2000, qui présente un trouble du spectre autistique (TSA). De mars 2004 et jusqu'à l'année scolaire 2007/2008, C._ a été admis au sein de la Fondation pour l'éducation des enfants autistes (FEDEA), à Morges. Durant les années scolaires 2008/2009 et 2009/2010, il a été pris en charge par l'Association objectif vaincre l'autisme (AOVA) à Gland. Dès l'année scolaire 2010/2011, il a été admis au sein de l'école pour enfants atteints d'autisme (EEAA), structure publique à charge de l'Etat. En dehors des horaires scolaires, il pratique à domicile la méthode " Applied behaviour analysis " (ABA).
Depuis le 1er avril 2004, C._ a perçu une allocation pour impotent (API), au sens de l'art. 42 al. 1 de la loi fédérale du 19 juin 1959 sur l'assurance-invalidité (LAI; RS 831.20). Jusqu'au 30 juin 2004, cette allocation a été versée au titre d'une impotence faible, puis d'impotence moyenne (API) dès le 1er juillet 2004. Depuis cette date, C._ perçoit en outre un supplément pour soins intenses (SSI), conformément à l'<ref-law>, augmenté dès le 1er février 2007, pour tenir compte d'un surcroît de soins de 8 heures par jour. Au total, les montants suivants ont été versés en sa faveur: 10'474 fr. en 2004, 18'396 fr. en 2005, 26'427 fr. en 2006, 28'125 fr. en 2007, 29'601 fr. 50 en 2008, 30'514 fr. en 2009, ainsi qu'en 2010.
A._ et B._ ont déposé des réclamations contre les décisions de taxation pour les années 2004 à 2010, leur refusant toute déduction au titre de frais d'invalidité de leur enfant pour les deux premières années (2004 et 2005) et en limitant la part déductible pour les années 2006 et suivantes.
B.
Par décision sur réclamation du 3 juin 2014, l'Administration fiscale du canton de Vaud a partiellement admis les réclamations en matière d'impôt cantonal et communal et d'impôt fédéral direct : pour la période 2004, elle a reconnu un total de frais (FEDEA et ABA) de 43'480 fr., dont elle a retranché les allocations (API et SSI) perçues pour 2004 de 10'474 fr. ainsi que la franchise de 5% du revenu net, soit 16'252 fr., admettant ainsi une déduction sur le revenu imposable 2004 pour frais d'invalidité de 16'754 fr.; pour les périodes 2005 à 2010, elle a admis la déduction de la totalité des montants revendiqués par les époux, sous réserve des allocations (API et SSI), réduisant ainsi le montant de la déduction pour les périodes fiscales 2005 à 2010; elle a fixé les éléments imposables des époux de la façon suivante:
Périodes 2004 2005 2006 2007 2008 2009 2010 Rev. ICC 308000 268800 341500 394000 341000 294000 256400 Fort. ICC 281000 84000 152000 133000 121000 253000 335000 Rev. IFD 302100 265700 337500 390700 336000 287800 248900
A._ et B._ ont recouru contre cette dernière décision auprès du Tribunal cantonal du canton de Vaud. Principalement, ils ont demandé sa réforme en ce sens que les frais de handicap soient admis sans imputation des API et SSI perçus par leur enfant; subsidiairement, ils concluent à ce que seule une quote-part des API et des SSI versés en faveur de leur enfant soit imputée, " dans la mesure où ces frais de handicap invoqués comprendraient des prestations liées à l'impotence et/ou à des soins intenses ".
C.
Par arrêt du 14 avril 2015, le Tribunal cantonal du canton de Vaud a rejeté le recours et confirmé la décision sur réclamation rendue le 3 juin 2014 par l'Administration des impôts du canton de Vaud. Jusqu'au 31 décembre 2004 y compris, aucune base légale ne permettait d'admettre des déductions supplémentaires au titre de frais d'invalidité dans la mesure où elles excédaient la franchise de 5% du revenu imposable. Pour les périodes fiscales 2005 à 2010, l'allocation d'impotence, conformément à l'<ref-law>, ainsi que le supplément pour soins intenses au sens de l'<ref-law>, étaient en lien de causalité directe avec le handicap de l'enfant, de sorte qu'ils avaient pour effet d'alléger la charge globale que les parents consacraient à l'assistance quotidienne de leur fils, en diminuant les frais qu'ils supportaient de manière effective. L'objection des parents, selon laquelle l'allocation pour impotent servait à couvrir en très grande partie les prestations effectuées en faveur de leur enfant en-dehors des heures de scolarisation, soit des prestations qu'ils assuraient eux-mêmes pour leur fils, devait être écartée, les textes de loi ne permettant pas d'opérer de distinction parmi l'ensemble des frais découlant du handicap de l'enfant en fonction de leur destination.
D.
Agissant par la voie du recours en matière de droit public, A._ et B._ demandent au Tribunal fédéral, sous suite de frais et dépens, de réformer l'arrêt rendu le 14 avril 2015 par le Tribunal cantonal du canton de Vaud en ce sens que l'intégralité des frais de handicap est déduite de l'assiette de l'impôt fédéral direct ainsi que de l'assiette de l'impôt cantonal et communal pour les périodes fiscales 2004 à 2010. Ils se plaignent de la violation du droit fédéral.
Par ordonnance du 4 juin 2015, le Président de la IIe Cour de droit public a accordé l'effet suspensif.
Le 18 juin 2015, l'Administration fiscale cantonale a déposé ses observations. Elle relève que le recours est pour partie sans objet s'agissant de la période 2004, puisque l'arrêt attaqué confirme la décision sur réclamation du 3 juin 2014, qui a reconnu des dépenses pour handicap de 43'480 fr. et admis une déduction de 16'754 fr.; selon elle, reste ainsi seule litigieuse la question de l'imputation des API et SSI sur les frais déductibles liés au handicap pour toutes les périodes en cause. Elle conclut au rejet du recours.
A._ et B._ ont déposé leurs contre-observations le 31 août 2015.

Considérant en droit :
1.
1.1. Le Tribunal cantonal a rendu un seul arrêt valant pour les impôts cantonal et communal, d'une part, et pour l'impôt fédéral direct, d'autre part, ce qui est admissible (cf. <ref-ruling> consid. 1.3.1 p. 262 s.). Dans ces circonstances, on ne peut reprocher aux recourants d'avoir pris des conclusions valant pour les deux catégories d'impôts dans leur recours au Tribunal fédéral. Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a ouvert deux dossiers, l'un concernant l'impôt fédéral direct (2C_440/2015), l'autre l'impôt cantonal et communal (2C_439/2015). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront néanmoins jointes et il sera statué dans un seul arrêt (cf. <ref-law> et 24 PCF [RS 273]).
1.2. Le recours est dirigé contre une décision finale (cf. <ref-law>) rendue dans une cause de droit public (cf. <ref-law>), par une autorité cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF) sans qu'aucune des exceptions prévues à l'<ref-law> ne soit réalisée, de sorte que la voie du recours en matière de droit public est en principe ouverte, comme le précisent l'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) et l'art. 73 al. 1 la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts des cantons et des communes (LHID; loi sur l'harmonisation fiscale; RS 642.14), pour les contribuables qui ont un intérêt digne de protection à la modification de la décision attaquée et donc qualité pour recourir (<ref-law>). Au surplus, déposé en temps utile et dans les formes requises (cf. art. 42 al. 1 et 2 et <ref-law>), le recours est en principe recevable.
1.3. Comme l'a exposé à juste titre l'autorité intimée, c'est à tort que les recourants soutiennent que l'instance précédente a refusé la déduction de l'intégralité des frais de handicap pour 2004. En effet, en confirmant la décision sur réclamation du 3 juin 2014, l'instance précédente a également confirmé un montant brut de frais liés au handicap de 43'480 fr. pour 2004. Dans leurs contre-observations du 31 août 2015, les recourants précisent au demeurant qu'ils s'opposent à ce que le montant brut des frais pour 2004 soit réduit du montant des API et SSI, la réduction des 5% du revenu imposable n'étant par ailleurs pas contestée. Le litige a par conséquent pour seul objet le régime des API et SSI dans leur chapitre fiscal.
I. Impôt fédéral direct
2.
L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques (<ref-law>). Sont notamment imposables tous les revenus provenant de l'assurance-vieillesse et survivants, de l'assurance-invalidité (<ref-law>), à l'instar de tout revenu acquis en lieu et place du revenu d'une activité lucrative et des sommes uniques ou périodiques obtenues ensuite de décès, de dommages corporels permanents ou d'atteinte durable à la santé (art. 23 let. a et b LIFD). Sont exonérés de l'impôt les revenus perçus en vertu de la législation fédérale sur les prestations complémentaires à l'assurance-vieillesse, survivants et invalidité (art. 24 let. h LIFD).
Selon la théorie de l'accroissement de la fortune nette dominante en Suisse, un bien économique est imposable en vertu de la clause générale des <ref-law>, s'il entre dans l'ensemble des biens économiques qui affluent vers le contribuable pendant une période déterminée et dont il peut disposer, sans diminuer son patrimoine, pour satisfaire ses besoins personnels et couvrir les dépenses personnelles du ménage et qu'il n'entre pas dans la catégorie des revenus exonérés exhaustivement énoncés par les <ref-law> qui domine le droit fiscal suisse (arrêt 2C_152/2015 du 31 juillet 2015 et les références citées). En matière de prestations d'assurances, il convient par conséquent d'examiner si elles conduisent effectivement à un accroissement de fortune ou si elles sont uniquement destinées à réparer un dommage matériel actuel ou futur et ne sont par conséquent pas imposables. A l'instar des revenus provenant de la prévoyance professionnelle, au sens de l'<ref-law>, les prestations de l'assurance-invalidité sont intégralement imposables. En effet, l'assurance-invalidité n'est pas destinée en premier lieu à indemniser un dommage individuel mais uniquement en tant que prestation du 1er pilier à compenser les conséquences de l'invalidité en couvrant les besoins vitaux de manière appropriée (cf. art. 112 al. 2 let. b Cst.; art. 1a lettre b de la loi fédérale du 19 juin 1999 sur l'assurance invalidité [LAI; RS 831.20]; <ref-ruling> consid. 3.1 p. 129 ss = RDAF 2007 II 22 et les références citées). A l'inverse, les indemnités pour dommages matériels, destinées à la réparation de l'atteinte portée au patrimoine, ne constituent pas un revenu : elles indemnisent le contribuable des frais qu'il n'aurait pas dû supporter si l'événement dommageable ne s'était pas produit; il en va ainsi des allocations pour impotents accordées par l'<ref-law> aux invalides ayant durablement besoin d'un accompagnement leur permettant de faire face aux nécessités de la vie (G. LAFFELY MAILLARD, Commentaire romand de la LIFD, Bâle 2008, n° 8 ad <ref-law>). Il en va a fortiori de même du supplément pour soins intenses versé aux mineurs impotents en vertu de l'<ref-law>, puisque celui-ci est nécessairement un complément de ladite allocation.
En l'espèce, c'est donc à juste titre que les API et SSI n'ont pas été considérés comme revenu imposable.
3.
3.1. Le revenu net se calcule en défalquant du total des revenus imposables les déductions générales et les frais mentionnés aux art. 26 à 33a (<ref-law>). Sont déductibles les frais liés au handicap du contribuable ou d'une personne à l'entretien de laquelle il subvient lorsque le contribuable ou cette personne est handicapé au sens de la loi du 13 décembre 2002 sur l'égalité pour les handicapés (LHand; RS 151.3) et que le contribuable supporte lui-même les frais (art. 33 al. 1 let. h bis LIFD). Dans tous les cas, selon l'<ref-law>, les frais d'entretien du contribuable et de sa famille, y compris les dépenses privées résultant de sa situation professionnelle ne peuvent être déduits.
3.2. Une personne handicapée est, aux termes de l'<ref-law>, " une personne dont la déficience corporelle, mentale ou psychique présumée durable l'empêche d'accomplir les actes de la vie quotidienne, d'entretenir des contacts sociaux, de se mouvoir, de suivre une formation, de se perfectionner ou d'exercer une activité professionnelle, ou la gêne dans l'accomplissement de ces activités ". Du moment par ailleurs qu'est réputée impotente toute personne qui, en raison d'une atteinte à sa santé, a besoin de façon permanente de l'aide d'autrui ou d'une surveillance personnelle pour accomplir des actes élémentaires de la vie quotidienne (art. 9 de la loi fédérale du 6 octobre 2000 sur la partie générale du droit des assurances sociales [LPGA; RS 830.1]), il y a notamment lieu de considérer comme handicapés au sens des <ref-law> et donc 33 let. h bis LIFD les bénéficiaires de l'allocation pour impotent visée à l'<ref-law> (Circulaire n° 11 du 31 août 2005 de l'Administration fédérale des contributions relative à la déductibilité des frais de maladie et d'accident et des frais liés à un handicap, ch. 4.1) ainsi que ceux visés par l'<ref-law>, à l'instar de l'enfant des recourants en l'espèce, ce qui n'est du reste pas contesté.
3.3. Pour être déductibles, hormis l'exigence de se trouver dans un rapport de causalité avec le handicap et ne constituer ni des frais d'entretien courant, ni des dépenses somptuaires, les frais liés au handicap doivent être supportés par le contribuable lui-même. Sur ce dernier point, il faut souligner que la notion de revenu global net, pierre angulaire du droit fiscal suisse, n'exige pas une symétrie parfaite entre le revenu et les dépenses déduites comme frais d'acquisition, sous peine de transformer tout ou partie de l'impôt sur le revenu en impôt cédulaire n'admettant en déduction que les dépenses en lien avec les revenus correspondants (<ref-ruling> consid. 3 p. 291).
C'est avec raison par conséquent que l'Administration fédérale des contributions (Circulaire n° 11, ch. 5.1) et la doctrine (Y. NOËL, Commentaire romand de la LIFD, Bâle 2008, n° 88 ad <ref-law>; R. ZIGERLIG/G. JUD, in Zweifel/Athanas [éd.], Bundesgesetz über die direkte Bundessteuer [DBG], 2e éd. 2008, n° 33 ad <ref-law>; RICHNER/FREI/KAUFMANN/MEUTER, Handkommentar zum DBG, 2e éd., Zurich 2009, n° 167 ad <ref-law>; D. AESCHBACH in Klöti-Weber /Siegrist/Weber, Kommentar zum Aargauer Steuergesetz, 4e éd., Muri-Berne 2015, n° 157 et 172f ad § 40 LI/AG) ont précisé que seuls sont déductibles les frais restant à la charge du contribuable après déduction de toutes les prestations des assurances et institutions publiques, professionnelles ou privées (AVS, AI, SUVA, assurance militaire, caisse d'assurance-maladie, assurance responsabilité civile et assurance-accidents privée, oeuvres d'entraide, fondations, etc.). En raison de la notion de revenu global net, il n'y a pas lieu de suivre l'opinion des recourants qui demandent en vain que " ces prestations d'assurances doivent nécessairement compenser des frais effectifs encourus pour des charges dont la couverture des coûts n'est pas visée par dites prestations ". Cela reviendrait à la conception cédulaire de l'impôt sur le revenu qui a été écartée dans le système fiscal suisse.
3.4. En l'espèce, la déduction des frais de handicap, que l'Administration fiscale a admis comme tels dans la décision sur réclamation du 3 juin 2014, est fondée en premier lieu sur le statut, reconnu à l'enfant des recourants, de personne handicapée au sens de l'<ref-law>, par conséquent aussi en raison de son impotence moyenne, qui donne droit aux versements d'API (art. 42 et 42bis LAI) et de SSI (<ref-law>). Il suffit dès lors de constater en l'espèce que la déduction des frais au sens de l'art. 33 let. h bis LIFD et le versement d'API et de SSI ont pour cause commune le handicap de l'enfant des recourants et que les premiers grèvent la capacité contributive des recourants tandis que les autres l'augmentent. Force est du reste de constater que la loi ne fait pas dépendre le droit à une API du caractère payant ou non de l'accompagnement pour faire face aux nécessités de la vie (<ref-ruling> consid. 5.3.2 p. 475 s.). C'est par conséquent à bon droit que l'instance précédente a confirmé l'imputation des API et SSI des frais de handicap déductibles en tant qu'ils réduisent la part de ces frais supportée par les recourants eux-mêmes. Cette solution est en effet conforme au principe de revenu global net du droit fiscal suisse. Le grief de violation du droit fédéral est donc rejeté.
II. Droit cantonal
4.
Les art. 7 et 9 de loi sur l'harmonisation fiscale ont une teneur identique à celle des art. 16 et 25 LIFD. En particulier, l'art. 9 al. 2 let. h bis LHID, qui correspond à l'art. 33 al. 1 let. h bis LIFD, est repris sans changement par l'art. 37 al. 1 let. h bis de la loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux (LI/VD; RSVD 642.11). Il s'ensuit que les principes applicables en matière d'impôt fédéral direct, exposés ci-dessus, sont aussi valables pour l'impôt cantonal direct et conduisent au rejet du grief de violation du droit fédéral harmonisé.
5.
Les considérants qui précèdent conduisent au rejet du recours dans la mesure où il n'est pas sans objet. Succombant, les recourants doivent supporter les frais judiciaires solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 2C_439/2015 et 2C_440/2015 sont jointes.
2.
Le recours est rejeté dans la mesure où il n'est pas sans objet en tant qu'il concerne l'impôt fédéral direct.
3.
Le recours est rejeté dans la mesure où il n'est pas sans objet en tant qu'il concerne l'impôt cantonal et communal direct.
4.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants solidairement entre eux.
5.
Le présent arrêt est communiqué aux parties, à l'Administration cantonale des impôts du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 21 janvier 2016
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
Le Greffier : Dubey